יותר מדי תבלינים במרק: מה הקשר בין המרק של סבתא לתיקון בונפרוני?

 

מכירים את זה שאתם טועמים את המרק והוא מרגיש קצת חסר? אז אתם מוסיפים מלח. ואז קצת פלפל. ואז אולי כורכום. ואז צ'ילי. ואז חאוויג'. פתאום, המרק שלכם לא טעים – הוא פשוט "בלגן" של טעמים שבו אי אפשר לזהות כלום.

בסטטיסטיקה, לקטסטרופה הקולינרית הזו קוראים "בעיית ההשוואות המרובות", והפתרון (הדיאטטי) שלה הוא תיקון בונפרוני.

מה הבעיה? (או: למה המרק נהרס?)

כשאתם בודקים השערה סטטיסטית אחת, אתם מרשים לעצמכם סיכון קטן של 5% לטעות (מובהקות 5%).  זה כמו להוסיף תבלין אחד – הסיכוי שתהרסו את המנה נמוך.

אבל מה קורה כשאתם מתחילים "לטעום" ולבדוק 20 השערות שונות על אותם נתונים?

הסיכוי שבאחת מהן תמצאו משהו "מובהק" רק בטעות (False Positive) קופץ כמעט ל-65%! זה כבר לא מדע, זה הימורים במטבח. אם תזרקו מספיק תבלינים למרק, בסוף משהו ירגיש "חזק", אבל זה לא אומר שזה טעים.

נעים להכיר: שף בונפרוני 

כדי שלא נתרגש מכל "רעש" של טעם, קרלו בונפרוני הציע כלל פשוט ונוקשה. הוא אמר: "רוצים לבדוק 10 השערות? אין בעיה. אבל רמת המובהקות שלכם צריכה להתחלק ב-10".

הנוסחה פשוטה:

רמת המובהקות החדשה שווה לרמת המובהקות הישנה חלקי מספר השערות נבדקות.

אם רציתם מובהקות של 0.05 ובדקתם 10 דברים, מעכשיו תצטרכו להוכיח מובהקות של 0.005  כדי שמישהו ייקח אתכם ברצינות.

אז איך זה נראה במטבח של "ביסים של סטטיסטיקה"?

דמיינו שאתם מנסים להוכיח שסחוג מרפא כאבי ראש, כאבי גב וגם עוזר בטסט לרכב.

1. בדקתם 3 השערות שונות?
2. בונפרוני נכנס למטבח, דופק על השולחן ואומר: "חביבי, כדי שאני אאמין לך, התוצאה שלך צריכה להיות פי 3 יותר חזקה מהרגיל".

השורה התחתונה (לפני שהקניידלך שוקעים):

תיקון בונפרוני הוא כמו השף הקשוח שלא מרשה לכם להוסיף תבלינים סתם. הוא מזכיר לנו שככל שאנחנו "חופרים" בנתונים ומחפשים קשרים, אנחנו חייבים להיות הרבה יותר ביקורתיים כלפי עצמנו.

כי בסוף, גם בסטטיסטיקה וגם בבישול – אם תנסו להוכיח הכל בבת אחת, כנראה שתצאו עם מנה שאף אחד לא רוצה לאכול.

המרשם של שף בונפרוני למחקר נקי מרעלים

כדי שלא תגישו לשולחן המדעי מנה שהיא "דייסת נתונים", הנה רשימת המרכיבים המעודכנת שלכם:

• בסיס: השערת אפס אחת  מוצקה.
• תיבול: 5-10 השערות אלטרנטיביות (אבל היזהרו לא לשפוך יותר מדי בבת אחת).
• הסוד המקצועי: לפני שאתם מכריזים על "מובהקות", קחו את רמת המובהקות המקורית שלכם (ה-0.05 המסורתי) ותחלקו אותה במספר הבדיקות שביצעתם.
• זמן הכנה: אם p-value שלכם לא קטן יותר מהתוצאה החדשה – המנה לא מוכנה. החזירו אותה למקרר (או למעבדה) ונסו שוב עם מדגם גדול יותר.

טיפ של שפים: תיקון בונפרוני נחשב לתיקון "שמרן" מאוד. הוא כמו השף שאומר לכם שאם יש ספק – אין ספק. הוא עלול לפספס תגליות אמיתיות (טעות מסוג שני), אבל הוא מבטיח שמה שייצא מהמטבח שלכם יהיה איכותי, אמין ובעיקר – לא תוצר של יד קלה על הדק התבלינים.

מרגישים שהפלט הסטטיסטי שלכם יצא 'חריף' מדי או שהגרפים פשוט מסרבים לעשות שכל? אתם לא חייבים לנחש מה הנתונים מנסים להגיד. אם הסתבכתם עם ניתוח מורכב, בדיקת השערות או ויזואליזציה שמרגישה כמו חידה – שלחו לי הודעה. נשב על זה יחד ונהפוך את דייסת המספרים למסקנות אסטרטגיות ברורות.

בישול, סטטיסטיקה ותורת המשחקים: מה הקשר ביניהם?

דמיינו שאתם במטבח.

יש לכם מתכון, יש לכם מרכיבים, ויש לכם תחושה כללית איך המנה אמורה לצאת.
אבל משהו תמיד לא לגמרי ברור:
האם הטעם באמת טוב?
האם הכמות מספיקה?
ואיך האורחים יגיבו?

כאן נכנסות לתמונה שתי “גישות חשיבה” שאני מלמד: סטטיסטיקה ותורת המשחקים.

סטטיסטיקה — לטעום את התבשיל

סטטיסטיקה היא כמו טעימה מהסיר באמצע הבישול.

היא לא נותנת לנו את כל התמונה, אבל כן מאפשרת לנו להבין:
האם אנחנו בכיוון הנכון?
האם יש טעם להמשיך?
והאם ההבדלים שאנחנו רואים הם אמיתיים — או סתם מקריים?

אבל כמו בבישול, גם כאן יש מלכודת:
טעימה אחת לא תמיד מייצגת את כל הסיר.

תורת המשחקים — להבין את הסועדים

עכשיו נניח שהמנה מוכנה.

האם כולם יאהבו אותה?
האם מישהו ייקח מנה גדולה יותר?
האם מישהו יגיד שהוא אוהב רק כי כולם אומרים?

כאן נכנסת תורת המשחקים —
היא עוזרת לנו להבין איך אנשים מקבלים החלטות, במיוחד כשההחלטות שלהם תלויות באחרים.

כי בסוף, אנחנו לא פועלים לבד — אנחנו חלק ממשחק.

כשהמטבח פוגש את השולחן

הבעיה מתחילה כשמשתמשים רק באחד מהכלים:

רק סטטיסטיקה → אפשר להבין את הנתונים, אבל לפספס לגמרי את ההתנהגות האנושית
 רק תורת המשחקים → אפשר להבין אנשים, אבל בלי בסיס אמפירי אמיתי

הכוח האמיתי נמצא בשילוב:

להבין גם מה הנתונים אומרים
וגם איך אנשים יגיבו להם

דוגמה קטנה מהחיים

נניח שאתם רואים שמוצר מסוים קיבל דירוג גבוה.

סטטיסטית — זה נראה מצוין.
אבל תורת המשחקים שואלת:
מי נתן את הדירוגים?
האם אנשים מושפעים אחד מהשני?
האם יש אינטרסים סמויים?

כלומר — לא רק מה הנתונים אומרים, אלא גם איך הם נוצרו.

אז מה בעצם לומדים מכל זה?

שקבלת החלטות טובה היא לא רק שאלה של חישוב,
ולא רק שאלה של אינטואיציה.

היא שילוב.

כמו בבישול טוב:
צריך גם לטעום, וגם להבין למי מגישים.

ואם כבר נתקעתם עם “תבשיל סטטיסטי” שלא ברור מה יצא ממנו —

אתם יודעים איפה למצוא אותי 🙂 

ממוצע או חציון: מה באמת קורה לשכר במשק?

כשאתם שומעים בחדשות:
“השכר הממוצע במשק עלה”

זה נשמע טוב, נכון?

אבל הנה השאלה החשובה באמת:
האם זה משקף את מה שרוב האנשים מרוויחים?

הבעיה: ממוצע יכול להטעות

נניח 5 אנשים מרוויחים:

5,000 | 6,000 | 7,000 | 8,000 | 50,000

ממוצע: 15,200
חציון: 7,000

מה זה אומר?

הממוצע “נמשך למעלה” בגלל משכורת אחת גבוהה מאוד
החציון מראה את “האדם באמצע” — מה שרוב האנשים חווים

הקשר למטבח :

תחשבו על טעימות של תבשיל:

אם רוב האנשים אומרים “טעים”,
אבל אחד אומר “מושלם ברמה אחרת” —
הממוצע של הציונים יעלה.

אבל זה לא אומר שכולם חוו משהו יוצא דופן.

החציון, לעומת זאת,  יעזור להבין מה הרוב באמת חושב על המנה.

אז מה לבדוק בפועל?

כשאתם שומעים נתונים על שכר:

✔️ שאלו: האם מדובר בממוצע או חציון?
✔️ אם הממוצע גבוה משמעותית מהחציון → יש פערים גדולים
✔️ החציון נותן תמונה יותר ריאלית של “העובד הטיפוסי”

טיפ יישומי:

רוצים להבין איפה אתם ביחס לשוק?
השוו את עצמכם לחציון — לא לממוצע

ומה זה אומר על הכלכלה?

פער גדול בין ממוצע לחציון =
אי-שוויון גבוה יותר

מסקנה:

ממוצע מספר סיפור על הכלכלה
חציון מספר סיפור על האנשים

מובהקות סטטיסטית: למה כולם מתרגשים — ולמה צריך להיזהר

זה קורה כל הזמן.

מישהו מציג תוצאה,
מראה מספר קטן,
ואומר בביטחון:

“זה מובהק סטטיסטית.”

והקהל?
מהנהן.
מתרשם.
לפעמים אפילו משתכנע.

אבל כאן בדיוק מתחילה הבעיה.

אז מה זו בכלל מובהקות סטטיסטית?

בצורה הכי פשוטה:

מובהקות סטטיסטית אומרת:

אם באמת אין אפקט,
אז הסיכוי לראות תוצאה כזו (או קיצונית יותר)
הוא נמוך.

זה הכול.

לא:

• כמה האפקט גדול
• כמה הוא חשוב
• האם הוא שימושי
• או אם כדאי לשנות בגללו החלטות

רק:

“זה כנראה לא קרה במקרה.”

 דוגמה מהמטבח

נניח שאתם משנים מתכון:

• מוסיפים חצי גרם מלח
• מודדים את ציון הטעם
• עם המון טועמים

התוצאה:
שיפור זעיר בטעם  —
אבל עם מדגם גדול מספיק:

מובהק! 

האם מישהו באמת ירגיש את זה בצלחת?
כנראה שלא.

אבל הסטטיסטיקה?
מאוד מתרשמת.

למה מובהקות כל כך מרשימה?

כי היא:

• נותנת תשובה בינארית (כן/לא)
• נשמעת מדעית
• קלה לתקשור
• ועובדת מצוין בכותרות

p < 0.05
מרגיש כמו חותמת איכות.

אבל זו חותמת על מה בדיוק?

 

ולמה היא גם מסוכנת?

מובהק ≠ חשוב

אפשר לקבל מובהקות:

• עם אפקט זניח
• שלא משנה שום דבר בפועל

לא מובהק ≠ אין אפקט

יכול להיות אפקט אמיתי:

• אבל מדגם קטן
• או רעש גדול

והסטטיסטיקה פשוט לא “רואה” אותו.

אפשר לשחק עם זה

עוד משתנה,
עוד תת־קבוצה,
עוד בדיקה —

ובסוף:

“מצאנו מובהקות!”

הסטטיסטיקה לא שקרנית.
אנשים לפעמים כן.

מה מובהקות כן אומרת לנו?

היא אומרת:

“התוצאה הזו לא נראית מקרית לגמרי  —
בהנחות שבחרנו.”

וזה מידע חשוב.
אבל חלקי.

בלי:

• גודל אפקט
• אי־ודאות
• הקשר
• והיגיון תחומי

זו חצי תמונה.

סיכום ביסי

מובהקות סטטיסטית היא:

• כלי חשוב
• אינדיקציה טובה
• אבל לא היעד עצמו

היא מרשימה
כי היא פשוטה.

היא מסוכנת
כי היא מפתה אותנו לעצור שם.

ובסטטיסטיקה, כמו במטבח:

לא כל מה שעובר סף,  
באמת שווה להגיש