יותר מדי תבלינים במרק: מה הקשר בין המרק של סבתא לתיקון בונפרוני?

 

מכירים את זה שאתם טועמים את המרק והוא מרגיש קצת חסר? אז אתם מוסיפים מלח. ואז קצת פלפל. ואז אולי כורכום. ואז צ'ילי. ואז חאוויג'. פתאום, המרק שלכם לא טעים – הוא פשוט "בלגן" של טעמים שבו אי אפשר לזהות כלום.

בסטטיסטיקה, לקטסטרופה הקולינרית הזו קוראים "בעיית ההשוואות המרובות", והפתרון (הדיאטטי) שלה הוא תיקון בונפרוני.

מה הבעיה? (או: למה המרק נהרס?)

כשאתם בודקים השערה סטטיסטית אחת, אתם מרשים לעצמכם סיכון קטן של 5% לטעות (מובהקות 5%).  זה כמו להוסיף תבלין אחד – הסיכוי שתהרסו את המנה נמוך.

אבל מה קורה כשאתם מתחילים "לטעום" ולבדוק 20 השערות שונות על אותם נתונים?

הסיכוי שבאחת מהן תמצאו משהו "מובהק" רק בטעות (False Positive) קופץ כמעט ל-65%! זה כבר לא מדע, זה הימורים במטבח. אם תזרקו מספיק תבלינים למרק, בסוף משהו ירגיש "חזק", אבל זה לא אומר שזה טעים.

נעים להכיר: שף בונפרוני 

כדי שלא נתרגש מכל "רעש" של טעם, קרלו בונפרוני הציע כלל פשוט ונוקשה. הוא אמר: "רוצים לבדוק 10 השערות? אין בעיה. אבל רמת המובהקות שלכם צריכה להתחלק ב-10".

הנוסחה פשוטה:

רמת המובהקות החדשה שווה לרמת המובהקות הישנה חלקי מספר השערות נבדקות.

אם רציתם מובהקות של 0.05 ובדקתם 10 דברים, מעכשיו תצטרכו להוכיח מובהקות של 0.005  כדי שמישהו ייקח אתכם ברצינות.

אז איך זה נראה במטבח של "ביסים של סטטיסטיקה"?

דמיינו שאתם מנסים להוכיח שסחוג מרפא כאבי ראש, כאבי גב וגם עוזר בטסט לרכב.

1. בדקתם 3 השערות שונות?
2. בונפרוני נכנס למטבח, דופק על השולחן ואומר: "חביבי, כדי שאני אאמין לך, התוצאה שלך צריכה להיות פי 3 יותר חזקה מהרגיל".

השורה התחתונה (לפני שהקניידלך שוקעים):

תיקון בונפרוני הוא כמו השף הקשוח שלא מרשה לכם להוסיף תבלינים סתם. הוא מזכיר לנו שככל שאנחנו "חופרים" בנתונים ומחפשים קשרים, אנחנו חייבים להיות הרבה יותר ביקורתיים כלפי עצמנו.

כי בסוף, גם בסטטיסטיקה וגם בבישול – אם תנסו להוכיח הכל בבת אחת, כנראה שתצאו עם מנה שאף אחד לא רוצה לאכול.

המרשם של שף בונפרוני למחקר נקי מרעלים

כדי שלא תגישו לשולחן המדעי מנה שהיא "דייסת נתונים", הנה רשימת המרכיבים המעודכנת שלכם:

• בסיס: השערת אפס אחת  מוצקה.
• תיבול: 5-10 השערות אלטרנטיביות (אבל היזהרו לא לשפוך יותר מדי בבת אחת).
• הסוד המקצועי: לפני שאתם מכריזים על "מובהקות", קחו את רמת המובהקות המקורית שלכם (ה-0.05 המסורתי) ותחלקו אותה במספר הבדיקות שביצעתם.
• זמן הכנה: אם p-value שלכם לא קטן יותר מהתוצאה החדשה – המנה לא מוכנה. החזירו אותה למקרר (או למעבדה) ונסו שוב עם מדגם גדול יותר.

טיפ של שפים: תיקון בונפרוני נחשב לתיקון "שמרן" מאוד. הוא כמו השף שאומר לכם שאם יש ספק – אין ספק. הוא עלול לפספס תגליות אמיתיות (טעות מסוג שני), אבל הוא מבטיח שמה שייצא מהמטבח שלכם יהיה איכותי, אמין ובעיקר – לא תוצר של יד קלה על הדק התבלינים.

מרגישים שהפלט הסטטיסטי שלכם יצא 'חריף' מדי או שהגרפים פשוט מסרבים לעשות שכל? אתם לא חייבים לנחש מה הנתונים מנסים להגיד. אם הסתבכתם עם ניתוח מורכב, בדיקת השערות או ויזואליזציה שמרגישה כמו חידה – שלחו לי הודעה. נשב על זה יחד ונהפוך את דייסת המספרים למסקנות אסטרטגיות ברורות.

מובהקות סטטיסטית: למה כולם מתרגשים — ולמה צריך להיזהר

זה קורה כל הזמן.

מישהו מציג תוצאה,
מראה מספר קטן,
ואומר בביטחון:

“זה מובהק סטטיסטית.”

והקהל?
מהנהן.
מתרשם.
לפעמים אפילו משתכנע.

אבל כאן בדיוק מתחילה הבעיה.

אז מה זו בכלל מובהקות סטטיסטית?

בצורה הכי פשוטה:

מובהקות סטטיסטית אומרת:

אם באמת אין אפקט,
אז הסיכוי לראות תוצאה כזו (או קיצונית יותר)
הוא נמוך.

זה הכול.

לא:

• כמה האפקט גדול
• כמה הוא חשוב
• האם הוא שימושי
• או אם כדאי לשנות בגללו החלטות

רק:

“זה כנראה לא קרה במקרה.”

 דוגמה מהמטבח

נניח שאתם משנים מתכון:

• מוסיפים חצי גרם מלח
• מודדים את ציון הטעם
• עם המון טועמים

התוצאה:
שיפור זעיר בטעם  —
אבל עם מדגם גדול מספיק:

מובהק! 

האם מישהו באמת ירגיש את זה בצלחת?
כנראה שלא.

אבל הסטטיסטיקה?
מאוד מתרשמת.

למה מובהקות כל כך מרשימה?

כי היא:

• נותנת תשובה בינארית (כן/לא)
• נשמעת מדעית
• קלה לתקשור
• ועובדת מצוין בכותרות

p < 0.05
מרגיש כמו חותמת איכות.

אבל זו חותמת על מה בדיוק?

 

ולמה היא גם מסוכנת?

מובהק ≠ חשוב

אפשר לקבל מובהקות:

• עם אפקט זניח
• שלא משנה שום דבר בפועל

לא מובהק ≠ אין אפקט

יכול להיות אפקט אמיתי:

• אבל מדגם קטן
• או רעש גדול

והסטטיסטיקה פשוט לא “רואה” אותו.

אפשר לשחק עם זה

עוד משתנה,
עוד תת־קבוצה,
עוד בדיקה —

ובסוף:

“מצאנו מובהקות!”

הסטטיסטיקה לא שקרנית.
אנשים לפעמים כן.

מה מובהקות כן אומרת לנו?

היא אומרת:

“התוצאה הזו לא נראית מקרית לגמרי  —
בהנחות שבחרנו.”

וזה מידע חשוב.
אבל חלקי.

בלי:

• גודל אפקט
• אי־ודאות
• הקשר
• והיגיון תחומי

זו חצי תמונה.

סיכום ביסי

מובהקות סטטיסטית היא:

• כלי חשוב
• אינדיקציה טובה
• אבל לא היעד עצמו

היא מרשימה
כי היא פשוטה.

היא מסוכנת
כי היא מפתה אותנו לעצור שם.

ובסטטיסטיקה, כמו במטבח:

לא כל מה שעובר סף,  
באמת שווה להגיש  

P-Value: למה זה לא מה שכולם חושבים שזה

דמיינו שאתם מבשלים מרק.
טעמתם.
לא רע… אבל משהו מוזר.

ואז מישהו שואל את השאלה הקטלנית:

“זה באמת יצא שונה…
או שאתה רק מדמיין?”

ברגע הזה נכנס למטבח אורח קבוע מהסטטיסטיקה:
ה־P-Value  (מובהקות התוצאה בעברית)

אז מה זה בעצם ?P-Value 

 P-Value הוא לא:

• ההסתברות שההשערה שלך נכונה ❌
• מדד לכמה התוצאה “חשובה” ❌
• חותמת “אמת מדעית” ❌

 P-Value הוא כן:

ההסתברות לקבל תוצאה כמו שראינו (או קיצונית יותר),
בהנחה שאין שום אפקט אמיתי.

במטבח:

מה הסיכוי שטעם כזה מוזר היה קורה
אם באמת לא שינינו כלום במתכון?

ניסוי המרק (גרסה סטטיסטית)

נניח:

• השערת האפס: הוספת מלח לא משנה את הטעם
• אתם מוסיפים מלח
• הטועמים אומרים: “וואו, זה שונה!”

עכשיו שואל ה-P-Value

אם באמת מלח לא משנה כלום,
מה הסיכוי שהיינו שומעים תגובה כזו?

אם הסיכוי קטן מאוד →
מתחילים לחשוד שהמלח כן עשה משהו.

הקסם של 0.05 (ולמה הוא קצת בעייתי)

אם
P < 0.05
כולם נרגעים:
✔️ “מובהק!”
✔️ “אפשר לפרסם!”
✔️ “תביאו עוגה!”

אבל שימו לב:

•  0 049 ≠ אמת מוחלטת
•  0 051 ≠ שטויות

זו לא חומת ברלין.
זה יותר כמו קו דק במתכון:
“בערך כפית”.

טעויות נפוצות (מאוד)

❌ “P-Value קטן אומר שהאפקט חזק”
❌ “אם אין מובהקות – אין אפקט”
❌ “עוד קצת נתונים ונגיע ל-0.05” (אל תעשו את זה בבית!)

P-Value  לא אומר:

• כמה האפקט גדול
• כמה הוא חשוב
• אם זה יעבוד מחר

הוא רק אומר:

“זה לא נראה מקרי לגמרי.”

אז איך משתמשים בו נכון?

✔️ ביחד עם גודל אפקט
✔️ עם היגיון וידע תחומי
✔️ בלי פולחן דתי סביב 0.05

או כמו במטבח:

גם אם המרק “מובהק”
עדיין צריך לטעום.

סיכום ביסי

P-Value  הוא לא שופט.
ואפילו לא שף ראשי.

הוא רק הטועם שאומר:

“אם באמת לא עשית כלום –
זה היה קורה כל כך מוזר?”

ואת ההחלטה הסופית?

.כמו תמיד, משאירים לשכל הישר