זה קורה כל הזמן.
מישהו מציג תוצאה,
מראה מספר קטן,
ואומר בביטחון:
“זה מובהק
סטטיסטית.”
והקהל?
מהנהן.
מתרשם.
לפעמים אפילו משתכנע.
אבל כאן בדיוק מתחילה הבעיה.
אז מה זו בכלל מובהקות סטטיסטית?
בצורה הכי פשוטה:
מובהקות סטטיסטית אומרת:
אם באמת אין אפקט,
אז הסיכוי לראות תוצאה כזו (או
קיצונית יותר)
הוא נמוך.
זה הכול.
לא:
- כמה
האפקט גדול
- כמה
הוא חשוב
- האם
הוא שימושי
- או
אם כדאי לשנות בגללו החלטות
רק:
“זה כנראה
לא קרה במקרה.”
דוגמה מהמטבח
נניח שאתם משנים מתכון:
- מוסיפים
חצי גרם מלח
- מודדים
את ציון הטעם
- עם המון
טועמים
התוצאה:
שיפור זעיר בטעם —
אבל עם מדגם גדול מספיק:
מובהק!
האם מישהו באמת ירגיש את זה בצלחת?
כנראה שלא.
אבל הסטטיסטיקה?
מאוד מתרשמת.
למה מובהקות כל כך מרשימה?
כי היא:
- נותנת
תשובה בינארית (כן/לא)
- נשמעת
מדעית
- קלה
לתקשור
- ועובדת
מצוין בכותרות
p < 0.05
מרגיש כמו חותמת איכות.
אבל זו חותמת על מה בדיוק?
ולמה היא גם מסוכנת?
מובהק ≠ חשוב
אפשר לקבל מובהקות:
- עם
אפקט זניח
- שלא
משנה שום דבר בפועל
לא מובהק ≠ אין אפקט
יכול להיות אפקט אמיתי:
- אבל
מדגם קטן
- או
רעש גדול
והסטטיסטיקה פשוט לא “רואה” אותו.
אפשר לשחק עם זה
עוד משתנה,
עוד תת־קבוצה,
עוד בדיקה —
ובסוף:
“מצאנו
מובהקות!”
הסטטיסטיקה לא שקרנית.
אנשים לפעמים כן.
מה מובהקות כן אומרת לנו?
היא אומרת:
“התוצאה
הזו לא נראית מקרית לגמרי —
בהנחות שבחרנו.”
וזה מידע חשוב.
אבל חלקי.
בלי:
- גודל
אפקט
- אי־ודאות
- הקשר
- והיגיון
תחומי
זו חצי תמונה.
סיכום ביסי
מובהקות סטטיסטית היא:
- כלי
חשוב
- אינדיקציה
טובה
- אבל
לא היעד עצמו
היא מרשימה
כי היא פשוטה.
היא מסוכנת
כי היא מפתה אותנו לעצור שם.
ובסטטיסטיקה, כמו במטבח:
לא כל
מה שעובר סף,
באמת שווה להגיש
אין תגובות:
הוסף רשומת תגובה