זה קורה כל הזמן.
עושים ניסוי.
מריצים מבחן.
והתוצאה:
“לא מובהק.”
ומישהו מסכם:
“אז כנראה
שאין אפקט.”
ופה הסטטיסטיקה נאנחת בשקט.
אז מה זו בעצם עוצמת המבחן?
עוצמת המבחן היא:
ההסתברות לזהות אפקט אמיתי
כאשר הוא באמת קיים.
כלומר:
אם יש שינוי, הבדל, או השפעה —
מה הסיכוי שהמבחן שלנו
באמת יצליח “לתפוס” אותה?
דוגמה מהמטבח
נניח ששיניתם מתכון:
- קצת
פחות מלח
- קצת
יותר זמן בתנור
ואתם שואלים:
“העוגה
יצאה טובה יותר?”
אבל:
- טעמתם
רק שתי עוגות
- אחת
ביום חם, אחת ביום קר
- והחברים
לא מרוכזים
אם לא מצאתם הבדל —
זה אומר שאין הבדל?
או שפשוט…
לא היה לכם סיכוי לגלות אותו?
עוצמה נמוכה = משחק מכור
מבחן עם עוצמה נמוכה אומר:
“גם אם יש
אפקט —
רוב הסיכויים שלא אראה אותו.”
ואז:
- לא
מובהק
- לא
מובהק
- לא
מובהק
והחוקר מסיק:
“אין כלום.”
אבל האמת?
יכול להיות שהיה משהו —
רק שלא היה לנו כלי מספיק חד.
ממה עוצמת המבחן מושפעת?
בקיצור (בלי נוסחאות):
גודל המדגם
יותר נתונים → יותר עוצמה
גודל האפקט
שינוי גדול קל יותר לזהות
משינוי זעיר
רעש / שונות
יותר בלגן → פחות עוצמה
רמת המובהקות (α)
מבחן שמחמיר מדי —
עלול לפספס אפקטים אמיתיים
הטעות הנפוצה
לבלבל בין:
“לא מצאנו
אפקט”
לבין
“בדקנו ולא היה סיכוי למצוא אפקט”.
בלי עוצמה —
“לא מובהק” הוא מידע חלש מאוד.
אז מה עושים?
✔️ חושבים על עוצמה לפני הניסוי
✔️ לא חוגגים “לא מובהק” אוטומטית
✔️ שואלים:
אם היה אפקט סביר —
האם בכלל היינו מסוגלים לראות אותו?
סיכום ביסי
עוצמת המבחן עונה על שאלה פשוטה:
“אם משהו
באמת קורה —
האם יש לי סיכוי לגלות את זה?”
מבחן בלי עוצמה
הוא כמו טעימה עם אף סתום.
ובסטטיסטיקה, כמו במטבח:
אם לא הרגשת טעם —
.זה לא תמיד אומר שאין תיבול
אין תגובות:
הוסף רשומת תגובה