עוצמת המבחן: למה “לא יצא מובהק” זה לפעמים פשוט מבחן חלש

זה קורה כל הזמן.

עושים ניסוי.
מריצים מבחן.
והתוצאה:

“לא מובהק.”

ומישהו מסכם:

“אז כנראה שאין אפקט.”

ופה הסטטיסטיקה נאנחת בשקט.

אז מה זו בעצם עוצמת המבחן?

עוצמת המבחן היא:

ההסתברות לזהות אפקט אמיתי
כאשר הוא באמת קיים.

כלומר:
אם יש שינוי, הבדל, או השפעה —
מה הסיכוי שהמבחן שלנו
באמת יצליח “לתפוס” אותה?

דוגמה מהמטבח

נניח ששיניתם מתכון:

• קצת פחות מלח
• קצת יותר זמן בתנור

ואתם שואלים:

“העוגה יצאה טובה יותר?”

אבל:

• טעמתם רק שתי עוגות
• אחת ביום חם, אחת ביום קר
• והחברים לא מרוכזים

אם לא מצאתם הבדל —
זה אומר שאין הבדל?

או שפשוט…
לא היה לכם סיכוי לגלות אותו?

עוצמה נמוכה = משחק מכור

מבחן עם עוצמה נמוכה אומר:

“גם אם יש אפקט —
רוב הסיכויים שלא אראה אותו.”

ואז:

• לא מובהק
• לא מובהק
• לא מובהק

והחוקר מסיק:

“אין כלום.”

אבל האמת?
יכול להיות שהיה משהו —
רק שלא היה לנו כלי מספיק חד.

ממה עוצמת המבחן מושפעת?

בקיצור (בלי נוסחאות):

גודל המדגם
יותר נתונים → יותר עוצמה

גודל האפקט
שינוי גדול קל יותר לזהות
משינוי זעיר

רעש / שונות
יותר בלגן → פחות עוצמה

רמת המובהקות  (α)
מבחן שמחמיר מדי —
עלול לפספס אפקטים אמיתיים

הטעות הנפוצה

לבלבל בין:

“לא מצאנו אפקט”
לבין
“בדקנו ולא היה סיכוי למצוא אפקט”.

בלי עוצמה —
“לא מובהק” הוא מידע חלש מאוד.

אז מה עושים?

✔️ חושבים על עוצמה לפני הניסוי
✔️ לא חוגגים “לא מובהק” אוטומטית
✔️ שואלים:

אם היה אפקט סביר —
האם בכלל היינו מסוגלים לראות אותו?

סיכום ביסי

עוצמת המבחן עונה על שאלה פשוטה:

“אם משהו באמת קורה —
האם יש לי סיכוי לגלות את זה?”

מבחן בלי עוצמה
הוא כמו טעימה עם אף סתום.

ובסטטיסטיקה, כמו במטבח:

אם לא הרגשת טעם —

.זה לא תמיד אומר שאין תיבול