מכירים את זה שאתם טועמים את המרק
והוא מרגיש קצת חסר? אז אתם מוסיפים מלח. ואז קצת פלפל. ואז אולי כורכום. ואז
צ'ילי. ואז חאוויג'. פתאום, המרק שלכם לא טעים – הוא פשוט "בלגן" של
טעמים שבו אי אפשר לזהות כלום.
בסטטיסטיקה, לקטסטרופה הקולינרית הזו
קוראים "בעיית ההשוואות המרובות", והפתרון
(הדיאטטי) שלה הוא תיקון בונפרוני.
מה הבעיה? (או: למה המרק נהרס?)
כשאתם בודקים השערה סטטיסטית אחת,
אתם מרשים לעצמכם סיכון קטן של 5% לטעות (מובהקות 5%). זה כמו
להוסיף תבלין אחד – הסיכוי שתהרסו את המנה נמוך.
אבל מה קורה כשאתם מתחילים
"לטעום" ולבדוק 20 השערות שונות על אותם נתונים?
הסיכוי שבאחת מהן תמצאו משהו
"מובהק" רק בטעות (False Positive) קופץ כמעט ל-65%! זה כבר לא מדע, זה
הימורים במטבח. אם תזרקו מספיק תבלינים למרק, בסוף משהו ירגיש "חזק",
אבל זה לא אומר שזה טעים.
נעים להכיר: שף בונפרוני
כדי שלא נתרגש מכל "רעש"
של טעם, קרלו בונפרוני הציע כלל פשוט ונוקשה. הוא אמר: "רוצים לבדוק 10
השערות? אין בעיה. אבל רמת המובהקות שלכם צריכה להתחלק ב-10".
הנוסחה פשוטה:
רמת המובהקות החדשה שווה לרמת המובהקות הישנה חלקי מספר השערות נבדקות.
אם רציתם מובהקות של 0.05 ובדקתם 10
דברים, מעכשיו תצטרכו להוכיח מובהקות של 0.005
כדי שמישהו ייקח אתכם ברצינות.
אז איך זה נראה במטבח של "ביסים
של סטטיסטיקה"?
דמיינו שאתם מנסים להוכיח שסחוג מרפא
כאבי ראש, כאבי גב וגם עוזר בטסט לרכב.
- בדקתם
3 השערות שונות?
- בונפרוני
נכנס למטבח, דופק על השולחן ואומר: "חביבי, כדי שאני אאמין לך, התוצאה
שלך צריכה להיות פי 3 יותר חזקה מהרגיל".
השורה התחתונה (לפני שהקניידלך
שוקעים):
תיקון בונפרוני הוא כמו השף הקשוח
שלא מרשה לכם להוסיף תבלינים סתם. הוא מזכיר לנו שככל שאנחנו "חופרים"
בנתונים ומחפשים קשרים, אנחנו חייבים להיות הרבה יותר ביקורתיים כלפי עצמנו.
כי בסוף, גם בסטטיסטיקה וגם בבישול –
אם תנסו להוכיח הכל בבת אחת, כנראה שתצאו עם מנה שאף אחד לא רוצה לאכול.
המרשם של שף בונפרוני למחקר נקי
מרעלים
כדי שלא תגישו לשולחן המדעי מנה שהיא
"דייסת נתונים", הנה רשימת המרכיבים המעודכנת שלכם:
- בסיס: השערת
אפס אחת מוצקה.
- תיבול: 5-10 השערות
אלטרנטיביות (אבל היזהרו לא לשפוך יותר מדי בבת אחת).
- הסוד
המקצועי: לפני שאתם מכריזים על
"מובהקות", קחו את רמת המובהקות המקורית שלכם (ה-0.05 המסורתי)
ותחלקו אותה במספר הבדיקות שביצעתם.
- זמן
הכנה: אם p-value שלכם לא קטן יותר מהתוצאה החדשה
– המנה לא מוכנה. החזירו אותה למקרר (או למעבדה) ונסו שוב עם מדגם גדול יותר.
טיפ של שפים: תיקון בונפרוני נחשב לתיקון
"שמרן" מאוד. הוא כמו השף שאומר לכם שאם יש ספק – אין ספק. הוא עלול
לפספס תגליות אמיתיות (טעות מסוג שני), אבל הוא מבטיח שמה שייצא מהמטבח שלכם יהיה
איכותי, אמין ובעיקר – לא תוצר של יד קלה על הדק התבלינים.
מרגישים שהפלט הסטטיסטי שלכם יצא 'חריף' מדי או שהגרפים פשוט מסרבים לעשות שכל? אתם לא חייבים לנחש מה הנתונים מנסים להגיד. אם הסתבכתם עם ניתוח מורכב, בדיקת השערות או ויזואליזציה שמרגישה כמו חידה – שלחו לי הודעה. נשב על זה יחד ונהפוך את דייסת המספרים למסקנות אסטרטגיות ברורות.
אין תגובות:
הוסף רשומת תגובה