חוק ה-80/20 על סטרואידים: הכירו את חוק זיפף

אם חוק בנפורד גילה לנו שספרות בנתונים לא מתפלגות באופן שווה, חוק זיפף הולך צעד אחד קדימה ומראה לנו שהעולם הוא מקום מאוד... לא דמוקרטי.

כמרצה לסטטיסטיקה, אני אוהב להגדיר את חוק זיפף כ"חוק המנצח לוקח הכל".

מה זה אומר בפשטות?

חוק זיפף קובע שבכל קבוצה גדולה של נתונים, הפריט במקום הראשון יופיע פי 2 יותר מהפריט במקום השני, ופי 3 יותר מהפריט במקום השלישי.

הנוסחה פשוטה להפליא: התדירות של פריט היא ביחס הפוך לדירוג שלו.

איפה הבלשות נכנסת לתמונה?

זיפף מופיע במקומות שפשוט ידהימו אתכם:

1. שפה: המילה הנפוצה ביותר באנגלית היא "the". המילה השנייה, "of", מופיעה בדיוק חצי ממנה. המילה העשירית תופיע בדיוק עשירית ממנה. זה נכון כמעט לכל שפה שנכתבה אי פעם.
2. אוכלוסיית ערים: העיר הגדולה ביותר במדינה תהיה בדרך כלל פי 2 מהעיר השנייה ופי 3 מהשלישית. אם הנתונים בבורסה או במפקד האוכלוסין לא "מצייתים" לזיפף – זה סימן שמשהו בתהליך הטבעי השתבש (או זויף).
3. תורת המשחקים (בונוס): אפשר לראות בזיפף תוצאה של "משחק" שבו הצלחה מולידה הצלחה. מי שיש לו הכי הרבה קשרים או משאבים, נוטה למשוך אליו עוד – מה שיוצר את הדירוג הקיצוני הזה.

למה זה חשוב לנו?

בין אם אתם מנתחים נתונים בעסק או בודקים התנהגות של סטודנטים, חוק זיפף מלמד אותנו לצפות לזנב ארוך. רוב הפעילות תמיד תתרכז בראש הפירמידה, והשאר יתפזר לאורך זנב אינסופי.

זיהוי של חריגות מהדירוג הזה הוא הדרך הכי מהירה לזהות שמשהו בנתונים שלכם פשוט "לא טבעי".

מה ה"מקום ראשון" בעסק שלכם? האם הוא באמת כפול מהמקום השני? שתפו אותי בתגובות!

בדיוק כפי שלמדנו בפוסט על חוק בנפורד – שם גילינו שהספרות עצמן אינן מתפלגות באופן שווה – חוק זיפף לוקח את התובנה הזו צעד אחד קדימה אל עולם הדירוגים. בעוד שבנפורד עוזר לנו לתפוס רמאים בדוחות כספיים, זיפף עוזר לנו להבין את המבנה הטבעי של מערכות מורכבות, משפות ועד גודלן של ערים."

סטטיסטיקה #חוק_זיפף # BigData #  #ניתוח_נתונים
 

חמין: האם זה מתכון או אלגוריתם של בקרת איכות?

יום שישי בצהריים. הסיר על הפלטה, המכסה נסגר, והתהליך יוצא לדרך. עבור רוב האנשים מדובר בבישול איטי; עבורי, כסטטיסטיקאי, מדובר בתהליך של בקרת איכות (QA) שמבוסס על סדרת ניסויים ארוכת טווח.

1. חוק המספרים הגדולים במטבח

יש מי שטוען שחמין הוא עניין של מזל, אבל הסטטיסטיקה אומרת אחרת. אם אתם מכינים חמין מדי שבוע, אתם כבר מזמן מעבר ל"ניחוש". עם n (מספר הניסיונות) שהולך וגדל מדי שבת, גודל המדגם שלנו הופך למשמעותי.

בכל שבוע אנחנו אוספים נתונים: האם החיטה הייתה רכה מדי? האם הבשר הגיע לטמפרטורה האידיאלית? ככל שה-n שלנו גדל ,טעות הדגימה קטנה. אנחנו כבר לא מנחשים – אנחנו מבצעים אופטימיזציה.

להרחבה על העיקרון המתמטי מאחורי התופעה (קישור)

2. המרדף אחרי סטטית תקן

המטרה של בשלן "אנליטי" היא לא רק להוציא חמין טעים פעם אחת, אלא להגיע לעקביות. מתכון מדויק הוא בעצם הדרך שלנו לצמצם את סטיית התקן. כשאנחנו משתמשים באותן כמויות, באותו סיר ובאותה טמפרטורה, אנחנו שואפים למצב שבו השונות (Variance) בין השבתות שואפת לאפס. חמין מושלם הוא כזה שיוצא זהה ב-99% מרמות הביטחון שלנו.

רוצים להבין איך מודדים עקביות ודיוק? (קישור)

3.  תיקון שגיאות ומשוב  

מי שטוען שחמין הוא "קופסה שחורה" כנראה לא מתעד את הניסויים שלו. בכל שבת בבוקר, כשאנחנו פותחים את המכסה, אנחנו מקבלים את התוצאה של הניסוי משבת האחרונה.

• קיבלנו פלט יבש מדי? נעדכן את הפרמטרים (יותר נוזלים) בניסוי הבא.
• קיבלנו צבע בהיר מדי? נשנה את משתנה הזמן או הטמפרטורה.

זהו תהליך למידה שבו כל שבת היא "איטרציה" נוספת בדרך למודל המושלם.

4. השורה התחתונה של "ביסים של סטטיסטיקה"

חמין טוב הוא לא קסם, הוא תוצאה של מתכון מדויק וסדרת ניסויים מצטברת. כשיש לנו מדגם מספיק גדול של שבתות, אנחנו כבר לא צריכים להתפלל ליד הפלטה – אנחנו פשוט צריכים לסמוך על הנתונים.

איך נראה ה-n שלכם? אתם כבר בשלב שבו המתכון שלכם הוא "חסין טעויות" (Robust), או שאתם עדיין בשלבי איסוף הנתונים?

  

🇮🇱 סטטיסטיקה עצמאית – גרסת המנגל 🇮🇱

חברים רבים שואלים אותי, כמי שמבין סטטיסטיקה:
איך אפשר להבין את המציאות בלי להסתבך בחישובים?

אז הנה תשובה חגיגית ליום העצמאות

ביום העצמאות יש חוק סטטיסטי לא כתוב:
ככל שמספר האנשים סביב המנגל גדל – כך ההסתברות שתישאר רעב עולה.

למה זה קורה?
כי כולם בטוחים שמישהו אחר כבר דואג לבשר.
(כן כן, תורת המשחקים בפעולה – קלאסיקה של "free rider")

ועוד תופעה מעניינת:
הממוצע של כמות הבשר לאדם נראה גבוה…
אבל בפועל – החציון מספר סיפור אחר לגמרי

יש אחד שמעמיס כמו אלוף עולם,
ועוד אחד שתקוע עם פיתה וחומוס.

מוסר השכל סטטיסטי:
אל תסמכו רק על הממוצע –
תבדקו גם מי עומד ליד המנגל.

ובמעבר חד לכלכלה התנהגותית:
אפקט העוגן
מי שתופס ראשון את הצלחת – קובע את הסטנדרט לכולם.
אחריו? זה כבר משחק הישרדות.

🎯 Action item ליום העצמאות:
תגיעו מוקדם.
או שתביאו בשר.
או שתבינו שאתם בניסוי אמפירי.

חג עצמאות שמח 🇮🇱

ושיהיה לכם מדגם מייצג… ולא רק עשן 

נס הרגרסיה: למה התיקון שעשיתם במרק לא באמת עבד?

בתור שף חובב, יש רגעים של פאניקה: המנה יצאה פשוט איומה. מלוחה מדי, שרופה מדי, או סתם חסרת טעם. אתם רצים למזווה, מוסיפים קצת סוכר, מחליפים סיר, ומתפללים. בטעימה הבאה? המנה מרגישה הרבה יותר טובה! אתם בטוחים שאתם גאונים קולינריים.

אבל הסטטיסטיקאי שבתוכי לוחש: "אולי זה לא הסוכר, אולי זו פשוט רגרסיה לממוצע?"

מה זה בעצם Regression to the Mean ?

זהו חוק סטטיסטי הקובע שאם משתנה הוא קיצוני במדידה הראשונה שלו (גבוה מאוד או נמוך מאוד), במדידה השנייה הוא כנראה יהיה קרוב יותר לממוצע.

למה זה קורה ? כי כל תוצאה מורכבת מכישרון/יכולת + מזל (אקראיות). אם יצאה לכם מנה גרועה במיוחד, כנראה שהיה לכם "מזל רע" קיצוני באותו רגע. בטעימה הבאה, סביר שהמזל יתאזן והמנה תחזור לרמה הרגילה שלה – גם אם לא הייתם עושים כלום!

איפה זה עובד עלינו במציאות?

1. "קללת שער המגזין"  ספורטאי שמופיע על שער מגזין אחרי עונה מטורפת, ובעונה שאחרי "צונח" בביצועים. זה לא הלחץ של התקשורת – זה פשוט בלתי אפשרי לשמור על שיא של מזל וכישרון לאורך זמן. הוא פשוט חוזר לממוצע שלו.
2. עסקים וניהול: מנהל שרואה רבעון גרוע במיוחד וצורח על העובדים. ברבעון הבא המצב משתפר, והוא בטוח שהצעקות עבדו. בפועל? המצב היה משתפר כנראה גם בלי הצעקות, פשוט כי הרבעון הקודם היה חריג סטטיסטית.
3. תרופות סבתא:  אנחנו לוקחים תרופה בדיוק כשהמחלה בשיא (המצב הכי קיצוני). כשאנחנו מבריאים, אנחנו מייחסים את זה לתרופה, אבל שוכחים שהגוף פשוט חזר למצבו הממוצע.

למה חשוב לפרשן את זה נכון?

הסכנה היא שאנחנו מפתחים "אשליה של שליטה". אנחנו חושבים שהפעולות שלנו (הסוכר במרק, הצעקות בניהול) הן שגרמו לשינוי, כשהשינוי היה קורה ממילא.

כפרשן נתונים, התפקיד שלי הוא לעזור לכם להבין: האם השיפור בביצועים הוא תוצאה של האסטרטגיה החדשה שלכם, או שזה פשוט הטבע שמאזן את עצמו?

---

הנתונים שלכם השתפרו פתאום? אל תפתחו את השמפניה עדיין. קל מאוד לייחס הצלחה לפעולה שעשינו, אבל מנהיגות חכמה דורשת להבדיל בין שינוי אמיתי לבין תנודה סטטיסטית. צריכים עין מקצועית שתגיד לכם אם התיקון שעשיתם עבד או שזה רק "נס הרגרסיה"?

בואו נבין את הסיפור מאחורי השיפור. דברו איתי בפרטי.

#StatisticsBites #RegressionToTheMean #DataInterpretation #DecisionMaking #GameTheory #BusinessStrategy 

תסמונת הישרדות: למה לא כדאי ללמוד מתכון לעוגה רק ממי שהצליח לו?

בתור מי שחוקר תורת המשחקים, אני תמיד מחפש את האסטרטגיה המנצחת. אבל בסטטיסטיקה, לפעמים הלקח הכי חשוב נמצא דווקא אצל אלו שהפסידו – אלו שפשוט לא זכינו לשמוע מהם.

זה נקרא "תסמונת הישרדות" (Survivorship Bias)    

מה זה בעצם?

זו הטיה סטטיסטית שבה אנחנו מתמקדים באנשים או בדברים ש"שרדו" תהליך מסוים, ומתעלמים מאלו שלא – פשוט כי הם לא נראים לעין.

הסיפור הקלאסי: במלחמת העולם השנייה, חוקרים בדקו מטוסים שחזרו מהקרב וראו שהם מלאים בחורי ירי בכנפיים ובזנב. הם רצו למגן את האזורים האלו, עד שהסטטיסטיקאי אברהם ולד עצר אותם ואמר: "הפוך! צריך למגן את המנוע. המטוסים שחטפו במנוע פשוט לא חזרו כדי שנוכל לבדוק אותם".

איך זה עובד עלינו במטבח?

תחשבו על "מתכון סבתא" מפורסם. כולם אומרים: "סבתא תמיד בישלה עם חמאה מזוקקת וסיגריה בפה והגיעה לגיל 95, אז זה כנראה סוד הבריאות". זו תסמונת הישרדות קלאסית. אנחנו שומעים רק על הסבתא ששרדה, ולא על כל אלו שחיו באותו אורח חיים ולא הגיעו לגיל הזה. אנחנו מסיקים מסקנה מ"השורד" הבודד (N=1) ומתעלמים מכל המדגם שנפל בדרך.

איפה זה פוגש אתכם בעסקים ובתקשורת?

1. סיפורי הצלחה: אנחנו קוראים ספרים על סטיב ג'ובס או אילון מאסק ומנסים להעתיק את הצעדים שלהם. אבל אנחנו שוכחים שיש אלפי יזמים שעשו בדיוק את אותו הדבר – ונכשלו. ללמוד רק מהמצליחנים זה כמו ללמוד איך לזכות בלוטו מהאדם שהרגע זכה.
2. ביצועי מניות: קרנות נאמנות מציגות לעיתים קרובות "תשואה ממוצעת מדהימה ב-10 השנים האחרונות". מה שהן לא מספרות זה שהן סגרו את כל הקרנות הכושלות בדרך, כך שהנתונים מבוססים רק על אלו ששרדו.

למה הפרשנות שלי קריטית כאן?

כשמציגים לכם מקרה בוחן (Case Study) מוצלח, התפקיד שלי כפרשן הוא לשאול” :ואיפה אלו שנכשלו .”? כדי לקבל החלטה אסטרטגית נכונה, אי אפשר להסתכל רק על המנצחים. צריך להבין את התמונה המלאה של כל מי ששיחק את המשחק.

מנסים להעתיק נוסחת הצלחה של מישהו אחר?  לפני שאתם משנים את כל האסטרטגיה העסקית שלכם על סמך סיפור הצלחה אחד מהתקשורת, כדאי לבדוק אם לא נפלתם בתסמונת הישרדות. אני מזמין אתכם לייעוץ פרשנות קצר – ננתח יחד את הנתונים, נחפש את "חורי הירי" במקומות הלא צפויים, ונוודא שהמסקנות שלכם מבוססות על המציאות ולא רק על המזל.

בואו נראה את התמונה המלאה. דברו איתי בפרטי. 📥

#ביסים_של_סטטיסטיקה #תסמונת_הישרדות #פרשנות_נתונים #תורת_המשחקים #סטטיסטיקה_בגובה_העיניים #קבלת_החלטות 

המתכון הסודי לזיהוי שקרים: חוק בנפורד והמטבח האקדמי

בתור מי שמבלה חצי מהיום שלו בחישוב הסתברויות בתורת המשחקים והחצי השני בניסיון להבין למה הסופלה שלי קרס, גיליתי דבר אחד בטוח: גם מספרים וגם מתכונים קשה מאוד לזייף בלי להשאיר עקבות.

היום נדבר על אחד הכלים הכי מגניבים בסטטיסטיקה: חוק בנפורד .(Benford's Law) 

המלח של הנתונים: מה זה בכלל?

דמיינו שאתם פותחים ספר מתכונים ענק עם אלפי מנות. מה הסיכוי שכמות הקמח או הסוכר (בגרמים) תתחיל בספרה 1? (למשל 150 גרם, 12 גרם או 1,200 גרם). רובנו נגיד: "נו, זה בטח מתחלק שווה בשווה בין 1 ל-9".

אז זהו, שלא.

חוק בנפורד מגלה לנו סוד מרעיש: בעולם הנתונים הטבעי, הספרה  1 תופיע כספרה ראשונה ב30% מהמקרים. הספרה  9, לעומת זאת, תופיע רק ב-5% מהזמן.

למה זה דומה במטבח?

תחשבו על התפיחה של בצק שמרים. כדי שהבצק יכפיל את עצמו מ-100 גרם ל-200 גרם, הוא צריך לגדול ב-100%. זה לוקח זמן. אבל כדי לגדול מ-800 גרם ל-900 גרם, הוא צריך לגדול רק ב-12.5%. בגלל זה, מספרים בטבע "נתקעים" הרבה יותר זמן בטווח שמתחיל ב-1 מאשר בטווח שמתחיל ב-9.

איך זה תופס שקרנים? (או: מי אכל את העוגה?)

הבעיה עם שקרנים היא שהם מתאמצים מדי.

• במטבח: אם מישהו יגיד לכם שהוא הכין עוגת שוקולד עם 117.34 גרם סוכר בדיוק, תדעו שהוא ממציא. זה נראה "מדויק מדי".
• בסטטיסטיקה: כשמישהו מזייף דוח מס או תוצאות בחירות, הוא מנסה לפזר את המספרים שיראו "אקראיים". הוא ישים קצת 7, קצת 8 וקצת 9 באופן שווה.

ואז מגיע הסטטיסטיקאי עם ה"מטרפה": הוא בודק את התפלגות הספרות הראשונות. אם יש "יותר מדי" 7 ו-8 ופחות מדי 1 – המנה הזאת שרופה. מישהו פה בישל את הנתונים!

דוגמאות מהחיים (שלא מוגשות בצלחת):

1. הונאות מס: רשות המיסים משתמשת בזה כדי לעלות על אנשים שהמציאו הוצאות. אם החשבונית שלכם מתחילה תמיד ב-8 או 9, כנראה שתקבלו ביקור.
2. מלחמות תקשורת: כשפוליטיקאי מציג גרף על "צמיחה אדירה" וכל המספרים נראים כאילו נשלפו מהכובע, מבחן בנפורד יכול להגיד לנו אם אלו נתוני אמת או סתם מתכון לאסון.

הטיפ שלי לסיכום: כשאתם קוראים כתבה בעיתון או מתכון בבלוג, אל תסתכלו רק על התמונה היפה. תסתכלו על המספרים. אם הם נראים מסודרים מדי, כנראה שמישהו מנסה להאכיל אתכם בלוקשים.

הנתונים כבר אצלכם אבל אתם לא בטוחים מה הם אומרים?

אם אתם רוצים להבין את השורה התחתונה בלי לשבור את הראש על החישובים – שלחו לי הודעה לייעוץ פרשנות קצר. אתם מביאים את המספרים, אני מסביר מה הם באמת אומרים.

#ביסים_של_סטטיסטיקה #חוק_בנפורד #בישול_וסטטיסטיקה #תורת_המשחקים #סטטיסטיקה_בגובה_העיניים #זיהוי_שקרים

יותר מדי תבלינים במרק: מה הקשר בין המרק של סבתא לתיקון בונפרוני?

 

מכירים את זה שאתם טועמים את המרק והוא מרגיש קצת חסר? אז אתם מוסיפים מלח. ואז קצת פלפל. ואז אולי כורכום. ואז צ'ילי. ואז חאוויג'. פתאום, המרק שלכם לא טעים – הוא פשוט "בלגן" של טעמים שבו אי אפשר לזהות כלום.

בסטטיסטיקה, לקטסטרופה הקולינרית הזו קוראים "בעיית ההשוואות המרובות", והפתרון (הדיאטטי) שלה הוא תיקון בונפרוני.

מה הבעיה? (או: למה המרק נהרס?)

כשאתם בודקים השערה סטטיסטית אחת, אתם מרשים לעצמכם סיכון קטן של 5% לטעות (מובהקות 5%).  זה כמו להוסיף תבלין אחד – הסיכוי שתהרסו את המנה נמוך.

אבל מה קורה כשאתם מתחילים "לטעום" ולבדוק 20 השערות שונות על אותם נתונים?

הסיכוי שבאחת מהן תמצאו משהו "מובהק" רק בטעות (False Positive) קופץ כמעט ל-65%! זה כבר לא מדע, זה הימורים במטבח. אם תזרקו מספיק תבלינים למרק, בסוף משהו ירגיש "חזק", אבל זה לא אומר שזה טעים.

נעים להכיר: שף בונפרוני 

כדי שלא נתרגש מכל "רעש" של טעם, קרלו בונפרוני הציע כלל פשוט ונוקשה. הוא אמר: "רוצים לבדוק 10 השערות? אין בעיה. אבל רמת המובהקות שלכם צריכה להתחלק ב-10".

הנוסחה פשוטה:

רמת המובהקות החדשה שווה לרמת המובהקות הישנה חלקי מספר השערות נבדקות.

אם רציתם מובהקות של 0.05 ובדקתם 10 דברים, מעכשיו תצטרכו להוכיח מובהקות של 0.005  כדי שמישהו ייקח אתכם ברצינות.

אז איך זה נראה במטבח של "ביסים של סטטיסטיקה"?

דמיינו שאתם מנסים להוכיח שסחוג מרפא כאבי ראש, כאבי גב וגם עוזר בטסט לרכב.

1. בדקתם 3 השערות שונות?
2. בונפרוני נכנס למטבח, דופק על השולחן ואומר: "חביבי, כדי שאני אאמין לך, התוצאה שלך צריכה להיות פי 3 יותר חזקה מהרגיל".

השורה התחתונה (לפני שהקניידלך שוקעים):

תיקון בונפרוני הוא כמו השף הקשוח שלא מרשה לכם להוסיף תבלינים סתם. הוא מזכיר לנו שככל שאנחנו "חופרים" בנתונים ומחפשים קשרים, אנחנו חייבים להיות הרבה יותר ביקורתיים כלפי עצמנו.

כי בסוף, גם בסטטיסטיקה וגם בבישול – אם תנסו להוכיח הכל בבת אחת, כנראה שתצאו עם מנה שאף אחד לא רוצה לאכול.

המרשם של שף בונפרוני למחקר נקי מרעלים

כדי שלא תגישו לשולחן המדעי מנה שהיא "דייסת נתונים", הנה רשימת המרכיבים המעודכנת שלכם:

• בסיס: השערת אפס אחת  מוצקה.
• תיבול: 5-10 השערות אלטרנטיביות (אבל היזהרו לא לשפוך יותר מדי בבת אחת).
• הסוד המקצועי: לפני שאתם מכריזים על "מובהקות", קחו את רמת המובהקות המקורית שלכם (ה-0.05 המסורתי) ותחלקו אותה במספר הבדיקות שביצעתם.
• זמן הכנה: אם p-value שלכם לא קטן יותר מהתוצאה החדשה – המנה לא מוכנה. החזירו אותה למקרר (או למעבדה) ונסו שוב עם מדגם גדול יותר.

טיפ של שפים: תיקון בונפרוני נחשב לתיקון "שמרן" מאוד. הוא כמו השף שאומר לכם שאם יש ספק – אין ספק. הוא עלול לפספס תגליות אמיתיות (טעות מסוג שני), אבל הוא מבטיח שמה שייצא מהמטבח שלכם יהיה איכותי, אמין ובעיקר – לא תוצר של יד קלה על הדק התבלינים.

מרגישים שהפלט הסטטיסטי שלכם יצא 'חריף' מדי או שהגרפים פשוט מסרבים לעשות שכל? אתם לא חייבים לנחש מה הנתונים מנסים להגיד. אם הסתבכתם עם ניתוח מורכב, בדיקת השערות או ויזואליזציה שמרגישה כמו חידה – שלחו לי הודעה. נשב על זה יחד ונהפוך את דייסת המספרים למסקנות אסטרטגיות ברורות.