חוק ה-80/20 על סטרואידים: הכירו את חוק זיפף

אם חוק בנפורד גילה לנו שספרות בנתונים לא מתפלגות באופן שווה, חוק זיפף הולך צעד אחד קדימה ומראה לנו שהעולם הוא מקום מאוד... לא דמוקרטי.

כמרצה לסטטיסטיקה, אני אוהב להגדיר את חוק זיפף כ"חוק המנצח לוקח הכל".

מה זה אומר בפשטות?

חוק זיפף קובע שבכל קבוצה גדולה של נתונים, הפריט במקום הראשון יופיע פי 2 יותר מהפריט במקום השני, ופי 3 יותר מהפריט במקום השלישי.

הנוסחה פשוטה להפליא: התדירות של פריט היא ביחס הפוך לדירוג שלו.

איפה הבלשות נכנסת לתמונה?

זיפף מופיע במקומות שפשוט ידהימו אתכם:

1. שפה: המילה הנפוצה ביותר באנגלית היא "the". המילה השנייה, "of", מופיעה בדיוק חצי ממנה. המילה העשירית תופיע בדיוק עשירית ממנה. זה נכון כמעט לכל שפה שנכתבה אי פעם.
2. אוכלוסיית ערים: העיר הגדולה ביותר במדינה תהיה בדרך כלל פי 2 מהעיר השנייה ופי 3 מהשלישית. אם הנתונים בבורסה או במפקד האוכלוסין לא "מצייתים" לזיפף – זה סימן שמשהו בתהליך הטבעי השתבש (או זויף).
3. תורת המשחקים (בונוס): אפשר לראות בזיפף תוצאה של "משחק" שבו הצלחה מולידה הצלחה. מי שיש לו הכי הרבה קשרים או משאבים, נוטה למשוך אליו עוד – מה שיוצר את הדירוג הקיצוני הזה.

למה זה חשוב לנו?

בין אם אתם מנתחים נתונים בעסק או בודקים התנהגות של סטודנטים, חוק זיפף מלמד אותנו לצפות לזנב ארוך. רוב הפעילות תמיד תתרכז בראש הפירמידה, והשאר יתפזר לאורך זנב אינסופי.

זיהוי של חריגות מהדירוג הזה הוא הדרך הכי מהירה לזהות שמשהו בנתונים שלכם פשוט "לא טבעי".

מה ה"מקום ראשון" בעסק שלכם? האם הוא באמת כפול מהמקום השני? שתפו אותי בתגובות!

בדיוק כפי שלמדנו בפוסט על חוק בנפורד – שם גילינו שהספרות עצמן אינן מתפלגות באופן שווה – חוק זיפף לוקח את התובנה הזו צעד אחד קדימה אל עולם הדירוגים. בעוד שבנפורד עוזר לנו לתפוס רמאים בדוחות כספיים, זיפף עוזר לנו להבין את המבנה הטבעי של מערכות מורכבות, משפות ועד גודלן של ערים."

סטטיסטיקה #חוק_זיפף # BigData #  #ניתוח_נתונים