וולפרם אלפא – נורמלי? לא נורמלי. לוג-נורמלי!

יש המון התנצלויות לפני שהפוסט הזה ממש יתחיל.

אם תבחרו לא לקרוא את הפוסט הזה בתום ההתנצלויות מן הראוי להודות כבר בפתיחתו ליוסי לוי מנסיכת המדעים על הייעוץ המדעי והעין הביקורתית שעברה עליו לפני פרסום.

ראשית, עבר המון זמן מאז שהבטחתי אותו, וכבר מזמן חשבתי לגנוז אותו, אבל בשבועות האחרונים הגיעה הבחירה המפתיעה של חורים ברשת בוולפרם אלפא כאחת מאפליקציות הווב החשובות של שנת 2009, בחירה שהבהירה לי שמתיחת ביקורת על וולפרם אלפא אינה התעללות בגוויה כפי שנטיתי לחשוב קודם. יתר על כן, למרות שוולפרם אלפא יהיה נקודת המוצא לדיון אני חושד שהבעיה שפגשתי שם אינה מקומית כך, אם אתר שנושא בגאון את שמו של וולפרם שוגה שגיאות מתמטיות מעצבנות כל כך הרי שסביר להניח שגם אחרים שותפים להן, אם לא לשגיאות חמורות יותר. גם לגל הכתבות האחרון על מתמטיקאים שעוסקים באלגו-טריידינג יש ככל הנראה חלק בהחלטה לכתוב את הפוסט הזה בסופו של דבר, אחרי הכל, גם אני כמעט הייתי שם.

אחת הסיבות המרכזיות לכך שהפוסט הזה לא נכתב עד היום היא הרצון שלי ללמוד את התחום על בוריו לפני שארהיב עוז לכתוב, אז יש לי כמה מאמרים רלוונטיים שתכננתי לקרוא ושעיינתי בהם קצת, אבל לכדי לימוד מעמיק לא הגעתי בסופו של דבר, ולכן הפוסט הזה יהיה הרבה פחות טכני משרציתי. התנצלותי הכנה בפני מי שיתאכזב.

מצד שני, הפוסט הזה, בלית ברירה, יהיה טכני יותר ממה שנהוג כאן, וגם על כך התנצלותי הכנה בפני מי שיתאכזב.

טוב, קדימה. אה, כן, זה עומד להיות ארוך.

הכל התחיל בכשל 1: נאיביות (תזכורת)

על האכזבה הראשונית שלי מתפישת העולם של וולפרם אלפא כתבתי בפוסט המקורי

לוו"א יש נטייה, מובנת, להתרכז בתחומים כמיתים, כאלה שיאפשרו לו לנתח נתונים מספריים ולהציג אותם בתצורה מאירת עיניים. זו הסיבה לכך שהפירוש המוביל, כמעט היחיד, לכל חברה מסחרית שתעלו על הדעת הוא כ"ישות פיננסית". קחו למשל את IBM מה שיש לוו"א לספר על IBM הוא מפורט להפליא, בהנחה שאתם מתעניינים במניה. תוכלו לקבל נתוני מסחר עדכניים והיסטוריים, תחזית עתידית המתבססת על נתוני עבר, והשוואות למניות דומות. אבל משהו חסר. אי-שם בתחתית עמוד התוצאות תחת הכותרת Company Information אפשר למצוא גם את השורה sector: diversified computer systems. וזהו.

מי שמתעניין, למשל, בהיסטוריה של עולם המחשבים וחשב שוו"א יוכל לספק לו מידע מהימן על IBM ועל התפקיד שמילאה בתחום, יגלה שהשורה הזו היא המקום היחיד שבו IBM היא יותר מעוד מניה הנסחרת בבורסה של ניו יורק. על Apple למשל יודע וו"א לספר לנו באותו עניין כי היא שייכת ל-sector: personal computers משל לא היו אייפודים ואייפונים חלק משמעותי מעסקיה של Apple.

פתחתי את החלק הזה בגילוי של הבנה לנטייה של וו"א לכיוונים כמיתים, ואין כמית משערי מניות כמובן. למרות זאת יש משהו פגום ערכית, לטעמי, בבחירה הגורפת הזו.

סביר להניח שבכך היתה מתמצה הביקורת שלי, אלמלא כשל נוסף שלקיתי בו ושהוביל אותי לחקור מעט יותר את אותם נתונים יבשים.

הכל התחיל בכשל 2: אינטואיציה סטטיסטית

בין הנתונים שמציג וולפרם אלפא על כל ישות פיננסית אפשר למצוא גרפים המתארים את התפלגות התנודות בשער המניה של אותה ישות על פני מגוון תקופות זמן. ניתן לבחור בנתונים מהשנה האחרונה, מהשנתיים האחרונות, או מחמש השנים האחרונות. עבור כל בחירה כזו תקבלו דיאגרמת עמודות שתתאר את ההתפלגות לאורך תקופות משתנות – מיום אחד ועד מאתיים וחמישים ימים (אני משער שמדובר בימי מסחר בלבד). כך נראות הדיאגרמות עבור חברת אפל בחמש השנים האחרונות (נכון ל-20 בינואר 2010).

 

בנוסף לדיאגרמת העמודות ניתן להבחין גם בעקומות פעמון של התפלגות נורמלית אותן מתאימים בוולפרם אלפא לנתונים הסטטיסטיים. על העקומות האלה אני רוצה לדבר.

קל לראות שעבור תקופות קצרות יחסית של ימים רצופים יש התאמה לא רעה בין העקומה החלקה לבין דיאגרמת העמודות הבדידה, אבל ככל שמתארכת התקופה כך גדלים הפערים שבין השתיים, עד שעבור תקופות של 100 או 250 ימים נדמה כאילו כל קשר ביניהן הוא מקרי לכל היותר. כאן כשלה האינטואיציה הסטטיסטית שלי (ושל עוד חבר אחד לפחות עם ידע מתמטי ניכר).

האינטאיציה של שנינו אמרה שדווקא בתקופות ארוכות נצפה לראות התקרבות של הנתונים לעקומה תיאורטית חלקה, לפי משפט הגבול המרכזי. זו הייתה שגיאה גסה של שנינו, שמייד אבהיר אותה, אבל היא הובילה אותי להמשיך ולהרהר בנושא ובשאלות שעלו ממנו.

איפה טעינו

השגיאה הראשונה כאמור, היתה שלי, ולא של וולפרם אלפא. כדי להבין אותה, ולו באופן שטחי, בואו נניח לרגע כי בשנה יש 300 ימי מסחר. כשבוולפרם אלפא בוחרים להציג את התשואה של מניה על-פני תקופות של 250 ימים במשך חמש השנים האחרונות עומדות בפניהם שתי אפשרויות. שתיהן בעייתיות מאוד.

(הערה: רק עם סיום הכתיבה שמתי לב שהנחה סבירה לגבי מספר ימי המסחר בשנה צריכה להיות 250 ולא 300, כיוון שזה הבדל שאינו משנה דבר מההגיון החישובי של הדיון, בחרתי להשאיר את המספר 300 בתוך הפוסט).

האפשרות הראשונה היא לבחור תקופות זרות זו לזו של ימים כאלה. במלים אחרות לקחת את 1500 ימי המסחר של התקופה כולה ולחלק אותם לשש תקופות של 250 ימי מסחר כל אחת, בלי חפיפה ביניהן. כך יקבלו בוולפרם אלפא שישה נתונים בלתי-תלויים (גם כאן מסתתרות הנחות בעייתיות מאוד), שישה נתונים הם לא משהו שאפשר לבסס עליו ניתוח סטטיסטי (וכפי שעולה בבירור מן התרשים לא זו הדרך בה החרו בוולפרם אלפא).

האפשרות השנייה היא לבחון את התשואה בכל תקופה של 250 ימים במהלך אותן חמש שנים, למרות החפיפה בין התקופות האלה. אבל בחינה כזו ממוטטת לחלוטין את ההנחה של אי-תלות (ושוב אני מזכיר שהיא בעייתית בכל מקרה) בין התוצאות. בואו נניח לרגע שאחת לשנה נושא סטיב ג'ובס נאום בו הוא מציג את הגימיק החדש של אפל לשנה הקרובה. יום לאחר הנאום הזה נרשמת תנודה חדה בשער המניה של אפל, זינוק של עשרות אחוזים אחרי הכרזה על האייפון נניח. אבל אם בוולפרם אלפא מסתכלים על תקופות מסחר של 250 ימים, הרי שאותו יום גורלי בשנה נכלל בנתונים של 250 תקופות שונות. יום כזה יגרום להטיה כבדה מאוד של הנתונים עבור כל אחת ואחת מתוך אותן 250 תקופות בהן הוא נכלל.

במלים אחרות, במקרה של אפל, חמש שישיות (בערך, לא ניכנס לדיון מדוייק בקצות התקופה) מן התקופות שנכללות בדיאגרמה כוללות יום שהוא מלכתחילה מועד לתנודה קיצונית. התשואה באותן חמש שישיות מוטה משמעותית כלפי מעלה או מטה (בהתאם להצלחת הנאום של ג'ובס), ולכן אין שום דבר מפתיע בסטייה מההתפלגות הנורמלית שהכשילה אותי.

גם אם נניח רגע לאפל ולנאומיו של ג'ובס נמצא תמונה דומה מאוד אצל כל חברה אחרת שנבחן דרך העיניים של וולפרם אלפא. מה שמפתיע ומרגיז אותי כאן הוא ההתעקשות של וולפרם אלפא להתאים עקומה של התפלגות נורמלית לנתונים שאין שום סיבה הגיונית שיתנהגו לפיה.

שבירת סימטריה

גם אם נתעלם מהבעיות של פרק הזמן הקצר ושל "אפקט ג'ובס" ונקבל את ההנחה המובלעת בעצם בתיאור הגרפי של וולפרם אלפא – ההנחה לפיה שינויים בשער מניה לאורך תקופה הם התוצאה המצטברת של הרבה מאוד תנודות קטנות ובלתי-תלויות זו בזו, האם תחת ההנחה הזו היינו מצפים לקבל בתקופות זרות של 250 ימים התאמה טובה לעקומת הפעמון? התשובה גם הפעם היא לא חד-משמעי.

כדי להבין את התשובה השלילית הזו כדאי לשים לב לאחת התכונות הבולטות והברורות של עקומת הפעמון – הסימטריה שלה סביב נקודת המקסימום. לכן, אם אנחנו מנסים לייחס להתפלגות התנודות בשער מניה דווקא עקומת פעמון מהר מאוד נגלה בקיעים של ממש בתיאוריה שלנו. בואו נבחן מניה ששומרת על ערכה לאורך זמן, את נקודת המקסימום של עקומת פעמון שתתאים לאותה מניה נצפה למצוא מעל לשינוי של אפס אחוזים. משני הצדדים של אותו מקסימום נראה, כמובן, דעיכה סימטרית. עבור תקופות זמן קצרות תהיה הדעיכה הזו חדה, ונקבל הסתברות אפסית לשינוי של יותר מאחוזים בודדים. אבל מה קורה כאשר אנחנו מסתכלים על תקופה של 250 ימים? לאורך תקופה כזו קיים סיכוי, לא זניח לכך שהמניה תכפיל את ערכה ואף יותר מזה. במקרה כזה עקומת הפעמון תייחס הסתברות שווה לאפשרות ההפוכה – כלומר לירידה של מאה אחוזים (או יותר!) בשער המניה. אלה תנודות שהן בלתי-אפשריות בהגדרה. מכאן ברור, עוד לפני כניסה לניתוח מתמטי רציני שעקומות הפעמון שבחרו בוולפרם אלפא הן נטולות כל הצדקה מתמטית, בלי קשר למגבלות שתיארתי בסעיף הקודם.

אז מה כן?

כדי להבין את המופרכות של ייחוס התפלגות נורמלית לתנודות בשערי המניה, כפי שהראיתי, לא צריך הבנה מעמיקה של תורת ההסתברות, די במעט שכל ישר ובתרגיל המחשבתי הפשוט של הקצנה עד אבסורד. כדי להבין מהי ההתפלגות המתאימה לאותן תנודות (שוב, תחת כמה הנחות שתקפותן לא לחלוטין ברורה) יש צורך בהבנה עמוקה מעט יותר, שלא אכנס לפרטיה כאן.

בכל מקרה, אם נניח שהתנודות בשערי המניה לאורך זמן הן בסך הכל התוצאה המצטברת של תנודות קטנות ואקראיות כל שעלינו לעשות כדי להסיק מכאן את התפלגותן הוא לזכור שהצטברות ההשפעה הזו מתקבלת על-ידי כפל של התנודות ולא על-ידי חיבור שלהן (שהיה מוביל להתפלגות נורמלית). במלים אחרות, שער מניה שרשמה עלייה של עשרה אחוזים בשני ימים עוקבים יעלה בעשרים ואחד אחוזים ולא בעשרים אחוזים, בשל העובדה הפשוטה שנקודת המוצא של העלייה השנייה כוללת כבר את העלייה הראשונה, כך שאם לפני שתי העליות היה שער המניה 100, כעבור יומיים הוא יהיה 100*1.1*1.1=1.21, עלייה של 21% כאמור.

מעט הבנה בהסתברות (או חיפוש לא מורכב במיוחד בגוגל) תוביל אותנו למסקנה שהעקומה שראוי להתאים למקבץ נתונים שכזה היא זו של ההתפלגות הלוג-נורמלית, ולא זו של ההתפלגות הנורמלית. כפי שברור גם מן התיאור וגם מן השם, יש קשר הדוק בין שתי ההתפלגויות האלה. ההתפלגות הלוג-נורמלית מתארת משתנה שללוגריתם שלו יש התפלגות נורמלית.

על מה כל הקצף?

בפועל ההתאמה של התפלגות כלשהי מהשתיים שדיברתי עליהן עכשיו למקבץ של נתונים סטטיסטיים היא לא יותר מקידוד גרפי של שני נתונים בלבד מתוך כל אלה שאצורים באותו מקבץ – הממוצע שלו שישמש לקביעת התוחלת של ההתפלגות ומידת הפיזור שלו ממנה תחושב השונות של ההתפלגות.

כל עוד מדובר בתקופות קצרות ובמניות סולידיות ההבדלים בין שתי ההתפלגויות הם מזעריים עד כדי בתי-נראים לעין האנושית. כך לדוגמא תיראינה שתי העקומות של מניה ששערה הממוצע נותר ללא שינוי ושסטיית התקן בתנודות שלה על-פני תקופת החישוב היא 5%. (כל הגרפים עד לסיום הופקו באמצעות MATLAB).

העקומה האדומה, כפי שנכתב על הגרף היא זו של ההתפלגות הלוג-נורמלית, בעוד העקומה הכחולה היא זו של ההתפלגות הנורמלית. אלמלא היו שתיהן מוצגות זו לצד זו סביר להניח שלא הייתם מצליחים להבחין ביניהן. אבל כאשר אנחנו מתחילים לעסוק במניות עם תנודות קיצוניות, או לחילופין, בוחנים תקופה ארוכה של שינויים מצטברים, התמונה מתחילה להשתנות. כך תיראינה שתי עקומות המתבססות על נתונים זהים של מניה שנותרת בממוצע ללא שינוי, אבל עם סטיית תקון של 25%.

  ההבדלים הפעם בולטים לעין. זועקים למען האמת. ראשית, בגלל שבירת הסימטריה ההסתברות לירידה בשער המניה נאלצת להצטופף בתחום צר בהרבה מזה של ההסתברות לעלייה, כיוון שהעקומות מתארות את מה שמכונה פונקציית צפיפות ההסתברות הרי שהעקומה של ההתפלגות הלוג-נורמלית מקבלת ערכים גבוהים יותר בחלק השלילי של הגרף. שנית, בעוד החלק החיובי רושם דעיכה מתונה יחסית הרי שהחלק השלילי חייב לרדת להסתברות אפס עד שיגיע לירידה של 100% בשער המניה.

שתי העקומות כאמור, הן בסך הכל הפשטה, ביטוי גרפי לשני נתונים ראשוניים שאפשר להפיק מהמידע הסטטיסטי. לאחת מהן, תחת הנחות מסויימות, יש סיבות הגיוניות להתאים למציאות. לשנייה, זו שנבחרה בוולפרם אלפא אין שום סיבה הגיונית להתאים לנתונים.

אז למה?

מה גורם, אם כן, לאתר שאנשיו מבינים מתמטיקה טוב יותר מהרבה אנשים, ודאי שטוב יותר ממני, לבחור בדרך הצגה שהיא שגויה בעליל? בסופו של דבר אני יכול לחשוב על סיבה מרכזית אחת. עבור המחפש הטיפוסי בוולפרם אלפא התפלגות נורמלית היא קרקע בטוחה. שנים של היכרות שטחית עם סטטיסטיקה הביאו את אותו מחפש להפנים אותה ולצפות לפגוש אותה כמעט בכל מקום. גם כשהוא יראה חוסר התאמה בוטה בין ההתפלגות האמפירית לבין הגרף שיותאם לה הוא ימהר להצדיק את הסטייה הזו במגוון דרכים – אפקט ג'ובס במקרה של אפל, משבר האשראי או בועת הנדל"ן. את כל אלה הוא ימהר אז לפטור כרעש רקע, ומשם מהירה הדרך להסתמכות על העקומה החלקה כמבטאת של אמת יסודית שהנתונים הרועשים רק מפריעים לו לראות אותה.

אותו מחפש, מנגד, אם ייתקל בגרף של ההתפלגות הלוג-נורמלית, ייאלץ להודות במבוכה שככל הנראה אינו מבין מספיק מה קורה כאן. המיקום של נקודת המקסימום בגרף באיזור השלילי אף ירתיע אותו, כי האינטואיציה שפיתח על-סמך היכרות עם ההתפלגות הנורמלית נוטה לזהות את נקודת המקסימום עם תוחלת הרווח. מחפש כזה, לאחר מבט חטוף בגרפים יגיע למסקנה, לאו דווקא מוצדקת, שעדיף להתרחק ממניה כזו.

אני לא חושב שבוולפרם אלפא קבעו לעצמם עידוד לא אחראי של אנשים למסחר בשוק ההון כשבחרו להשתמש בהתפלגות נורמלית. סביר יותר שהם פשוט רצו להחניף למשתמשים שלהם ולכן השתמשו בתצוגה שתיראה להם סבירה וברורה יותר. אבל התוצאה, בסופו של דבר, היא עידוד לא מבוסס לאשליה של הבנה.

אפקט ג'ובס חוזר, או הברבור השחור, נעים להכיר

לנתונים של וולפרם אלפא עבור תקופות ארוכות, כפי שכבר פירטתי קודם, אין טעם של ממש להתייחס. אבל גם אם נגביל את עצמנו לתקופה הקצרה ביותר, זו של יום מסחר אחד, משהו בתצוגה של וולפרם אלפא צורם. התמונה שמופיעה במניה של אפל חוזרת על עצמה בעקביות עבור כל מניה אחרת שיצא לי לבדוק. במבט ראשון נדמה שההתפלגות הנורמלית תואמת במידה רבה את הנתונים האמפיריים, אלא שפעם אחר פעם, מבצבצות העמודות המרכזיות מעל הגרף החלק במידה ניכרת. קל לנו לפטור גם את הסטייה הזו כמשהו שראוי להתעלם ממנו, להתמקד בסטטיסטיקה שעומדת מאחורי עקומת הפעמון החלקה. בפועל בהחלט ייתכן שדווקא הסטייה הזו היא הסיפור האמיתי.

בואו נחזור לרגע לאפקט ג'ובס. נניח שהתנודה היומית בשער המניה של אפל מתפלגת בהתפלגות נורמלית עם סטיית תקן של אחוז אחד (במקרה כזה כזכור, אין טעם להיטפל להבדלים המינוריים בין שני סוגי ההתפלגויות). אבל התיאור הזה נכון רק ב-299 ימים בשנה. פעם אחת בשנה, יום אחרי התצוגה של ג'ובס רושמת המניה זינוק מדהים של עשרות אחוזים ("תראו, אפשר לעשות סקרולינג עם האצבע") או דווקא התרסקות כואבת ("תשמעו" מכריז ג'ובס בגמגום מבוייש "הטאבלט הזה פשוט לא עובד טוב, מצטער*").

כאשר נסתכל על הנתונים לאורך חמש שנים נראה עמודות מסודרות היטב לפי התפלגות נורמלית עם סטיית תקן של אחוז בודד עם לווינים קטנים, כמעט בלתי-נראים של ימים בודדים עם זינוק עצום. הלווינים האלה לא יכולים להסיט את ממוצע השינוי יתר על המידה, אבל הם בהחלט יגרמו להתרחבות של העקומה שתותאם לנתונים, התרחבות שתוביל גם להנמכה של נקודת המקסימום, ולאותו בצבוץ הרה גורל של העמודות מעל לעקומה.

הסיפור האמיתי של אפל, אם כן, יכול להיות דווקא בימים הבודדים האלה. ממש כשם שהסיפור האמיתי של מניות אחרות הוא בימים הספורים שבהם הן התרסקו יחד עם בועת הנדל"ן ולא ב-1490 הימים בהם הן התנהגו בהתאם לסטטיסטיקה.

כך נראות התוצאות של סימולציה פשוטה שערכתי כדי להבהיר את הנושא.

ב-1495 ימים הוגרל שינוי יומי בהתפלגות נורמלית עם תוחלת אפס וסטיית תקן של אחוז בודד. על סמך הנתונים האלה שורטטה ההיסטוגרמה (דיאגרמת עמודות) הכחולה ואליה הותאמה התפלגות נורמלית (אדומה), השרטוט נורמל כך שהשטח הכולל מתחת לעקומה האדומה יהיה שווה למספר הימים (1495). לאחר מכן הוספתי חמישה "ימי ג'ובס" בהם רשמה המניה זינוק או נפילה של עשרה אחוזים ביום אחד, בהחלט בגבולות הסביר, ועל סמך הנתונים האלה ביצעתי התאמה מחודשת של התפלגות נורמלית, הפעם בתכלת. שימו לב שהשינוי בהיסטוגרמה עקב התוספת של חמשת הימים החריגים האלה אמור היה להתבטא בצורת שתי עמודות כמעט בלתי-נראות באיזורי השינוי של 10 אחוזים (עמודות בגובה 2 ו-3 בסך הכל). בעוד שמרכז ההתפלגות זז באופן שהעין תתקשה להבחין בו (ודאי כאשר רק אחד מהגרפים מוצג על המסך) הסיפור האמיתי של המניה השתנה ללא הכר. הגרפים של וולפרם-אלפא, עם הבליטה של העמודות מעל לעקומה מתיימרים לספר לנו סיפור מלא ביטחון על התפלגות נורמלית ויכולת ניבוי מרשימה, בפועל הם מספרים לנו סיפור של אי-ודאות, הפתעות חוזרות וברבורים שחורים.

* גמרתי לכתוב את הפוסט הזה בתחילת השבוע שעבר, אבל עקב כל מיני סיבות לקח לי קצת זמן לפרסם אותו. האמת היא שביום ראשון שעבר אפילו לא הייתי מודע לכך שהאייפאד מושק באותו שבוע.

2 תגובות ל“וולפרם אלפא – נורמלי? לא נורמלי. לוג-נורמלי!”

  1. אם נעזוב לרגע את הנושא הלוג-נורמלי, גישה מקובלת לנושא של התפלגויות עם "שפיצים" בולטים כמו ההתפלגות של ה 1-day היא דרך רעיון הקורטוזיס (kurtosis)
    (http://en.wikipedia.org/wiki/Kurtosis)
    נניח שנתונות שתי התפלגויות עם אותה שונות (סטיית תקן) אך קורטוזיס שונה; אז בהתפלגות עם הקורטוזיס הגבוה, השונות תגיע בעיקר מכמה חריגים מאוד בולטים.

    [להגיב לתגובה זו]

  2. תודה רבה על הקישור. אשתדל לקרוא בהקדם ולהחכים. מהתיאור הבסיסי שנתת נראה כאילו מדובר בוריאציה פחות דרמטית על הרעיון של ברבורים שחורים אותו אני הצגתי. אני דווקא מרוצה מאפשרות פחות דרמטית כזו.

    [להגיב לתגובה זו]

השארת תגובה

Subscribe without commenting