על פרשנויות לממצאים סטטיסטיים ועל משמעותם: האם אנחנו נעשים טיפשים יותר, ולמה? (טור 150)

בס"ד

לפני כמה ימים קראתי שסוף סוף יש אישוש מדעי לתזת ירידת הדורות. מחקר שנערך בנורווגיה מגלה שמנת המשכל של גברים יורדת בשנים האחרונות (החל מילידי שנת 1975) לעומת הוריהם באותו גיל. זאת לעומת מה שהיה מקובל עד עתה שבכל עשור יש עלייה ממוצעת של 3 נקודות במדד ה-IQ (אפקט פלין). מבחינתי זה ממצא ממש מושלם, יען כי הוא נותן לי נשק נגד ילדיי (שישמעו בקול אבא כי הוא חכם יותר), ובו בזמן הוא תומך בעמדתי שאין ירידה באינטליגנציה של האחרונים ושלנו מול הדורות הקודמים (נגד הפרשנות הזאת ל"ירידת הדורות" בהקשר ההלכתי). לא יכולתי לצפות לתפוקה יעילה יותר מהמדע המודרני בשירות הציבור.

בכתבה מוזכר שהחוקרים תולים את הממצאים באחת משתי תופעות: א. השימוש במסכים למיניהם מונע מהצעירים קריאת ספרים. ב. שינוי בשיטות למידה של שפות ומתמטיקה. זה מעורר מיד את השאלה על בסיס מה הם אומרים זאת. האם הממצאים עצמם מרמזים בצורה כלשהי על הפרשנויות הללו? ובכלל, מה עושים עם ממצאים סטטיסטיים גולמיים? כיצד בוררים בין פרשנויות שונות? כבר הזכרתי כאן כמה פעמים שבכל כתבה על תוצאות מחקר (בדרך כלל מדובר בסקר ולא מחקר, אבל לא ניכנס כאן שוב לעניין מדעי החרטא) אני מוצא עצמי תוהה על הפרשנות שניתנת לממצאים. מה ממנה מעוגן בממצאים ומה הוא מסברת כרסו של החוקר/סוקר?

עליי להקדים ולומר שמטרת דבריי כאן אינה ביקורת על המחקר ההוא (שלא קראתי אותו במקורו), אלא הצבעה על כשל פרשני נפוץ ביחס לממצאים סטטיסטיים. אני אדגים אותו על הסקר הזה כפי שהוא מוצג בכתבה הנ"ל ואם התיאור לא מדויק (זהו כנראה המצב בדרך כלל) עם החוקרים הסליחה. אני רק משתמש בהם ובכתבה על הסקר שערכו לצרכיי ולא דן בו עצמו.

הרהורים מתודולוגיים

את הקטע הזה אבקש מילדיי לא לקרוא, כדי לא לגזול ממני את כוח הטענה (תשמעו לאבא, הוא חכם יותר).

מכיון שלא קראתי את הדברים במקורם אני לא יכול לבקר ולערער, אלא רק להרהר על התוצאות הללו ועל פרשנותן. לא אכנס כאן לביקורות על עצם היומרה למדוד אינטליגנציה ולעשות פסיכומטריה (מדידה של הפסיכי), שכן גם אם יש בהן ממש, הן לוקות בערבוב הפוסטמודרני בין חוסר וודאות לספק. אמנם המדד אינו מוחלט וברור שאינו משקף לגמרי את האינטליגנציה שהוא מתיימר למדוד, אבל קורלציה כלשהי כנראה ישנה. לכן כל עוד לא מוצע לנו מדד טוב יותר, סביר להשתמש במדד הזה על אף מגרעותיו. מעבר לזה, אם אכן התוצאות של פלין עקביות, כלומר יש הבדל עקבי בתוצאות של הדורות השונים, זה אומר שיש כאן מגמה בעלת משמעות. כנראה לא מדובר במדד אקראי וחסר משמעות. אם לא היה קשר בין אינטליגנציה לבין המבחנים שמודדים אותה (כלומר אם זה היה אקראי ולא משקף בכלל), לא הייתי מצפה לשינוי עקבי, באותו כיוון ובאותה מידה, לאורך הדורות.[1]

כעת אעבור להרהורים. במבדקים פסיכומטריים או מבחני אינטליגנציה נוהגים לתקנן כל מבחן אינטליגנציה לממוצע קבוע כלשהו, וזאת מפני שכל מבחן הוא שונה ולכן כל קבוצת נבחנים עוברים מבחן שונה ולכן אי אפשר להשוות בין תוצאות של נבחנים מקבוצות שונות. ההנחה של התיקנון היא שאם מספר הנבחנים גדול מאד הממוצע הפסיכומטרי שלהם (ובעצם ההתפלגות כולה) אמור להיות דומה. בכל מדידה כזאת, התוצאות לפני תיקנון נמדדות ביחס לקבוצה הנמדדת ואין להן משמעות רבה ביחס לקבוצות אחרות (בשביל זה עושים תיקנון). אחרי התיקנון ניתן לערוך השוואות בין תוצאות של נבחנים מקבוצות שונות.

אבל מחקרים השוואתיים כמו זה שתואר כאן עושים השוואות בין דורות וקבוצות שונים ולכן אי אפשר לתקנן את כולם באותה צורה. ואם לא מתקננים אזי אי אפשר להשוות. המסקנה היא שכדי לעשות השוואה בלי תיקנון יש להתבסס על אותו מבחן עצמו. אבל מה יקרה אם ניתן את אותו מבחן עצמו לבני דורות שונים? זה תלוי האם נבחר לצורך כך במבחן שנכתב היום (בדור הילדים) או במבחן שנכתב בזמן דור ההורים. את המבחן שנכתב היום כבר אי אפשר לתת להורים כי הם כבר לא באותו גיל (ההשוואה היא באותו גיל). מעבר לזה, יש להם יותר ניסיון אבל הם איטיים יותר מילדיהם בגלל הגיל. זו תהיה השוואה בעייתית מעיקרה. לעומת זאת, מבחן שנכתב בדור ההורים (נאמר בשנת 1975) שההורים נבחנו בו, מתאים פחות למדידה פסיכומטרית של צעירי שנת 2000 ובוודאי 2018, שכן הוא מתבסס על צורות חשיבה וניסוח ועל מושגים שנהגו באותו זמן, וסביר שהם לא לגמרי מוכרים לילדים ונוחים לשימושם.

המסקנה היא שעובדתית ההשוואה יכולה להיעשות רק על ידי מתן המבחן העתיק לדור הזה, אבל השוואה כזאת היא מאד בעייתית ולא משקפת. לכן קשה לי לראות כיצד ניתן לבסס ממצאים השוואתיים כאלה, בפרט שמדובר על שינוי של 3 נקודות שהוא קטן למדיי ובהחלט יכול להיות תוצאה של אפקטים צדדיים כגון אלה.

יתר על כן, כדאי לשים לב שהשינוי התרבותי שאנחנו עוברים הולך ונעשה מהיר יותר, ולכן לצעירים של ימינו יהיה קשה יותר להבין את המבחנים של לפני שלושים שנה ולהצליח בהם, מאשר לצעירים של 1980 ביחס למבחנים שנוסחו בשנת 1950. השינוי התרבותי והלשוני שם היה קטן יותר. אם היו עושים לצעירי 1980 מבחנים של צעירי 1900 אולי היינו רואים את אותה ירידה (כי ב-80 שנה התרחשו אז שינויים שמתרחשים כיום בעשר שנים). האפקט הזה לבדו יכול גם הוא להסביר את ההבדל בתוצאות בלי להניח ירידה אמתית באינטליגנציה. כמובן שאם ניתן לצעירים של אז (שהם המבוגרים של היום) את המבחן שנכתב היום ונשווה לתוצאות של צעירי ימינו לכאורה זה יהיה מייצג יותר (כי המבוגרים הללו חיים גם כיום ומבינים בערך את השפה, לפחות יותר מאשר הצעירים של היום מבינים את השפה שהיתה פעם). אבל כפי שהסברתי למעלה גם זו השוואה לא נכונה, וככל שהבנתי גם לא עשו את זה במחקר דנן.

משמעות הדברים היא שעד 1975 כשהשינויים בין דור למשנהו היו קטנים יחסית, הודגמה עלייה במנת המשכל, וזה כנראה מדד שיכול אולי להיחשב כמשקף את המצב האמתי. אבל משם והלאה כשהשינויים התרבותיים מהירים מאד מודגמת ירידה. אם כן, ייתכן שמשמעות התוצאות היא שהמצב בעצם לא באמת השתנה. התוצאה שיש עלייה עם הדורות (אפקט פלין)היא התוצאה הנכונה (שנאמר: עליה וקוץ בה), אבל השינויים המהירים החל מאותה שנה יוצרים קיזוז של האפקט הזה למטה.

סיכום ביניים

משמעות הדברים היא שהממצאים שהתקבלו ניתנים לשתי פרשנויות: א. אכן מסוף המאה העשרים החלה ירידה במנת המשכל. אפקט פלין בוטל. ב. המדידה המודרנית מוטה ביחס לקודמותיה בגלל האצה בקצבי השינויים התרבותיים. אני מניח שאפשר לחשוב על עוד הסברים אפשריים, וכמובן צריך לבחון בעיון מה בדיוק נעשה במחקר הזה (מה שלא עשיתי, כאמור). אבל כשיש שני הסברים אפשריים אי אפשר לאמץ אחד מהם על פני השני בלי נימוק. אפשר כמובן לחשוב מי משניהם הגיוני יותר אפריורי (בלי קשר לממצאים), אבל אם נבחר בהסבר ההגיוני יותר בעינינו ניקלע לכשל הפרשני שאסביר אותו כעת.

הרהורים על הפרשנות: האם נכון לאמץ את הפרשנות הסבירה ביותר?

עד כאן דנתי בתקפות של הממצאים עצמם. אבל גם אם הממצאים תקפים ומובהקים, המסקנה היא שהמדידה אינה  מוטה ואכן החלה ירידה עקבית במנת המשכל של הדורות האחרונים, עדיין נותרה שאלת הפרשנות של הממצאים הללו (אין כוונתי כאן לשאלה הקודמת: האם מדובר בקצב השינויים או בירידה אמתית של מנת המשכל). הפרשנות שנתנו החוקרים לירידה במנת המשכל מציעה שני גורמים לממצאים הללו: שינוי שיטות הלימוד ותרבות המסכים. אני חייב לומר ששתי הטענות נשמעות לי אפריורי הגיוניות, אבל בדיוק בגלל זה הייתי חושד בהן כפרשנות שמוצעת לממצאים.

שמא יתמה הקורא מדוע זה שהטענות הגיוניות מעיב על קבלתן כפרשנות לממצאים? וכי עלינו להעדיף טענות לא הגיוניות? כדי להבין זאת חשוב לעמוד על משמעותה של סטטיסטיקה בכלל. בניגוד לתובנות אינטואיטיביות שמתבססות על ניסיון העבר ועל צורות חשיבה שנראות לנו סבירות אפריורי מסיבות שונות, הסטטיסטיקה יש לה ערך מוסף שכן היא מעגנת את המסקנות שלנו בעובדות אמפיריות. נניח שאני חושב אפריורי שתרבות המסכים הופכת אותנו לטיפשים, אז מדוע בכלל אני צריך את הסקר הנ"ל, כלומר את הממצאים הסטטיסטיים? אני עושה את הסקר כדי לבדוק האם תובנותיי צודקות. מטרתי בסקר היא לחזק את התובנה הזאת ולעגן אותה אמפירית. אבל אם לממצאים שהתקבלו יש כמה פרשנויות אפשריות, אז הסטטיסטיקה כשלעצמה סובלת כמה פרשנויות, ולכן היא לא בהכרח מחזקת את התובנה האפריורית שלי. התובנה הזאת אמנם לא נחלשת כמובן, אבל שימוש בה כהסבר לממצאים לא יכול להפוך כלי שיחזור ויחזק אותה עצמה אמפירית. אימוצה כהסבר נובע מכך שמראש היא היתה הגיונית בעיניי, ולכן הממצאים כשלעצמם לא באמת מחזקים אותה.

כאן עלינו להבחין בין שני מצבים: במצב שיש בפנינו כמה הסברים אפשריים וההסבר הזה סביר יותר מבחינת הפשר שהוא נותן לממצאים, אזי יש אולי מקום לומר שאימוצו כהסבר לממצאים יכול לחזור ולחזק אותו עצמו (אמנם יש לפלפל בזה גם במצב המתואר כאן). אבל אם יש כמה הסברים שכולם נראים לנו סבירים באותה מידה כפשר לממצאים, אבל רק אחד מהם הוא התובנה האפריורית שלי (הוא סביר יותר בעיניי מחמת עצמו, אפריורי, בלי קשר לממצאים), תהיה זו טעות להשתמש בהסבר הזה ליצירת חיזוק אמפירי לו עצמו. במצב כזה הממצאים לא הוסיפו לו חוזק. לדוגמה, אם הייתי מאמין שהמסכים לא מטפשים אותנו יכולתי להסביר את הממצאים בשינוי שיטות הלמידה ולהיפך. במצב כזה הממצאים לא באמת שינו משהו לעומת מה שחשבתי קודם לכן. כל צדיק יכול כמובן להישאר באמונתו (רק לא לטעון לתקפות אמפירית שלה).

המסקנה היא שאדם שרוצה להוכיח שהמסכים מטפשים אותנו לא יוכל לעשות זאת על בסיס סקר כזה, הן מפני שכפי שהערתי לא ברור שהסקר באמת מראה על היטפשות, וגם בגלל שההסבר להיטפשות, גם אם היא קיימת, אינו בהכרח תרבות המסכים. אבל יש לנו נטייה כזאת לקחת את הממצאים להשתמש בהם כדי לחזק עמדות אפריוריות שלנו. זוהי טעות בחשיבה הסטטיסטית.

מבט על עיקרי האמונה

כעין הסברא הזאת כתבתי פעם לגבי עיקרי האמונה. טענתי שם שדווקא אם העיקרון המדובר הוא הגיוני, זה גורם לי לחשוד יותר שמא הוא לא ניתן בסיני. לדוגמה, הישארות הנפש נשמעת מאד הגיונית לאוזן דואליסטית. אלו שמאמינים בקיומה של נפש/נשמה מעבר לגוף, תוהים מטבע הדברים מה קורה לה כשהגוף מת (כשהיא "עוזבת" אותו). המטריאליסטים חושבים שכשהגוף מת הנשמה מתה אתו (כי היא אינה יישות נפרדת אלא תוצר לוואי שמגיח מהמכלול החומרי. זו הגישה שמכונה אמרגנטיות), אבל דואליסט מטבע הדברים ייטה להאמין אפריורי בהישארות הנפש.

כעת עולה הטענה שעצם העובדה שהמסורת היהודית העבירה אלינו את האמונה בהישארות הנפש מחזקת את זה עוד יותר. כעת זו לא רק סברא אפריורית, אלא מידע שהתקבל והועבר אלינו מסיני. יש לסברא חיזוק "אמפירי". אבל אני מפקפק בחיזוק הזה, דווקא בגלל ההגיוניות של האמונה הזאת. אם זה כל כך הגיוני אז בהחלט ייתכן שחכמים החליטו על אמונה זו מהגיונם ולא בגלל מסורת שקיבלו מסיני. ובגלל שהיא נראתה כל כך הגיונית בעיניהם הם קבעו אותה כעיקר מחייב. לכן המסורת לא מחזקת את האמונה שלי בעיקר הזה. ושוב, הוא עדיין הגיוני בעיניי, אבל בגלל השיקול האפריורי. העובדה שהגיעה אליי מסורת שאומרת זאת לא מחזקת את הדבר מבחינתי.

צריך להבין שיש הבדל בין מסקנות הגיוניות לבין מידע שמגיע אלינו מפי הגבורה. מסקנות הגיוניות, כמה שהן נראות משכנעות, תמיד יכולות להתברר כשגויות. הרי כל אחד, חכם ככל שיהיה, יכול לטעות. לעומת זאת, מידע שמגיע מפי הגבורה הוא כנראה נכון. הקב"ה לא טועה, ולכן מידע כזה לא אמור להתברר כשגוי. לכן האמונה בהישארות הנפש אמנם נותרת הגיונית בעיניי, אבל האישוש שהיא מקבלת מכוח העובדה שזה הגיע אלינו במסורת לא מחזק אותה במיוחד בעיניי.

יתר על כן, חשוב להבין שאמונות יכולות להיווצר על ידי חכמים בכל מיני צורות. תיארתי למעלה אופן אחד, שחכמים מגיעים למסקנה הגיונית כלשהי ובגלל הגיונם קובעים אותה כאמונה מחייבת. אבל יש גם אופן אחר, שחכמים בהגיונם מפרשים את המקראות באופן כזה (מסיקים שהנביא או הפסוק בתורה מדבר על הישארות הנפש), וכעת יש לנו כבר נבואה, מידע מפי הגבורה, וזה הרי לא יכול להתברר כשגוי. אבל שוב ה"מידע" הזה הוא תוצר של פרשנות, וזו יכולה להיות שגויה. בפרט אם הפרשנות הזאת עצמה נעשית בשיטות שתיארתי למעלה (היא מאומצת בגלל שהיא כשלעצמה נראית לנו הגיונית, אפריורי). לכן גם כאן הפרשנות לפסוקים לא בהכרח מחזקת את התובנה האפריורית שלי, למרות ששי לי נטייה לחשוב שכן (בגלל שאני נוטה למסקנה הזאת בין כה וכה).

גם כאן ניתן לחלק בין שני מצבים:

1. מצב שבו יש שתי פרשנויות שונות במשקל או תוקף פרשני שווה לאותם פסוקים. אני בוחר באותה אחת שנראית לי סבירה יותר אפריורי. במצב כזה הפרשנות לא מהווה חיזוק לתובנה האפריורית.
2. מצב שבו בחרנו בפרשנות הסבירה יותר מבחינת השיקולים הטקסטואליים. אם היא מתלכדת עם ההיגיון שלנו זה אכן עשוי לחזק אותו.

אבל גם במצב השני, אם יש מישהו שחולק עלינו (הוא מטריאליסט), הרי טיעון פרשני כזה כלפיו ספק אם יהיה בו ערך. הוא יניח את ההיפך ויעדיף לפרש את הפסוקים אחרת (אפילו אם הפירוש שמוביל לגישתנו עדיף משיקולים פרשניים: שהרי מקובלנו שעדיף לדחוק בלשון מאשר בסברא). אין לי אלא להחזיר אותנו לשאלה הכאובה לגבי הסקת מסקנות מלימוד תנ"ך (ראה טורים 134–135).

האם אנחנו פחות חכמים?

אם נשוב לסיום לשאלת ממצאי הסקר הנ"ל, אני לא בטוח שאני קונה אמירות כאלה. כשביטלו את לוח הלוגריתמים (כן כן, אני ממש תרח) ועברו למחשבון, כולם התריעו מפני ההיטפשות הצפויה. ילדים לא יידעו לעשות ארבע פעולות חשבון. המחשבון יחשוב במקומם. יש בזה משהו, אבל ברור שבעידן המחשבון והמחשב דרושות לנו מיומנויות אחרות, ולכן עדיין תידרש אינטליגנציה אלא שמסוג שונה. חבל להתעקש על שימור מיומנויות עתיקות רק כי התרגלנו אליהן, במקום לנסות ולפתח מיומנויות שרלוונטיות למצב הנוכחי.

נכון שתרבות המסכים בעייתית. לאנשים אין סבלנות להתעמק בטיעונים ולקרוא חומר. הם רוצים הכל מיידי קצר וממוקד. אבל יש בזה גם יתרונות (שאני לצערי לוקה בהן), שזה מאלץ את הכותבים להיות חדים וממוקדים. במקום לנסות ולהיצמד בכוח לדרכי המחשבה וההתייחסות העתיקות, כדאי לחשוב מה עושים במצב החדש. איך מפתחים יכולת חידוד ומיקוד של הכותבים, ואיך מפתחים יכולת קריאה ביקורתית של הקוראים.

זה כמובן לא שחור-לבן. ברור שדרושות גם יכולות עתיקות וכדאי לנסות ולשמר מה שניתן מתוכן, אבל התמונה מורכבת יותר. ייתכן שבמונחי הפרמטרים של אמצע-סוף המאה הקודמת האנשים היום טיפשים יותר, אבל אולי יש להם מיומנויות אחרות שבהן הם טובים יותר מהוריהם. צריך רק להתאים את צורת המדידה לתרבות העכשווית (לא יודע איך עושים זאת).[2]

[1] יש לפלפל בזה כמובן, אבל זה נראה לי בהחלט סביר כנקודת מוצא לדיון.

[2] אגב, אחת האפשרויות היא לנסות לבנות מבחן שיביא אותנו לאותה התפלגות ואותו ממוצע של מנת משכל כמו בדור ההורים. נכון שיש כאן הנחת המבוקש (שמנת המשכל לא אמורה לרדת), אבל לא יותר מאשר הנחת המבוקש של המדידה העכשווית (שמניחה שהמיומנויות שמבטאות מנת משכל היום הן זהות לאלו שהיו אז). יתר על כן, זו ההנחה שמונחת בבסיס מכניזם התיקנון שתואר למעלה, ואני מציע רק להרחיב אותה.

הקורא שנזכר בפוסטים על אינטליגנציות מרובות ואינטליגנציה רגשית (סוף טור 35, וטור 108) – אכן צודק. הדברים בהחלט טעונים בדיקה לאור האמור שם ולהיפך.