אדם ומכונה תושיע ה': ד. האם האדם הוא מכונה (טור 697)

בס"ד

בשלושת הטורים האחרונים עסקתי בשאלה האם המכונה היא אדם. הבחנתי בין שתי שאלות שונות: 1. האם המכונה יכולה לעשות כל מה שאדם יכול לעשות? 2. גם בהנחה שהיא יכולה, האם נכון להתייחס אליה כאדם? עד כאן עסקתי בעיקר בשאלה השנייה, והמסקנה ביחס אליה הייתה שבלי קשר לעוצמה החישובית של המכונה היא אינה אדם. בעיקר מפני שחסרה אצלה חשיבה והבנה (יש לה סינטקס בלי סמנטיקה). אפשר לחדד זאת דרך האמירה של משפיע חב"די בשם חיים שלמה קסלמן שהביא שניאור בטוקבק: יבוא יום ומחשבים יחליפו את כל הלמדנים, אבל מחשב שמתפלל (עובד את ה') לא יהיה אף פעם. עניתי שם שלגבי התפילה זה תלוי איך הוא תופס את התפילה, ומה האדם באמת עושה בתפילה (לקרוא ספרים גם מכונה יכולה 😊). אבל דבר אחד ברור לי: גם אם היא יכולה להתפלל היא ודאי לא יכולה ללמוד ולהיות למדנית. הסיבה לכך היא שגם אם מכונה יכולה לעשות את כל הפעולות שאנחנו עושים, אין אצלה את הממד המנטלי שמאחורי הפעולות הללו. למידה כרוכה בהבנה ובחשיבה, ושתי הפונקציות הללו לא קיימות במכונות. לא יכולתי להתאפק והוספתי שהיא כמובן יכולה לומר תיקון ליל שבועות או פרקי תהלים בלוויות ובאזכרות (בפונקציות המיותרות הללו יש רק פעולות מכניות בלי הבנה אנושית מאחוריהן). אה, גם טקסי הפרשת חלה מרטיטים היא לא יכולה לעשות (כי היא אינה מתרגשת). טוב, את זה גם אני לא יכול.

כל הדיון עד כאן הניח שמכונה ואדם הם שני יצורים שונים, והשאלה היא אם וכיצד להשוות ביניהם. כאמור, עד כאן שאלתי האם המכונה היא אדם. לעומת זאת, בטור הזה אעסוק בשאלה ההפוכה, שעולה מתוך אותם הקשרים עצמם: האם אדם הוא מכונה. ההישגים של מכונות ה-AI החדשות מעוררים את התהייה האם ההבחנה הבסיסית שלנו בין אדם למכונה בכלל קיימת. אולי האדם אינו אלא מכונה משוכללת (מחשב ביולוגי, כלומר מחשב שהחומרה שלו עשויה מבשר ודם).

אלא שכאן אתמקד רק בביצועים החישוביים. השאלה בה אעסוק אינה האם אדם הוא מכונה אלא האם חשיבתו היא מכנית. אינני נוגע כאן בשאלה האם יש לנו ממד מנטלי, שבה כבר עסקתי, אלא רק האם הממד המנטלי רלוונטי לחשיבה שלנו. ייתכן שכל שאר הרוח ושיקול הדעת שלנו אינם אלא אפיפנומנה (תופעה נלווית), ובעצם מדובר בחישוב מכני לגמרי שרק מתלוות אליו חוויות מנטליות.

AI חוקר במדעי החי

אפתח את הדיון בכתבה שקראתי לפני כמה ימים שכותרתה הייתה: "החוקרים נדהמו: בינה מלאכותית פתרה ביומיים תעלומה שהעסיקה מדענים כעשור". מסופר שם על קושי להבין את עמידותם של חיידקי על לאנטיביוטיקה. בעיה זו העסיקה חוקרים במשך כעשור שנים, והמודל פתר אותה ביומיים. כותרת מאד מוזרה, שכן כל מחשבון יכול לעשות בעשירית שנייה פעולות חישוב, שלנו, בני האדם שמשתמשים בדף ועט, ייקחו שבוע או שנה. כל מחשב פשוט עושה דברים בקצב אחר לגמרי מאיתנו. בדיוק בגלל זה אנחנו צריכים אותו, בגלל יתרון הקצב והמהירות שלו עלינו. ראינו בטורים הקודמים שהמשמעות של התוצאות מצויה רק אצלנו בראש. המחשב לא הגיע לשום תוצאה או תובנה. הוא רק מעביר זרמים חשמליים מהכא להתם. המתכנת שלו הוא שפתר את הבעיה, ולא הוא. בקיצור, יתרונו המהותי של המחשב עלינו הוא בקצב, והיתרון הזה אינו חדש. רק בגללו יש מחשבים בעולם, עוד הרבה לפני ה-AI הפלא הגדול בהישג של אותו מודל AI מהכתבה הוא עצם ההצלחה לפתור את הבעיה אבל בהחלט לא הקצב.

מיקוד השאלה שלנו: האם אדם יכול לעשות כל מה שמכונה יכולה לעשות?

צריך להבין שצד אחד של השאלה שלנו הוא ברור ופשוט כבר היום: עקרונית אין בעיה עלי אדמות שמחשב יודע לפתור ואנחנו לא.[1] עקרונית אנחנו יכולים לעשות על דף כל מה שהמחשב עושה שלב אחרי שלב (אנחנו הרי תכנתנו אותו). העניין הוא אך ורק הזמן שזה ייקח לנו. לכן אין ספק שלפחות עקרונית אנחנו יודעים לעשות כל מה שהוא יודע. השאלה שבה יש טעם לעסוק היא רק זו ההפוכה: האם הוא יודע לעשות כל מה שאנחנו יודעים? האם יש משהו שאנחנו יכולים לעשות והמחשב לא? צריך להבין שכל זה נכון גם לתפיסתם של אלו הסבורים שהמחשב יודע לפתור את כל הבעיות שאנחנו יודעים. גם הם יסכימו שההיפך ודאי נכון, שכן כאמור אנחנו תמיד יכולים לעקוב אחרי מה שהוא עושה בכתב שלב אחרי שלב (רק מגבלת הזמן מפריעה). אגב, לא בכדי דרגות הקושי של בעיה במדעי המחשב נקבעות לפי משך הזמן שלוקח לפתור אותה (או כמות החישובים הבסיסיים: פולינומיאלית, אקספוננציאלית וכו').

השאלה שבה אדע בטור הזה עוסקת בנו ולא במחשב. מהותה של השאלה היא האם כל החשיבה שלנו היא מכנית (ולכן ניתנת לחיקוי על ידי מחשב) או שיש בה מרכיבים שאינם כאלה. ברור שחלקה הגדול (בעצם רובה המוחלט) של חשיבתנו הוא מכני, והוויכוח הוא רק בשאלה האם יש מרכיבים שלא. אמנם ישנה כאן הנחה נוספת, שהמחשב ודאי פועל באופן מכני, וגם היא לא לגמרי פשוטה לגבי מודלי ה-AI החדשים. כלומר ברקע הדיון ישנה שאלה נוספת: מהי בכלל חשיבה מכנית. בשאלות אלו רציתי לגעת בטור הזה.

התזה של צ'רץ'-טיורינג

אלן טיורינג הוא מאבות מדעי המחשב. בין היתר, הוא הגדיר את מכונת טיורינג, שהיא מודל חישוב פרימיטיבי למדיי, שבכל זאת ניתן להוכיח שהוא יכול לבצע כל מה שמחשב יכול לבצע (עד כדי מגבלות זמן חישוב). אלונזו צ'ירץ' הגדיר מודל חישוב אחר, תחשיב למדא, שגם הוא יכול לבצע את כל זה (ישנה הוכחה ששני המודלים הללו שקולים זה לזה).

העובדה היא עד היום לא הוצג כל מכשיר או מכונת חישוב שמסוגלים לחשב פונקציה שאינה ניתנת לחישוב על ידי מכונת טיורינג. הטענה נכונה לגבי מכונות פיזיות שנבנו או שקיימות וכן עבור מכונות תאורטיות. כלומר כל חישוב שניתן להעלות על הדעת – ניתן להסתפק במודל הפשוט של מכונת טיורינג כדי לבצע אותו. יתר על כן, ישנן פונקציות שאינן ניתנות לחישוב על ידי מכונת טיורינג, אבל הן גם לא ניתנות לחישוב על ידי אף מכונה אחרת הידועה לנו.

הממצאים המפתיעים הללו אומרים שלפחות ברמה העקרונית מכונת טיורינג היא המכונה החזקה ביותר שניתן להעלות על הדעת, והיא יכולה לעשות כל מה שעולה על דעתנו. זה בעצם תוכנה של התזה של צ'ירץ'-טיורינג, שעוסקת ביכולת החישובית של מכונות חישוב שונות. ברקע ניצבת העובדה שאין לנו כיום הגדרה טובה למושג 'חישוב' (זו אחת הבעיות שביסוד הדיון שלנו כאן). בניסוח פשטני משהו, התזה הזאת קובעת שכל חישוב שניתן להעלות על הדעת יכול להתבצע על ידי מכונת טיורינג או תחשיב למדא של צ'ירץ' (שכאמור הוכחו כשקולים). התזה הזאת היא סברה שלא הוכחה, אבל היא מקובלת כיום בין מדעני מחשב. הקושי להוכיח אותה נעוץ, בין היתר, בכך שהמושג חישוב אינו מוגדר היטב. בגלל זה, נהוג להפוך את הכיוון, כך שההגדרה המקובלת כיום למושג 'חישוב' היא: מה שמכונת טיורינג יודעת לעשות.

שימו לב למשמעות הפילוסופית שיש לתזה (הלא מוכחת) הזאת: אם כל מה שאנחנו מתייחסים אליו כחשיבה כלול במושג חישוב, אזי בפרט ניתן לייצג את החשיבה של האדם על ידי מכונת טיורינג, כלומר שכל מה שאנחנו עושים בשכל שלנו יכול להתבצע על ידי מחשב (פשוט). יש כאן כמובן הנחה שאיננו עושים משהו שיוצא מגדר המושג (הלא מוגדר) 'חישוב', ולכן אין כאן טענה מוכחת אלא ניסוח של השערה עמומה למדיי. בעצם ההערה הזאת אומרת שכל החשיבה שלנו ניתנת לביצוע על ידי מכונות, כלומר יש לה אופי מכני. האדם לא יכול לעשות מאומה שמכונת טיורינג לא יודעת לעשות.

לזה התכוונו כמה מגיבים בטוקבקים לטורים הקודמים, כשהניחו שהאדם הוא מחשב ביולוגי. כוונתם הייתה לומר שכל יכולת החשיבה שלנו לא תעשה מאומה שמכונת טיורינג לא יכולה לעשות, הגם שמכונת טיורינג היא עצם דומם והמוח שלנו הוא איבר ביולוגי. הם טענו שהמוח (נכון יותר: השכל) שלנו הוא מחשב שעשוי מרקמות ותאים, אבל לוגית מדובר במחשב ככל מחשב אחר. אדגיש שוב שאינני עוסק כאן בשאלה האם אין באדם משהו מעבר לחישוב המכני הזה (הפונקציות המנטליות). אנחנו מתמקדים כאן בחשיבה האנושית ולא במכלול שקרוי אדם. הטענה היא שהחשיבה שלנו אינה אלא מחשב שעשוי מרקמות חיות.

כאן המקום לעשות עוד הבחנה. עד כאן הוצגה הטענה שתהליכי החשיבה שלנו הם תהליכים מכניים, ממש כמו מחשב. אנחנו מחשב ביולוגי. ניתן לטעון טענה חלשה יותר, שלפיה ניתן לבצע את כל מה שאנחנו מבצעים באמצעות מכונה מכנית. זו לא אותה טענה, שכן הניסוח השני מאפשר לנו לומר שהאדם אינו פועל באופן מכני (הוא לא מחשב ביולוגי), אבל בכל זאת טוענים שזה לא נותן לו יתרון (כי יכול להיות לו חיקוי מכני שיגיע לכל אותן תוצאות שהאדם מגיע אליהן). בהמשך אחזור לשאלה הזאת, אך עליי להקדים דיון קצר על מודלי שפה.

מודלי שפה

ישנה לאקונה בהסברים שהצעתי בטורים הקודמים לרשת נוירונים. היא חשובה לנו כאן לצורך הדיון ולכן אשלים אותה כעת. התחלתי את התיאור שם במכונה שמיועדת לבצע פעולה מסוימת (למשל זיהוי פנים). הסברתי שאימון (מבוקר) נעשה על ידי הכנסת דוגמה ומתן פידבק לתוצאה שהמכונה מוציאה, כשהפידבק מבוסס על הידע שלנו (של המאמן). בעצם אנחנו מודיעים למכונה האם תשובתה נכונה או לא, והיא מעדכנת את המשקלות הפנימיות שלה שוב ושוב. ההנחה היא שאחרי מספיק דוגמאות המשקלות יהיו בנויים כך שתוצאת החישוב תצא נכונה גם לגבי דוגמאות אחרות שלא נכללו באימון.

לאחר מכן הרחבתי את היריעה, ודיברתי על מכונה שתדע לעשות את כל המשימות. זה דורש אימון בהיקף עצום ומגוון על כל המידע והמשימות עלי אדמות. איך ניתן לאמן מכונה לעשות אינספור משימות שונות? הרי אין לנו בעצמנו מיפוי של כל המשימות הקיימות. אמרתי באופן כללי שאנחנו מלעיטים את המכונה בכל המידע שקיים כיום בעולם, נניח לצורך הדיון בכל רשת האינטרנט. אבל לא הסברתי כיצד זה מתקשר למושג אימון. המכונה "קוראת" עוד ועוד חומר כתוב. מה היא עושה איתו? מהו בדיוק האימון שאנחנו עושים כך למכונה? מהי המשימה ומהו הפידבק שהיא מקבלת? איך היא מעדכנת את המשקלות שלה?

הבעיה היא שהאימון שאותו תיארתי היה מכוון למשימה מסוימת, וזה אומר שאימון של מכונה אוניברסלית ימפה את כל המשימות האנושיות ויערוך למכונה אימונים למילוי כל אחת מהן. זה אינו אפשרי. אבל כאן נכנס לתמונה פתרון גאוני שמכונה מודל שפה, ובזמן האחרון "מודל שפה גדול" (LLM). בניסוח פשטני אומר שמודל שפה בנוי כך שהמכונה מקבלת טקסט ואמורה לנחש את המילים הבאות (או היחידה הבאה: הטוקן) שיופיעו בו. הפידבק הוא האם היא צדקה או לא (האם אכן אלו המילים שמופיעות שם). כך עושים לגבי כל המידע באינטרנט, והמשקלות שנוצרות בסוף התהליך הם המכונה הסופית. מתברר שמכונה שמאומנת כך מצליחה לטפל בהרבה מאד משימות בהצלחה מרשימה ביותר. אנחנו לא מאמנים את המודל שלנו לביצוע משימה מסוימת אלא מלמדים אותו "להבין" מידע שפתי שמועבר אליו וגם להפיק מידע כזה. כעת המודל יכול לשוחח איתנו (כמו בחדר הסיני), על כל נושא שבעולם (שהרי הטקסטים שהלעיטו אותו בהם עוסקים בכל הנושאים שבעולם). מודל כזה פועל על בסיס קורלציות לשוניות (קשר סטטיסטי בין טוקן לטוקנים שקדמו לו). תיאור מפורט יותר של מודל שפה ניתן למצוא במאמרו של וולפראם שהוזכר בטוקבק לטור הקודם. שם הוא גם מסביר, בין היתר, שהטוקן הבא אינו בהכרח הטוקן עם ההסתברות הגבוהה ביותר, אלא משהו שקרוב אליה (זהו מושג ה'טמפרטורה'). אלגוריתם כזה נותן תוצאות פחות מכניות ויותר יצירתיות, ומתברר שהוא פועל טוב יותר במקרים רבים.

מה שגאוני בפתרון הזה הוא ההבנה שהיכולת לשוחח (שבה עוסק גם מבחן טיורינג) היא בעצם בניין אב לפתרון כל המשימות שבעולם. הרי בשיחה כזאת ניתן גם לשאול את המודל מה קורה לגוף שנע על מדרון משופע ללא חיכוך, ובכמה זמן הוא יגיע לתחתית (שאלה במכניקה). אפשר לשאול לדעתו על גרביטציה קוונטית או על עמידותם של חיידקי על בפני אנטיביוטיקה (אותה משימה במדעי החיים שנדונה בסרטון שהובא למעלה). הגאוניות שבפתרון הזה היא ההבנה שהיכולת לשוחח בעצם כוללת את היכולת הכללית ביותר לפתור בעיות. מי שיודע לשוחח בכל נושא יידע גם לפתור בעיות ולבצע משימות. ואכן מודלי שפה מצליחים להגיע ליכולות בפתרון מגוון רחב מאד של בעיות. אמנם ישנן מגבלות, כלומר משימות שמודלים של שפה לא מצליחים בהן טוב (ראו על כך למשל בפסקה האחרונה סביב הערה 24 כאן). כך נבנו אותם מודלים שכולכם מכירים כיום, שמשוחחים אתכם ונותנים לכם כל מידע שתרצו בכל תחום (ולפעמים משקרים לכם, כמו שראינו בטור הקודם), כותבים תוכנה, עורכים מחקר מדעי, פותרים בעיות מתמטיות, כותבים עבודות אקדמיות ועוד ועוד.

מודלי השפה הללו שונים מהמכונות שתוארו בטורים הקודמים. המכונות ההן אומנו לבצע משימות מסוימות (כמו זיהוי פנים), ובסופו של דבר עמדו בהן בצורה מרשימה מאד. אבל היוצרים שלהם ידעו מה הם יוצרים ומה הם עשויים לקבל. לעומת זאת, מודל שפה אינו מאומן לביצוע משימה ספציפית, וגם לא עובר אוסף של כמה אימונים ייעודיים לכל משימה לחוד. כפי שראינו, הם מאומנים לשוחח, ופתאום אנחנו מגלים שיש להם יכולות בלתי נדלות לפתור מגוון עצום של משימות. זה מאד הפתיע גם את יוצרי המודלים הללו, ומפתיע אותם עד היום. הם עצמם לא ציפו לתוצאות מדהימות כל כך, ולא ידעו עד כמה המשימות הללו מכוסות על ידי היכולת לשוחח. אין פלא שהישגים כאלה מעוררים תהיות לגבי ההבדל בין מודל כזה לבין בני אדם. הוא ממש פועל כמו בן אדם עם יכולות חשיבה ופתרון בעיות מגוונות ומדהימות. תוכלו רק לראות את הטוקבקים הראשונים על הטור הקודם שהביאו התייחסויות של מודלי AI שונים לדברים שכתבתי. זה ממש בלתי נתפס שמכונה יכולה להוציא התייחסויות כאלה ולהבין עדינויות כמו שרואים שם. וזו כמובן דוגמה פשוטה מאד ליכולות שלהן.

כאמור, כאן אנחנו מתמקדים בשאלה הספציפית יותר, האם החשיבה שלנו היא מכנית או לפחות ניתנת לחיקוי מכני. לכאורה נראה שעבור מודלי השפה החדשים לפחות התשובה השנייה הולכת ומתבררת כחיובית (אם כי, כאמור, לפחות למודלים שקיימים כיום יש מגבלות לעומת פעילויות אנושיות). עסקתי בשאלה זו גם בטורים 590 – 592. עליי לציין שהתמונה שם אופטימית (או פסימית) לעומת מה שנראה לי כיום. אז עוד חשבתי שדי ברור שיש משימות שאנחנו יכולים לבצע והמודל לא. כיום אני הרבה פחות בטוח בזה. אולם מה באשר לשאלה הראשונה? האם אכן חשיבתנו היא מכנית? האם אנחנו בעצם מחשב ביולוגי?

חידת MIU

בטור 695 הצגתי את חידת MIU של הופשטדטר, וכאן אחזור עליה לצורך הדיון בהמשך. הפעם כבר אתן אותה כפי שהיא מופיעה בספר (ראו גם בערכה בוויקיפדיה באנגלית), שכן אני נזקק גם לפתרון שלה כפי שהציג אותו שם הופשטדטר.

בקצרה, יש לנו שפה שהאלפבית שלה כולל שלוש אותיות: {M,I,U}. מילה בשפה הזאת היא שרשרת של אותיות מתוך השלוש הללו, כמו MMIMUU וכדומה. אבל לא כל מילה היא חוקית. אוסף המילים החוקיות בשפה הן קבוצת המילים שיכולות להיווצר מתוך המילה MI על ידי הפעלת אחד או יותר מארבעת הכללים הבאים:

הכלל הראשון אומר שאם מילה מסתיימת ב-I ניתן להוסיף אחריה U.

הכלל השני אומר שאם מילה מתחילה ב-M, ניתן לכפול את כל מה שבא אחרי ה-M.

הכלל השלישי אומר שניתן להחליף כל שלשה III ב-U.

הכלל הרביעי אומר שאם יש צמד UU ניתן למחוק אותו.

החידה היא: האם המילה MU היא  חוקית בשפה? כעת נסו רגע לפתור בעצמכם את החידה.

פתרון

אם ננסה לפתור את החידה הזאת באמצעות תוכנה רגילה, הדרך תהיה לבנות את כל הצירופים האפשריים בשפה, ואז לבחון האם MU נמצא ביניהם. אלא שזו משימה בלתי אפשרית שכן יש אינסוף מילים חוקיות בשפה הזאת. עלינו לשים לב שאין דרך פשוטה לבנות אותן ולסדרן לפי האורך (אחרת יכולנו לבדוק את כל הצירופים באורך שני תווים ולראות אם MU כלול ביניהם). אז מה עושים? איך בן אדם ניגש לפתור חידה כזאת?

הופשטדטר מציע פתרון פשוט, אלא שהוא מצריך אותנו לצאת אל מחוץ למערכת השפה הזאת ולהסתכל עליה מבחוץ. הטענה היא שמספר ה-I בכל מילה בשפה שהוגדרה כאן לא יכול להתחלק ב-3. מתוך כך עולה שהמילהMU  אינה חוקית בשפה, שכן יש בה 0 פעמים I, ו-0 מתחלק ב-3. ומכאן שאי אפשר ליצור את המילה MU מתוך MI על ידי ארבעת הכללם הללו. מש"ל.

נותר לנו להוכיח שמספר ה-I בכל מילה חוקית לא יכול להתחלק ב-3. הנה ההוכחה:

יש רק שני כללים שיכולים לשנות את מספר ה-I במילה המדוברת:

* כלל 2 יכפול את מספר ה-I פי 2.

* כלל שלוש יוריד שלושה I.

המילה ההתחלתית כוללת I אחד, 1 לא מתחלק ב-3. הפעלת כלל 2 תכפול את מספר ה-I בשרשרת, אבל זה עדיין ייתן מספר I שלא מתחלק ב-3 (מספר שלא מתחלק ב-3 אם נכפול אותו ב-2 לעולם לא יתחלק ב-3). הורדת שלשה I (מחיקת III) גם היא לא משנה את התכונה של חלוקה ב-3. אם קודם זה לא התחלק ב-3 גם אחרי ההורדה זה לא יכול להתחלק ב-3. המסקנה היא שכל מילה שמכילה מספר שמתחלק ב-3 של I אינה חוקית בשפה. מש"ל.

האם מחשב יכול להגיע לפתרון הזה?

ראינו שמחשב קלסי לא יכול לפתור את החידה הזאת שכן יהיה עליו לייצר את כל אינסוף המילים החוקיות כדי לוודא שהיא אינה כלולה ביניהן. השאלה היא האם מודל שפה יוכל לפתור את החידה, שכן הוא מחקה את דרך החשיבה שלנו. השאלה היא האם מודל שפה יכול גם הוא לצאת אל מחוץ למערכת ו'לחשוב' עליה מבחוץ, שכן כך הגענו אנחנו לפתרון. שימו לב שעל פניו אין סיבה לחשוב דווקא על התכונה של חלוקה ב-3 של מספר ה-I במילה. ניתן היה לחשוב על חלוקה ב-5 של מספר ה-M או על מספר U שהוא חזקה שלימה של 7 וכדומה. איך בכלל עלה בדעתנו לבדוק דווקא את מספר ה-I בשרשרת ודווקא את התכונה של התחלקות שלהם ב-3? נראה שיש כאן חשיבה יצירתית, ולכאורה היא אינה מכנית.

כדי להבין את הקושי, שימו לב שמודל שפה אמנם לא פועל כמו חישוב קלסי, אבל עדיין מדובר בתהליך מכני. הוא מקבל קלט כלשהו, מפעיל עליו מכניזם קשיח של חישוב סכומים משוקללים ומוציא פלט שמחושב בדרך הזאת. הקשר בין הקלט לפלט הוא מכני. הפלט הוא פונקציה כלשהי, גם אם מאד מסובכת, של הקלט. לכן עולה כאן השאלה האם מודל שפה יכול להפעיל חשיבה כמו זו שראינו בפתרון החידה? אם כן, אז לכאורה התהליך שעשינו לא היה באמת יצירתי, שכן הקלט של החידה הכתיב בצורה כלשהי את הדרך לפתרון.

לאור מה שראינו למעלה, אנחנו בעצם שואלים האם מודל השפה יכול להיות יצירתי? לחלופין, ניתן לשאול האם יש מכניזם (שהרי כפי שראינו מודל שפה הוא סוג של מכניזם) שיכול ליצור תוצאה שאנחנו מגיעים אליה בדרך לא מכנית ויצירתית? לשון אחר: האם ייתכן חיקוי מכני לחשיבה יצירתית? אפשר כמובן להעלות את התהייה ההפוכה: שמא אנחנו עצמנו פועלים בצורה מכנית, ורק נדמה לנו שפעלנו כאן בתהליך יצירתי?

בעיות חסומות ואינסופיות

נניח שהיינו מוסיפים כלל שאומר שאורך המילים בשפה לא יעלה על חמש אותיות. במצב כזה יש לנו לכל היותר 5³ (כלומר 125) מילים אפשריות, שמתוכן לא כולן חוקיות. השאלה היא האם מחשב קלסי (לא בינה מלאכותית ורשת נוירונים) יכול לפתור כעת את החידה. את זה ניתן לפתור גם באמצעות מחשב קלסי, שכן מדובר בבעיה סופית: הוא יאסוף את כל המילים החוקיות ואז יבדוק האם המילה MU כלולה בקבוצה שהתקבלה. אלא שגם זו לא באמת בעיה סופית, שכן הדרך להגיע למילים הקצרות הללו יכולה לעבור דרך הרבה מאד, ובעצם אינסוף דרכים אפשריות (להגדיל ולהוריד את מספר האותיות במילה, ובלבד שבסוף מגיעים למילה בת פחות משש אותיות). אבל אם נוסיף סייג שלפיו ארבעת הכללים יכולים לפעול רק על מילים חוקיות, כלומר שגם בדרך למילה החוקית ניתן לעבור רק דרך מילים חוקיות אחרות (אם המסלול שמוביל אל המילה שלנו כולל מילים לא חוקיות, הוא נחסם). במצב כזה הבעיה חסומה לגמרי, ולכן גם מחשב קלסי (לא בינה מלאכותית) יוכל לבצע זאת באלפיות שנייה.

לכאורה המסקנה היא שבבעיות סופיות ברור שאין הבדל בין אדם למכונה. בעיות סופיות מכונה יכולה לפתור תמיד. אבל זה עונה על השאלה האם יש חיקוי מכני לחשיבה שלנו, ולא על השאלה מה טיבה של החשיבה שלנו עצמה. נסו לדמיין אדם שיחשוב על הגרסה הסופית של החידה הזאת כפי שהצעתי כאן. הוא לא יעשה זאת כמו שתיארתי לגבי המחשב. הוא ישתמש בטכניקות כמו זו של הופשטדטר (שכרוכות ביציאה מחוץ למערכת). כלומר את הבעיה שמחשב מכני יכול לבצע האדם יבצע לא באותה צורה. במחקרה כזה המחשב מהווה חיקוי מכני של מה שאנחנו עושים, אבל עדיין הפעולה שלנו אינה בהכרח מכנית. אנחנו פתרנו זאת בדרך יצירתית. לכן קיומו של חיקוי מכני לא בהכרח אומרת משהו על החשיבה שלנו. השאלה היא האם תוכנת AI כן יכולה לבצע את המשימה הסופית הזאת בדרך יצירתית (לא כמו מחשב קלסי). אם כן, אז אין מניעה שהיא תפתור גם את הבעיה הלא חסומה (כלומר את הבעיה המקורית של הופשטדטר). אלא שכעת עליי לחזור ולהזכיר שמודל שפה הוא מכונה שפועלת באופן מכני לגמרי. כך שבכל מקרה, גם אם המכונה תצליח לפתור את החידה הלא חסומה, זה יהיה חיקוי מכני ולא חשיבה יצירתית. כאמור, זה מעורר תהיות שמא גם מה שנראה לנו יצירתי אינו באמת כזה.

בכל אופן, הדוגמה הזאת ממחישה לנו את ההבדל בין שתי השאלות שהצבתי למעלה: האם יש חיקוי מכני לחשיבה שלנו והאם החשיבה שלנו היא מכנית. בבעיה החסומה (הסופית) יש חיקוי מכני, שאותו יכול לעשות גם מחשב קלסי, ועדיין אדם שפותר אותה כנראה מפעיל חשיבה יצירתית. השאלה האם AI שיפתור אותה יעשה זאת בדרך מכנית או באופן יצירתי. ההשלכה היא לגבי הבעיה האינסופית (שבה לכאורה אי אפשר להצליח באופן מכני, לפחות לא בחישוב קלסי). אבל כאן חוזרת בדלת האחורית שאלת היסוד: אולי גם אנחנו לא באמת פותרים זאת בדרך יצירתית. זהו תהליך מכני שאנחנו מייצגים אותו בדרך שנראית לנו יצירתית. אם AI יכול לעשות זאת, והרי ראינו שהמודל ודאי פועל בדרך מכנית (הוא מתרגם קלט לפלט באמצעות פונקציה מתמטית, אמנם מאד מורכבת). אם אכן תוכנת AI תצליח לפתור את הבעיה הלא חסומה (מה שחישוב קלסי לא יכול לעשות), אזי נראה שיש חישוב מכני שמחקה לגמרי את הדרך שנראתה לנו יצירתית בעליל. האם פירוש הדבר שגם הפתרון שלנו נעשה בדרך מכנית, ושהיצירתיות שראינו בה אינה אלא אשליה? ואולי המושג 'יצירתיות' אינו בהכרח מנוגד ל'חשיבה מכנית'. השאלה היא האם כל מה שניתן לבצע על ידי חישוב מתמטי מכני בהכרח אינו יצירתי?

שחמט ובעיית ארבעת הצבעים

בטור 35 עסקתי בתוכנות שמשחקות שחמט. מספר מצבי הלוח בשחמט הוא סופי, אבל ענק. המחשבים הקלסיים מתקשים לכסות כל כך הרבה אפשרויות, ולכן תוכנה שמשחקת שחמט ברמה גבוהה מאד דורשת בינה מלאכותית. אבל כבר לפני עשרות שנים תוכנת 'כחול עמוק' ניצחה את אלוף העולם בשחמט, גארי קספרוב. כיום לבני אדם כבר אין שום סיכוי נגד בינה מלאכותית. האם זה אומר שתוכנה כזאת היא יצירתית? לא לגמרי ברור. ראשית, תוכנה היא תמיד מכנית במובן של הקשר בין קלט לפלט. מעבר לזה, מדובר בבעיה חסומה, ולכן במקרה המסוים הזה ייתכן שהמכניות מצליחה בגלל שיש פתרון מכני (גם אם לא בהישג היד של מחשב קלסי בימינו, שלא יכול לעבור על כל האפשרויות בלוח). שחקן אנושי, כנראה כן משחק בדרך יצירתית, כלומר לא באמת עובר על כל האפשרויות. אבל הוא כן מסנן את אלו הרלוונטיות ובין הנותרות הוא כן עובר על כולן. היצירתיות היא בסינון שהוא עושה, והשאלה היא האם תהליך סינון כזה הוא יצירתי, או שגם הוא מחביא מאחוריו תהליך של חישוב מכני? בתוכנות השחמט הישנות, המתכנתים עצמם הכניסו תהליכי סינון (שכן המחשב לא יכול היה לעבור על כל האפשרויות). כלומר לא המחשב פתר את הבעיה אלא המתכנת פתר את הבעיה באמצעות המחשב (כמו שראינו בטור הראשון, 694).

אבל כאן מדובר על סינון של בעיה סופית, כלומר הפחתה של מספר האפשרויות כדי שיגיעו למספר שהתוכנה יכולה לבדוק ישירות. אבל בטור 35 הנ"ל עסקתי גם בפתרון של בעיית ארבעת הצבעים, ושם פגשנו סינון של בעיה אינסופית. הבעיה עוסקת במפה מדינית, כלומר חלוקה של שטח דו ממדי לשטחים קטנים (מדינות בתוך המפה הכללית), והשאלה היא כמה צבעים דרושים כדי לצבוע כל מפה אפשרית באופן שלא יהיה בה שום קו גבול ששתי המדינות משני צדדיו צבועות באותו צבע. המשפט קובע שדי לנו לשם כך בארבעה צבעים. הרבה מאד שנים לא הצליחו להוכיח את ההשערה הזאת, אבל היה די ברור שהיא נכונה. שימו לב שמדובר בבעיה לא חסומה, שכן עקרונית יש אינסוף מפות אפשריות, וההוכחה דורשת לעבור על כולן. בשלב כלשהו הוכיחו שניתן לחלק את כל המפות האפשריות ל-1,936 סוגי מפות ובהמשך ל-633 סוגים, וכעת נותר להוכיח את המשפט עבור מספר סופי (אבל גדול) של מפות. ההוכחה התקבלה באמצעות מחשב שעבר על כל האפשרויות (אז זה לקח מאות ואלפי שעות), והיא עוררה ויכוח פילוסופי (האם הוכחה באמצעות מחשב היא הוכחה קבילה במתמטיקה. זהו הפולמוס על האינטואיציוניזם המתמטי).

לענייננו, שימו לב שהסינון כאן העביר בעיה לא חסומה והפך אותה לבעיה חסומה. התחלנו ממצב שבו צריך לבדוק אינסוף מקרים, מה שחישוב מכני רגיל לא יכול לעשות, ואדם כן הצליח לעשות. כעת זו כבר בעיה שיכולה להיפתר גם בלי AI. להיכן נעלם הצורך ביצירתיות? נראה שהוא נמצא במעבר מהבעיה הראשונית לגרסה החסומה שלה. כאן נעשתה פעולה של סינון, והיצירתיות, אם בכלל יש כזאת, נדרשת בשלב הזה. כאן עולה השאלה האם מודל AI יוכל גם הוא לבצע סינון כזה? זהו השלב שבו מדובר על הליך לא מכני (שאדם יכול לעשות ומחשב קלסי לא), והשאלה האם רק אדם יכול לעשות אותו, או שאולי גם תוכנת AI. דומני שדי ברור שפעולות דומות לזו (שנראות לנו יצירתיות בעליל) נעשות כבר כיום על ידי מודלים של  AI(למשל לשוחת איתנו ולעבור את מבחן טיורינג). אבל בינתיים לא את כל סוגי הפעולות מודלים של AI יכולים לבצע, והשאלה האם זהו מצב זמני שייפתר בהמשך, או מגבלה מהותית של מכונות מכניות.

מבט רחב על מה שראינו: האם כל מה שמכונה פותרת הוא מכני?

ראינו שמשימות חסומות יכולות להיעשות גם על ידי חישוב קלסי-מכני. ראינו שבני אדם יכולים לבצע גם משימות לא חסומות (על ידי יציאה מחוץ למערכת). בה בעת ברור כיום שמשימות רבות שאנחנו עושים, גם מודל שפה של AI מצליח לעשות, גם כאלו שנראות לא חסומות. מצד שני, כל עוד מדובר במכונה, הרי שהפעולה שבה מדובר היא חישוב מכני (קשר של פונקציה מהקלט אל הפלט). אבל זה לא אומר שהמשימות הללו אינן יצירתיות. זה בטח לא אומר שאנחנו לא מפעילים יצירתיות בעת שאנחנו פותרים אותן (היזכרו בחידת MIU החסומה, שם ראינו שלפחות אצל בני אדם יש יציאה מחוץ למערכת, כלומר הפתרון היה יצירתי). ייתכן שיש חיקוי מכני לפעולה יצירתית, כלומר שמודל AI יצליח לפתור את החידה של הופשטדטר. ועדיין זה לא אומר שאנחנו לא פתרנו אותו בשיטות יצירתיות.

כדי לחדד זאת, אזכיר את מה שתיארתי בפירוט בטורים האחרונים: החיקוי המכני של מודל השפה נעשה על ידי רשת נוירונים שנוצרה באמצעות אימון אינטנסיבי מאד על ידי בני אדם. האימון הזה מטמיע ברשת מידע רב ומיומנות חשיבתיות שלנו, ואלו בהחלט יכולים להיות תוצרים שצברנו בגלל היכולת היצירתית שלנו. כלומר ייתכן שבשלב האימון האדם שמאמן את המודל מכניס לתוכו דרך הדוגמאות והפידבקים עליהן את הממדים היצירתיים שיש לנו כבני אדם, ואין פלא שמכאן והלאה המודל אכן מצליח לפתור באופן מכני גם משימות שדורשות יצירתיות (כולל משימות לא חסומות). המודל אינו סתם מכונה מכנית וזהו, אלא מכונה שנוצרה על בסיס חשיבה ומיומנויות אנושיות. לכן אין מניעה שתהיינה לו יכולות יצירתיות שיבוצעו בדרך מכנית.

בבעיית ארבעת הצבעים ראינו שאחרי שהאדם מצא את החלוקה לסוגים והזין אותה למחשב, המחשב (הקלסי, לא AI) יכול לעבוד מכנית ולהוכיח את ההשערה. בה במידה ייתכן שמודל AI יכול לפתור מכנית בעיה שדורשת יצירתיות, בגלל שהמתכנת שלו הכניס לתוכו במהלך האימון מבני חשיבה יצירתיים של בני אדם. אם זה נכון, אז גם ה-AI אינו באמת זה שפותר את הבעיה, אלא אנחנו עושים זאת באמצעותו, ממש כמו שראינו בטור הראשון לגבי חישוב קלסי. הדברים אמורים גם לגבי משימות שאם היו מופנות אלינו לא היינו מצליחים בהן (בגלל מגבלות שיש לנו בביצוע חישוב מכני ובמהירות החישוב שלנו). במילים אחרות, ייתכן שהיתרון שלו עלינו הוא רק במישור של היכולות המכניות והמהירות, אלא שזה מאפשר לו לפתור בעיות שדורשות יצירתיות שאנחנו לא מסוגלים להתמודד עמן. זאת כמובן רק אם הקושי שלנו נובע מהמגבלות שלנו בחישובים מכניים ולא במהות היצירתית.

אם כן, עד כאן לא הגענו למסקנות ברורות ביחס לשאלות שהעליתי, אבל דומני שהמצב כעת נהיר יותר. לפחות השאלות והאפשרויות יותר ברורות, וכך גם העמימויות שמלוות אותן (מהו חישוב מכני ומהי יצירתיות).

תהיות על השפה

כאן אני מגיע לדיון שהתעורר במייל שלי עם תלמידי דוד מדר (שהוזכר בתחילת הטור הראשון). התמונה שתיארתי כאן מעלה תהיות לגבי השפה שלנו, שעל רובן הוא עמד במכתביו. על פניו נראה שהיכולת להשתמש בשפה מכילה באופן כלשהו את כלל יכולות החשיבה שלנו. האם מבנה השפה והתחביר שלה אינם רק מבנים פורמליים (צורניים), אלא מבוססים גם על עקרונות הגיוניים וכוללים גם את חוקי הטבע (הידע על העולם)? איך ייתכן שלימוד להשתמש בשפה מכיל את כל המיומנויות הללו, או לפחות מצליח לחקות אותן בצורה כל כך שלימה?

בניסוח אחר ניתן לתהות האם וכיצד ניתן להשתמש במיומנות שפתית כדי לטפל בבעיות סינתטיות. בעיות אנליטיות (במינוח שלי, ששאוב מקאנט) הן בעיות שהדרך להתמודד עמן טמונה כולה בבעיה ובמרכיביה. כדי לפתור בעיה כזאת, אין צורך לצאת מחוץ לקופסה ודי בעיבוד הקלט כדי ליצור את הפלט. בעיות סינתטיות הן בעיות שדורשות תוספת (סינתזה עם מידע ומיומנויות נוספות מעבר למידע שטמון בבעיה עצמה) כדי לפתור אותן. אפריורי הייתי מצפה שמכונה שמשתמשת בחישוב מכני תדע להתמודד לכל היותר עם בעיות אנליטיות (ואולי לא עם כולן), אבל לא עם בעיות סינתטיות. השאלה היא האם הבעיות שנראות לנו סינתטיות הן בעצם אנליטיות, שכן AI יודע גם הוא לטפל בהן. אין צורך לציין שהשפה שלנו כשלעצמה (כללי הדקדוק והתחביר) אינה באמת אנליטית. היו שטענו שכל בעיות הפילוסופיה יסודן בכשלים של השפה (זו הנחתם של רבים מהפילוסופים האנליטיים), ולכן היו שניסו ליצור שפות אנליטיות שמיועדות להיות מושלמות, כלומר חפות מפרדוקסים וכשלים פילוסופיים (כמו ראסל בתורת הטיפים שלו, לייבניץ ועוד). דומני שמשפט גדל שם בספק רב את האפשרות ליצור שפה כזאת, אבל גם אם הדבר היה ניתן, ספק רב עד כמה שפות כאלה תוכלנה להביע את כל העושר שאנחנו מביעים באמצעות השפה שלנו. ועדיין נראה שהיכולת הלשונית לא אמורה למצות את כלל היכולות שלנו בכל התחומים. לכן הישגיהם של מודלי ה-AI כל כך מפתיעים.

תהיות דומות מוצגות ב במאמרו של וולפראם שהוזכר למעלה. טענתו היא שיש לשפה בסיס סמנטי, והתכנים שהיא מביעה משפיעים גם הם על המבנה שלה. שפה אינה רק תחביר או כללי סינטקס שרירותיים, אלא יש מאחורי זה לוגיקה וידע מדעי ועובדתי. טענתו היא שהשימוש בשפה אינו כל כך יצירתי ומורכב כמו שנראה לנו מחד גיסא, ומאידך גיסא הוא תלוי בתכנים שהיא מביעה. הלוגיקה הבסיסית צריכה להיות גם תוכנית ולא רק צורנית (פורמלית). דומני שעבודתו של וולפראם לאורך שנים רבות מניחה את ההנחה הזאת ומנסה לממש אותה (להגיע ליכולת לטפל בכלים פורמליים בטיעונים ובבעיות תוכניות).

בקצרה, אמרתי לדוד שדי ברור לי שמאחורי השפה יש רעיונות, אלא שהמכניות שבה פועלת תוכנת AI לא אומרת שהיא עוסקת רק בשפה. גם שם השפה היא רק ייצוג. מעבר לזה, הדברים המיוצגים על ידה לא נמצאים ב"הכרתה" של התוכנה אלא אצל המתכנת. מעבר לזה, ראינו שהאימון של התוכנה נעשה דרך תשובות ופידבקים למקרים שמובאים בפניה, ואלו לא נקבעים רק לשונית. לדוגמה, מאמנים תוכנה לזהות פנים של מישהו. האימון הוא דרך דוגמאות ומתן פידבק חיובי או שלילי לזיהוי נכון ולא נכון. הפידבק נקבע לפי השאלה האם היא זיהתה נכון או לא, כלומר לפי התוכן.

גם במודל שפה, שלכאורה מתאמן רק על תחביר ומיומנויות שפה זה לא באמת נכון. ראינו שהוא מאומן על טקסטים שונים שמבטאים רעיונות בתחומים שונים, ולכן ההמשכה שהוא עושה למשפטים שניתנים לו אינה רק תוצאה של חוקי תחביר פורמליים אלא של התוכן. תהליך האימון אינו סתם הטמעת סינטקס צורני וזהו. לכן אין פלא שזה מעצב את הרשת באופן שיענה על התכנים והסמנטיקה. האימון הזה אינו פעולה לשונית גרידא, הגם שהיא מיוצגת על ידי שפה. הרי גם אצלנו הרעיונות מיוצגים על ידי שפה, אבל לפחות אצלנו ברור שיש מאחוריה את הרעיונות שהיא מביעה. חשבו על האדם בחדר הסיני. הוא מקבל פידבקים מדוברי סינית שמבוססים על תכנים נכונים ולא נכונים, והמשפטים הסינטקטיים שהוא יוצר נבחנים לאור התכנים ולא רק לאור התחביר שלהם (למרות שהוא עצמו לא באמת מבין אותם).

כדי לחדד זאת יותר, חשבו על מודל שפה שיולעט על ידי כל המשפטים התקינים מבחינה תחבירית, בלי קשר לנכונותם ולהיגיון שבהם. לדוגמה, הוא יקבל משפטים כמו "כל דוברי שפת הצמחים עפים בכנפיהם ללקט עננים", ועוד משפטים כאלה. האם תיווצרנה אצלו יכולות לפתור בעיות? אין ספק שלא. מכאן ברור שהמיומנויות המופלאות הללו לא נוצרות מהתחביר שהוא לומד אלא מהסינון שעשה המאמן שלו בין טענות שבנויות נכון תחבירית אבל מייצגות שטויות לבין טענות אחרות שבנויות נכון ושמייצגות תוכן נכון ואמיתי. הסינון הזה, ולא התחביר כשלעצמו, הוא שאחראי לפיתוח המיומנויות של מודל ה-AI, וכזכור הסינון הזה נעשה על ידי המאמן או מכוחו, ולא על ידי המכונה. לכן אל לנו לשגות באשליות שאנחנו רק מלמדים אותו שפה. אנחנו משתמשים בשפה אבל מלמדים אותו באמצעותה עובדות, היגיון ודרכי חשיבה. ומכאן שלא השפה אחראית על המיומנויות של מודל השפה אלא התכנים שמועברים אליו באימון (שאמנם מיוצגים על ידי שימוש בשפה). ממש כמו אצלנו, השפה היא המכשיר שבאמצעותו אנחנו מעבירים את התכנים, ואל לנו לערבב בין המכשיר לבין התכנים עצמם.

מה לכל זה ולאבולוציה

ולסיום, תהייה אחרונה (גם היא הועלתה על ידי דוד). אם אכן יש בנו עוד משהו מעבר לחשיבה, אבל החשיבה המכנית יכולה לחקות אותו במלואו, כי אז לא ברור מדוע אבולוציונית נוצר בנו הרכיב הנוסף הזה? אם הוא לא נותן לנו יתרון אבולוציוני או אחר (שכן החיקוי המכני יכול לעשות הכל באותה רמה), מדוע בכלל היה לנו צורך בו? זה מעיד שאנחנו לא תוצרים של אבולוציה בלבד (נשמה לא נוצרה אבולוציונית), וזה גם מסביר מדוע מטריאליסטים מניחים שאכן יש חיקוי מכני מושלם לחשיבה שלנו, ומכאן שהחשיבה שלנו עצמה גם היא מכנית.

אגב, טיעון דומה עלה כבר על ידי הפילוסוף האנליטי הנוצרי הידוע, אלווין פלנטינגה (ראו בספרי אלוהים משחק בקוביות, בפרק הרביעי בסעיף ב). הוא טען שאין הצדקה אבולוציונית לקיומה של תודעה שכן פונקציות מחקות שיעשו הכל בלי שיש מאחוריהן תודעה יתרמו לשרידותנו תרומה זהה. חשבו למשל על הפחד מטורפים. נניח שהיה נוצר אדם שאינו מפחד כלל מטורפים, אבל עדיין אם היה מגיע טורף לסביבה הוא היה נמלט כל עוד רוחו בו, סתם כך. זה היה אצלו אינסטינקט, בלי שיש אצלו הנעה מנטלית לכך. ההתנהגות שלו הייתה בדיוק כמו זו של יצורים עם פחד, אבל רק פנומנולוגית בלי הממדים המנטליים. ברור שהשרידות שלו הייתה זהה לזו של יצור שפוחד, ולכן תחושת הפחד מיותרת מבחינה אבולוציונית. אז למה היא נוצרה?![2]

כאן אני טוען טיעון דומה. אם אכן קים חיקוי מכני מושלם לחשיבה שלנו, אזי לממדים המנטליים בתוכנו אין שום יתרון אבולוציוני, ולכן הם לא היו אמורים להיות קיימים. בטור הראשון הסברתי שאין חולק על כך שהם קיימים (ראו שם את אזכור השיחה שלי עם פרופ' יוסף נוימן ז"ל), ולכן יש כאן קושיה מדעית על ההשערה שקיים חיקוי מכני מושלם לחשיבה שלנו. אבל אם לא קיים חיקוי כזה, כי אז בחשיבה שלנו יש משהו לא מכני, וזה יותר מרמז על כך שיש בשכל שלנו משהו מעבר לנוירונים, ואולי גם לכך שיש בנו משהו מעבר לפיזיולוגיה (דואליזם).

הטור הבא יסיים כנראה את הסדרה הזאת, ושם אעסוק בהשלכה פילוסופית של התמונה שתיארתי כאן. אדון שם בשאלת מרכזיותו של השכל מול הרצון, שגם היא מתחדדת לאור הדיונים שערכנו כאן בדבר אופיו וטיבו של השכל שלנו.

[1] ייתכן שבחישוב קוונטי המצב שונה. אני לא בטוח בזה.

[2] אפשר היה לדחות את הטיעון הזה בטענה שתחושת הפחד מייצרת את כל ההתנהגויות הדרושות במצבים שונים, זה חסכוני יותר מאשר ליצור אותן כל אחת לחוד. זה בהנחה שאבולוציה אכן יוצרת את הממד המנטלי שלנו.