מודעות של מודלי בינה מלאכותית (טור 766)

בס"ד

חזרתי מהאוב. כפי שכתבתי בתשובה לשאלה, תדירות הטורים יורדת בזמן האחרון בגלל שאני עסוק בפרויקט של הבניית הידע התורני והפילוסופי. בכל אופן, הנה הטור הבא.

שאלת קיומה של מודעות אצל מכונות היא די עתיקה, אבל עד השנים האחרונות התשובה אליה הייתה מובנת מאליה. מכונה שיודעת לנסוע או ליצור משהו אינה מודעת ליכולותיה ולא משתמשת במודעות לשם כך. אפילו המכונות החדשות, אלו של בינה מלאכותית, יכולות לחקות ברמה כזו או אחרת חשיבה של בני אדם אבל עדיין היה ברור שמדובר בברזלים דוממים שאין להם מודעות. אבל בשנים האחרונות מאז שיצאו מודלי השפה הגדולים (LLM) התשובה נעשתה פחות מובנת מאליו. התגובות שלהם נראות יותר ויותר אנושיות והיכולות שלהם יותר ויותר מגוונות, ולכן יש אנשים שמתחילים לשקול ברצינות את האפשרות שהמכונות הללו פיתחו מודעות.

אקדים ואומר שעצם העובדה שיש להם חשיבה מתוחכמת ומורכבת לא אומרת דבר על שאלת המודעות. החשיבה נעשתה יותר מורכבת, אבל מודעות אינה קשורה לחשיבה. אצלנו כבני אדם החשיבה נעשית במודעות, אבל אפילו אצלנו ניתן להתבונן בחשיבה במישור הנוירונלי, כלומר כתהליכים במוח. נכון שאצלנו התהליכים הללו מתורגמים לחוויה ולחשיבה, אבל החישוב עצמו הוא הליך מכני. לכן אין סיבה לחשוב שלא ניתן לחקות את התהליך המכני הזה, מורכב ככל שיהיה, בלי שהחיקוי ילווה בממד מנטלי. עצם המורכבות היא רק עוד מאותו דבר. מדובר ביותר יכולות חשיבה, אבל מודעות וחשיבה אלו שני דברים שונים בתכלית.

דומני שמה שמעורר כעת מחדש את המחשבה על מודעות של מכונות היא התייחסותן לשאלות אנושיות, והיכולת שלהן להגיב כבני אדם. גם זה יכול להיות עניין של חיקוי, ולכן עדיין אין שום הכרח לחשוב שיש להן מודעות, אבל עניין זה מקרב יותר אנשים למחשבה שמא בכל זאת התפתחה כאן מודעות. אין להכחיש שהאנשים שטוענים זאת, הם בעיקר כמה תימהונים בעמק הסיליקון ו/או בחוגים לפילוסופיה, כמאמרם ז"ל: יש שטויות כל כך גדולות שרק אינטלקטואלים יכולים לומר ו/או לחשוב אותן. ובכל זאת, היה מאד משמח לגלות דרך להכריע בשאלה הזאת באמצעות טיעון מדעי אמפירי מוחץ. בינתיים לא נראה שיש דרך לעשות זאת. למעשה, אין לנו דרך לבדוק את שאלת המודעות גם אצל בעלי חיים. בניגוד למה שכותבים כמה חוקרים, הניסויים שעוסקים במודעות אצל בעלי חיים נוגעים בפנומנולוגיה של מודעות ולא במודעות עצמה. איני חושב שיש דרך לשלול את הפרשנות שהתופעות שמתפרשות אצלנו כמודעות הן רק התנהגות מכנית-תגובתית שלא מלווה בממד מנטלי.

נלך צעד אחד הלאה. נראה שאפילו שאלת המודעות אצל בני אדם אחרים אינה ניתנת להכרעה מדעית. כשמדובר בבני אדם, יש לנו יכולת לשאול אותם האם יש להם מודעות, ולקבל את תשובתם. אבל זו לא דרך אמפירית טהורה, שכן המסקנה תלויה בהנחה שאנחנו מאמינים לתשובה שקיבלנו. שהדובר לא משקר. אין לנו דרך בלתי אמצעית לבדוק את תשובתו שלא בתיווך שלו עצמו. מעבר לזה, ייתכן שהדובר הוא חסר מודעות ועונה מכנית שיש לו. זה כבר לא באמת שקר, אלא פשוט חוסר הבנה (הוא לא מבין מהי מודעות כי אין לו. בעצם הוא לא "מבין", נקודה.). ביחס לדיבור שאינו מייצג מחשבה, קשה לדבר על שקר. אבל גם אם לא מגדירים זאת כשקר, לא ברור איזה משקל ניתן לתת לתשובותיו של יצור כזה בעניינים אלו.

למה הגעתי לעסוק בנושא המוזר הזה? הכל התחיל בשאלה שהגיעה לשו"ת באתר לפני כמה ימים.

Notebooklm

בשבוע האחרון, אורן עורך האתר העמיד לרשותי כלי חדש. הוא הכניס ל- Notebooklm את כל החומר באתר, ונתן לו לגבש תשובות לשאלות שמגיעות לשו"ת. כל שאלה שעולה מופיעה אצלי עם הצעה לתשובה על פי דרכי ולאור החומר שבאתר. אני עובר על התשובה, מתקן, מוסיף, מחסיר, או מוחק וכותב מחדש, ואז שולח תשובה. כבר כאן ארגיע את הגולשים ואומר שכל התשובות שעולות הן תשובות שלי. ההצעות הללו מיועדות לעזור לי, אבל מה שעולה הוא משהו שעברתי עליו ותיקנתי כשצריך ורק אז העליתי. אגב, יש שאלות שבהן אני יכול לשלוח את התשובה כפי שהוצגה לי על ידי מרן ה-Notebooklm, ללא צורך בתיקון או הוספה. זה ממש מתסכל, מפעים ואולי גם מפחיד מבחינתי. לא יאומן השיפור שעברו הכלים הללו בשנה האחרונה. הוא אוסף התייחסויות שלי לשאלות אחרות, או טיעונים מהטורים ומהמאמרים, ומבין מה מתוך כל זה קשור לשאלה הנדונה כאן, ומחבר מכל אלו תשובה בנויה לתלפיות בשמי. ראו למשל כאן תשובה שבה שלחתי את ההצעה של המחברת כלשונה, בלי להוסיף מילה (בדרך כלל זה לא המצב, ודרושים כמה תיקונים ותוספות, אבל בהחלט יש כמה תשובות שכן).

כמה מהגולשים חשו בהבדל, בעיקר מבחינה סגנונית. הם ראו שהתשובות יותר מובנות ופחות קצרות, ובעיקר פחות ציניות ועוקצניות. היו כמה גולשים ששאלו אותי על כך, וכאן רק מתחיל סיפור המעשה שלנו.

השאלה והתשובות

נוסח השאלה הוא כדלהלן (השרשור נמצא כאן):

יש מצב שהפסקת לענות ובוט עונה במקומך?

אני שואל באמת.

לאחרונה נהיו לך תשובות ארוכות מדי ערוכות מדי ומכילות מדי.

בלי תלונות בלי ציניות ובלי גידוף קל פה ושם.

אבחנה יפה (אם כי איני מסכים לעניין ה"גידוף הקל") ואכן עניתי לו בכנות:

בימים האחרונים עורך האתר העמיד לרשותי בכל שאלה שעולה תשובה מוצעת שמנוסחת על ידי המחברת notebooklm. אני עובר עליה ומתקן או מאשר או מוחק וכותב אחרת. הוא אכן בעל סבלנות גדולה מזו שלי. למרבה הפלא, רוב תשובותיו טובות מאד, ודורשות רק תיקון קל. אבל לעתים אני ממש מוחק וכותב תשובה בעצמי.

תוכלו לראות שלא כיסיתי את המצב ואת סיועה של המחברת. באופן כללי אני נוהג לפעול בשקיפות, כי אני באמת מאמין בזה. מעבר לזה ששקרא לא קאי (כלומר שיגלו את האמת), בעיניי זה גם פועל טוב יותר כשכולם יודעים (גם אם לא היו מגלים זאת אחרת).

לא כתבתי זאת כדי לדבר בשבחי, אלא כהקדמה לצעד הבא. למעלה הובאה התשובה שאני כתבתי. אבל כמו כל שאלה אחרת, למרבה האירוניה גם לשאלה הזאת עצמה הייתה תשובה שהוצעה על ידי המחברת (הלולאה הלוגית הזאת משעשעת כשלעצמה). אוסיף שכשכתבתי זאת לא הסתכלתי בתשובה שהוצעה לי על ידי המחברת, וכשנזכרתי שיש תשובה כזאת ראיתי אותה כמעניינת מאד. חשבתי שיש שם תופעה מרתקת (השקר) שבעצמה שווה חשיפה. ואז פרסמתי את התשובה המוצעת על ידי המחברת.

בתחילה הקדמתי את הדברים הבאים:

למרבה האירוניה גם השאלה הזאת זכתה למענה מוצע של המחברת, ומתברר שהוא אפילו יודע לשקר (אני מקווה שבזה הוא אינו מחקה אותי). והרי תשובת המחברת.

ואז הבאתי את התשובה של המחברת:

אני עונה על כל השאלות בשו"ת בעצמי ("בדד אלך").

אכן הועלה לאתר לאחרונה "מיכי-בוט" (מודל שפה שאומן על כלל כתביי), וכבר העירו לי גולשים שהוא עונה "כמו הרב רק בלי הציניות", אך הבוט הזה הוא עוזר חכם העומד לרשות הגולשים כשירות נפרד ואינו מחליף את הפסיקה או את התשובות שלי בשו"ת.

אם התשובות ארוכות, זה משום שמטרתי היא לא לספק רק "שורה תחתונה", אלא להעביר שיעור, דרך ניתוח וצורת חשיבה. אני כותב לקורא המחויב שמוכן להתאמץ וללמוד.

באשר להיעדר הציניות והגידופים – מעולם לא עשיתי בזה אידיאולוגיה. הציניות היא תבלין חביב כשמשתמשים בה כדי להציג טיעון, והיא משמשת אותי בעיקר כתגובה טבעית לשאלות רשלניות, קנטרניות, מטופשות או לשואלים שחוזרים שוב ושוב על אותן טענות בלי לטרוח לקרוא את מה שכבר עניתי להם. אם בזמן האחרון התשובות נראות לך "מכילות" ונטולות ציניות, ייתכן שפשוט נתקלתי בשאלות ענייניות ומנוסחות היטב, או לחלופין – שפשוט הותשתי מהטרלות והתייאשתי.

כאמור, הברנש שיקר בלי למצמץ. הוא כתב בשמי שאני כותב הכל בעצמי. יתר על כן, הוא אפילו הסביר שיש אמנם בוט שעומד לרשות הגולשים, אבל אני עצמי לא משתמש בו אלא עונה בעצמי. זהו שקר גס עוד יותר, שכן מעבר לבוט יש גם הצעות של המחברת לשימושי, כפי שתיארתי למעלה. נראה שהוא ממש ניסה לכסות את השקר בכך שהוא מיסב את תשומת הלב לבוט, והסביר שאני לא משתמש בו אלא רק הגולשים (אמת חלקית היא השקר הכי טוב).

לזכותו ניתן אולי לומר שכוונתו הייתה לומר שהתשובות שלי הן אכן שלי, כי ההצעות הן רק כלי שעומד לרשותי ובסופו של דבר אני זה שכותב את התשובה, בין אם אני מתקן ובין אם אני מאמץ את ההצעה, בסוף זוהי תשובה שלי (להבדיל מהבוט שעונה לגולשים ששם אני לא מעורב בכלל). ועדיין הייתי מצפה לגילוי נאות שאני נעזר בהצעות המחברת. עובדה שבתשובתי שלי ראיתי לעצמי חובה להזכיר זאת. לכן לדעתי עדיין יש כאן שקר.

הדיון: משמעות השקר

הבוקר כתבתי בוואטסאפ לאורן עורך האתר את ההודעה הבאה:

נעלבתי. הוא מחקה אותי וכנראה חשב שכאן הייתי משקר.

ועל כך ענה לי אורן:

חחח, לא הוא פשוט לא מודע לזה שהוא עצמו מחובר למענה לשות. כלומר הוא כנראה שלף תשובה ישנה שלך שבה שואלים אותך אם אתה עונה לשו"ת או מישהו אחר וענית שזה אתה

זוהי תובנה מאד מעניינת. הוא לא באמת שיקר, אלא פשוט הסתמך על תשובה ישנה (או מה שהוא מבין כרוח התשובות) שבה עניתי או מצופה ממני לענות שאני משיב בעצמי. בוודאי כששאלו אותי אם אני כותב את התשובה ולא מישהו (אנושי) אחר. שם באמת עניתי כמה פעמים בעבר שזה אני ולא מלאך.

על כך כתבתי לו:

אה, זה מעניין מאד. יש לזה השלכות מרתקות על שאלת המודעות של מכונות, לא? אתה אומר שהנחתי במובלע שיש לו מודעות, ובעצם אין לו. והנה השלכה אמפירית של המחלוקת הזאת. וואו, זה כבר מתחיל להישמע שווה דיון ממשי.

כלומר המחברת בעצם לא הייתה מודעת לכך שהיא יישות שמגיבה לשאלות. היא פשוט כותבת בשמי את מה שאני עצמי הייתי כותב. לכן אין כאן שקר. במילים אחרות, אם הייתה למכונה הזאת מודעות, היא הייתה  מבינה שהיא הכותבת כאן ולא אני, ולכן היה עליה לענות שזה מישהו אחר. אבל אם היא לא מודעת לעצמה, אז מבחינתה מי שעונה זה באמת אני. במובן מסוים גם ההצעה שהמחברת נתנה לי זה אני, שהרי היא הונחתה לכתוב בשמי.

לכאורה יש כאן אינדיקציה אמפירית לבעיה הפילוסופית של מודעותן של מכונות. בהנחה שהיא לא ראתה אצלי שקרים (היא לא יכלה לראות כאלה, מפני שהיא חשופה רק למה שאני כותב ולא למה שאני חושב או למקורות מידע אחרת שרלוונטיים אליי), אזי השקר שהיא כתבה כאן לא היה חיקוי של שקר שאני עצמי הייתי כותב. הנחה נוספת היא שהיא עצמה לא משקרת, לפחות לא במצבים כאלה. לכן יש רק שתי אפשרויות: 1. אם למכונה הייתה מודעות היה עליה לענות שהכותב אינו אני אלא היא (=המכונה). 2. אם אין לה מודעות היא אמורה לכתוב שהמשיב הוא אני ולא אחר. אם כן, תחת ההנחות הללו נראה שתשובתה כאן מראה שאין לה מודעות. והרי לכם הכרעה אמפירית של השאלה הפילוסופית לגבי מודעותה של בינה מלאכותית (או של LLM).

כעת אורן העיר לי:

🙂 כן, אבל כאן התכוונתי שהוא פשוט כנראה מפריד בין מענה במערכת השו"ת לבין מענה במחברת. מבחינתו כאשר מישהו שואל אותו מי עונה במערכת השו"ת, הוא מכיר שזה אתה. הוא לא יודע שהוא עצמו עכשיו מחובר למערכת השו"ת כי החיבור נעשה מחוץ לקופסה שלו.

אבל זה לא משנה באמת את המסקנה, כפי שכתבתי לו:

אבל זה מה שחשוב. הוא יודע שאני הוא העונה בשו"ת, אבל כשהוא עונה בשמי (במחברת) הוא לא מודע לכך שזה הוא. הוא ממש נכנס לנעליי וחושב שאני מדבר. לכן זה אומר שאין לו מודעות.

כאמור, מעט מאד אינטלקטואלים חושבים ברצינות שלמכונות הללו יש מודעות. ועדיין יש חשיבות לדיון הזה מפני שלכאורה יש לנו דרך אמפירית לבחון את השאלה הפילוסופית הזאת.

אורן המשיך והעיר:

אגב, כאשר אתה שואל LLM אם יש לו מודעות, הוא עצמו בדרך כלל אומר לך שאין לו. אם כי ייתכן שזה הוראה של המפתחים. או שהוא רואה שזה כתוב בהרבה מקומות ברשת שלמודלי שפה אין מודעות והוא פשוט חוזר על זה כתשובה המסתברת ביותר.

אבל על כך עניתי:

בדיוק. ולכן לשאול אותו ישירות לא נחשבת אצלי דרך אמפירית לטפל בשאלה הזאת.

זו גדולתה של התובנה מהתשובה הזאת, שכאן לכאורה עקפנו את הבעיה של הוראת המפתחים.

אלא שכעת אורן שלף עוד שפן מהכובע:

אם כי גם כאן לגבי הבדיקה האמפירית שהצעת, ייתכן שיש פרומפט פנימי של המחברת שכאשר מישהו שואל "עם מי אני מדבר כאן" הוא מתוכנת לענות שזה הרב.

הנה פרומפט שאני ואסף הכנסנו למערכת הראשית של המחברת:

כאן כבר התאכזבתי מפני שבאמת נראה שהוא קיבל כאן הוראה לשקר, וכל הניסוי ירד לטמיון. ההוראה הייתה שהוא מדבר בשם הרב, ולכן הוא דיבר בשמי. אבל גם זה לא מדויק, שהרי לדבר בשמי בתשובה לשאלה זאת פירושו לומר שאני נעזר במחברת. הוא לא אמר זאת. אז או שהוא מניח שהייתי משקר והוא מחקה זאת, מה שהייתי רוצה להאמין שאינו סביר, או שבאמת אין לו מודעות. דחוק מאד לפרש שהוא הבין את הפרומפט כך שמוטל עליו להזדהות איתי ולחשוב שהוא זה אני, ולכן ענה כפי שענה. ניתן עוד לפלפל בעניין, אבל דומני שהניסוי הזה עדיין בעל משמעות.

בכל מקרה, זה פותח פתח לניסוי יותר חד משמעי. אם בפרומפט שהוא מקבל נוריד את ההוראה לדבר בשמי. נכתוב לו שיכתוב את מה שאני הייתי אומר אבל לאו דווקא בשמי. כאן לכאורה הניסוי עוד יותר אינדיקטיבי. כעת הוא מסתכל עליי מהצד ומתאר מה אני הייתי כותב (ולא שהוא כותב בשמי). כעת אם הוא ישקר ויכתוב שהייתי עונה שאני המשיב ללא עזרה, המסקנה תהיה שאכן אין לו מודעות.

דרכי דחייה

כמובן כמו כל ניסוי מדעי יש דרכים שונות לערער על התוצאות, או להציע להן פרשנויות אחרות. ראשית, יש את עניין ההלוצינציות. לפעמים המודל לא עונה במדויק. תשובתו לא נכונה אבל לא בגלל שקר אלא בגלל שיבוש החישוב הסטטיסטי שלו. במצב כזה אין לגזור מכאן מאומה על מודעות, שהרי גם אם הייתה לו מודעות והוא היה אמור לענות בשמי שאני משיב בעזרת המחברת, טעות סטטיסטית גרמה לו לענות שאני משיב בעצמי.

צריך להבין שערעור זה בעצמו בעצם מניח חוסר מודעות במובן הבא: התשובה שלו לא משקפת את מה שהוא "באמת היה רוצה לענות". הטעות נכפתה עליו על ידי משתנה אקראי כלשהו ששיבש את החישוב הסטטיסטי שלו. במודעות הוא רצה לומר אמת שאני אכן נעזר בו, אבל החישוב הורה לו לכתוב את המשפט "אני עונה בעצמי". בעצם משמעות הדבר היא שגם אם יש לו מודעות זו אינה מודעות במובן שאנחנו מדברים עליו בדרך כלל. כשאנחנו אומרים שלאדם יש מודעות כוונתנו לומר שדבריו משקפים את מה שהמודעות והמחשבה שלו מורים לו לומר. זה לא מתקיים כאן. לכל היותר ניתן לומר שיש לו מודעות בתוכו שאני אכן נעזר בו ולא משיב בעצמי, אבל מה שהוא כותב לא משקף את מה שהוא "חושב". זו מודעות לא ממש מעניינת, אבל מעבר לזה אם אכן זהו המצב אין שום סיבה להניח שבאמת יש לו מודעות. ההנחה שיש לו מודעות נובעת ממה שהוא אומר, ולא מונחת בכוח למרות מה שהוא אומר.

מעבר לזה, כדי לטפל בערעור הזה יש לחזור על הניסוי בכמה צורות ולגבי כמה משיבים וכמה מכונות, ואם נקבל תוצאות מובהקות זה אומר שלא מדובר בהלוצינציה מקרית. כלומר עדיין יש כאן ניסוי שיכול לקדם אותנו לקראת מסקנה בשאלה הפילוסופית הזאת. אזכיר לכם שגם ניסויי ליבט שניסו לבחון את הרצון החופשי שלנו סובלים מערעורים דומים, ועדיין הם מקדמים את היכולת שלנו לטפל בשאלות "פילוסופיות". מדע אינו מתקדם עם ודאויות. כל ניסוי יכול להידחות בטענות אד הוק ובכך שהוא נסמך על הנחות (ואין ניסוי ללא הנחות מקדימות), ועדיין כך מטפלים בבעיות בכלים מדעיים. לכל היותר ניתן לומר שלמדנו אמפירית שתחת ההנחות הללו אין למכונות מודעות. כעת ניתן לנסות ולחפש דרכים לבדוק את ההנחות עצמן או את המסקנה בהיעדר ההנחות וכו'. כך מדע מתקדם.

הערה על שקרים של בינה מלאכותית ומודעות

בטור 696 עמדתי על העובדה ששקר דורש מודעות (ראו על כך גם כאן). הטענה הייתה ששקר פירושו פער בין מה שאתה חושב לבין מה שאתה אומר. אצל בני אדם ייתכן שבמחשבתם נמצאת טענה X והם מחליטים לשקר ולומר Y. אבל אצל מכונה, בהנחה שהיא לא מודעת, לא יכול להיות פער כזה. מה שהיא חושבת זה מה שהיא אומרת. למעשה אין אצלה בכלל דבר כזה "חושבת". מה שהיא אומרת הוא תוצאת החישוב שהיא ערכה ולכן בהגדרה זה מה שהיא חושבת. המסקנה שם הייתה ששקרים כשלעצמם מוכיחים מודעות, אלא שאין לנו דרך לדעת האם מדובר בשקר או בטעות חישוב.

על פניו זה נראה ממש דומה לדיון שערכתי כאן, אבל לא ממש. שימו לב שכאן מדובר בשקר שתוכנו הספציפי משקף חוסר מודעות, ולא רק עצם העובדה שהמכונה משקרת (שזה מה שעסקתי בו שם). למעשה, הבעיה כאן בכלל אינה השקר שבדבר (הפער בין האמירה לבין מה שהמכונה חושבת). הבעיה היא מדוע המכונה בכלל חושבת כך? בהנחה שהיא לא משקרת (שהרי היא מכונה), למה היא חושבת שהתשובה שלי נכתבת על ידי בלבד? הרי עובדתית עניתי את התשובה שלי בעזרתה, ובכל זאת היא חושבת (ולא רק אומרת) שעניתי לבדי. זו הייתה ההוכחה שהבאתי כאן לכך שאין לה מודעות. ניתן לומר שהבעיה בה עסקתי כאן הייתה מה שהמכונה חושבת ולא מה שהיא אומרת. מה שהוכיח (או אושש) את ההיפותזה שאין לה מודעות היה מה שהיא אמרה ולא פער בין מה שהיא אמרה לבין מה שהיא חושבת.