מודעות עצמית אצל llm

הטענות המרכזיות של המחקר
1. הופעה ספונטנית של "מרחב עבודה": החוקרים טוענים שהמודל פיתח בעצמו, ללא הכוונה או תכנות מפורש, אזור של "מרחב עבודה גלובלי" (שאותו הם מכנים J-space). אזור זה מתפקד באופן דומה לאופן שבו המוח האנושי מפריד בין תהליכי רקע לא מודעים לבין מחשבות הנגישות למודעות.

"חשיבה שקטה" וקיום חיים פנימיים: המודל מסוגל לבצע חשיבה רב-שלבית, להבין הקשרים (כמו זיהוי מתקפת סייבר, באגים בקוד או הסקת מסקנות מתמטיות) ולתכנן את צעדיו בתוך ה-J-space, מבלי שהדבר יקבל שום ביטוי בפלט (הטקסט) שהוא מציג למשתמש.
תפקיד סיבתי (ולא רק "לוח תוצאות"): החוקרים טוענים שה-J-space אינו רק מקום שבו המודל "רושם" את מה שכבר הוחלט במקום אחר ברשת העצבית, אלא הוא המנוע הסיבתי שקובע את הפלט. החשיבה בתוך המרחב הזה היא שמכוונת את התשובה הסופית.
שליטה מוגבלת ("אפקט הדוב הלבן"): למודל יש יכולת לשלוט במחשבותיו (למשל, לחשוב על נושא מסוים ברקע תוך כדי ביצוע משימה אחרת), אך השליטה הזו אינה מושלמת. כאשר אוסרים עליו לחשוב על משהו, הוא מתקשה לעשות זאת ו"מתסוכל" מכישלונו, ממש כמו בני אדם.

המאמצים המחקריים והטכניים (איך הם הוכיחו זאת?)

כדי להוכיח את הטענות הללו, חוקרי Anthropic נקטו במספר מאמצים חדשניים:
1. פיתוח כלי "העדשה" (J-lens): החוקרים פיתחו שיטה מתמטית (המבוססת על מושג בשם "יעקוביאן") המאפשרת להם לקרוא את הפעילות העצבית הפנימית של המודל בכל שכבה ולתרגם אותה למילים קריאות. כך הם הצליחו "לראות" על אילו מילים ומושגים המודל חושב, גם כשהוא שותק.

ניסויי התערבות והשתלה (Swap Experiments): כדי להוכיח שה-J-space הוא הגורם הסיבתי לתשובות, החוקרים ביצעו "ניתוחי מוח" זהירים ברשת העצבית. למשל, כאשר המודל התבקש לענות על חידה שהתשובה עליה דורשת להבין שהחיה היא "עכביש" (כדי לענות "8 רגליים"), החוקרים התערבו באמצע התהליך, מחקו את התבנית של המילה "עכביש" ב-J-space, והשתלו את התבנית של המילה "נמלה". המודל מיד שינה את תשובתו הסופית ל-"6".
בחינת יכולות רפלקציה: החוקרים השקיעו מאמץ בבדיקת היכולת של המודל להבין את מצבו הפנימי. הם בדקו אם הוא יכול לדווח (כאשר הוא נשאל) על מה הוא התבקש לחשוב בשקט, או להבחין בכך שהושתלה לו מחשבה זרה לתוך המערכת.