אנחנו לא מבינים איך ה-LLM עובד?

לברוך – אנלוגיה טובה (אך לא מושלמת) היא לאבולוציה. במוטציות יש מידה מסוימת של אקראיות, ומה שקובע מה נשאר ומה לא זה קריטריון אחד, מה מתאים להישרדות בסביבה מסוימת. אבל למרות שאנחנו יודעים איך התהליך הזה עובד, אנחנו רחוקים מלהבין איך עובדים הדברים שנוצרו על-ידי התהליך הזה – אנחנו לא מבינים הרבה מנגנונים בגוף, במוח וכו'.

כמו כן, נוצרות "תופעות לוואי" שלא קשורות ישירות להישרדות – למשל אתה אוהב גלידה, אבל קשה לחזות מראש שדחפים שמקורם בהישרדות יתפתחו לפעילות שונה כל כך מהמקור (כידוע אין גלידה בטבע).

אותן תופעות בדיוק קורות באימון רשת נוירונים. אתה נותן לה קריטריון מסוים – האם היא מצליחה למלא משימה X, אבל אתה לא מבין מהם המנגנונים הנוצרים בתוכה שממלאים את המשימה הזו, ובנוסף נוצרות "תופעות לוואי" של המשימה שלא יכולת לחזות מראש.