השגות על שיעור 15 בינה מלאכותית

תודה רבה על התשובה.

אני רואה שהיו לי כמה אי־הבנות לגבי עמדת הרב. בשיעור הרב הציג שני אופנים להסביר את תהליך הזיהוי של רשת נוירונים: אחד "רציונליסטי", והשני כמעין הבחנה בלתי־אמצעית. מכאן הבנתי שהרב מציע ברצינות שההחלטה ברשת עצמה יכולה להיעשות באופן בלתי־אמצעי ולא באמצעות שלבי חישוב פנימיים. לכן בסעיפים 3–4 ניסיתי להסביר כיצד גם תהליך שנראה לנו בלתי־מובן יכול עקרונית להיות מורכב כולו משלבי חישוב. כעת אני מבין שלא לכך התכוון הרב.

לגבי ההבחנה בין DNA לחיבור מספרים, עדיין נדמה לי שיש הבדל חשוב: בעיה בדאטה לעומת בעיה בהכללה.

כפי שהרב ציין, בלמידת מכונה אנחנו מחפשים היפותזה שמכלילה מעבר לדוגמאות האימון. אם המודל למד חוק פשוט ככל האפשר שמסביר את הנתונים, נצפה שיצליח גם בדוגמאות חדשות(זה נושא שנקרא PAC-LEARNABILITY והוא דומה עקרונית לתער של אוקהם).

לכן כישלון בחיבור מספרים ארוכים הוא, לפחות עקרונית, כשל מהסוג השני והוא ככל הנראה נובע ממורכבות יתר ברשת. המודל ראה המון מופעים של חיבור בדאטה, אבל ייתכן שבמקום ללמוד ייצוג שמממש את אלגוריתם החיבור הכללי, הוא למד קורלציות או אסטרטגיה שעובדות היטב בתחום האימון ונשברות, למשל, באורכים גדולים יותר.

ב-DNA, לעומת זאת (בהנחה שלא היה קורפוס משמעותי של DNA באימון), הבעיה קודמת לכך: המידע שמגדיר את ההתפלגות הזאת פשוט לא ניתן למודל. השפה האנושית באינטרנט אינה מכילה בהכרח את המבנה הסטטיסטי של רצפי DNA. לכן גם אם נמצא את ההיפותזה הפשוטה ביותר שמסבירה באופן מושלם את קורפוס האימון, אין סיבה שהיא תכיל את חוקי ההתפלגות של DNA. בחיבור החוקיות הרלוונטית מופיעה פעמים רבות בדאטה והשאלה היא האם המודל הכליל ממנה נכון; ב-DNA, תחת ההנחה הנ"ל, החוקיות עצמה כלל לא ניתנה לו ללמידה.

לגבי הנקודה הסמנטית, נדמה לי שעדיין לא הבנתי עד הסוף את עמדת הרב. מהשיעור ומהתשובה קיבלתי את הרושם שהרב מבחין לא רק בין אדם למכונה, אלא גם בין תוכנה קלאסית־סימבולית לבין רשת נוירונים: שבתוכנה סימבולית יש במובן כלשהו אלגוריתם או סמנטיקה, ואילו הרשת פועלת באמצעות קורלציות סטטיסטיות אד־הוק.

אם זו אכן הטענה, כאן נמצאת ההשגה שלי. איני רואה הבדל עקרוני כזה מבחינה חישובית. נניח שיש לי תוכנה סימבולית שמחברת מספרים. אפשר לממש אותה כמעגל של שערים לוגיים, ועקרונית אפשר לבנות גם רשת נוירונים שמממשת בדיוק אותה פונקציה (נוירונים עם פונקציות אקטיבציה מתאימות יכולים לממש שערים לוגיים). במקרה כזה קשה לי לומר שהתוכנה הראשונה "אלגוריתמית" או "סמנטית", ואילו השנייה היא רק אוסף קורלציות — הרי שתיהן מבצעות אותו חישוב.

אולי כוונת הרב היא להבדל אחר: בתוכנה סימבולית האדם קובע מראש מה מייצגים הסמלים ומהן הפעולות, ואילו ברשת נוירונים הייצוגים הפנימיים נוצרים בתהליך האימון ואיננו מעניקים להם מראש משמעות. זה בהחלט הבדל, אבל אז נדמה לי שהוא נוגע למקור הייצוג וליכולת שלנו לפרש אותו, ולא לשאלה האם החישוב עצמו יכול לייצג מבנים סמנטיים או אלגוריתמיים.

לכן אשמח להבין מה בדיוק הרב מייחס לתוכנה סימבולית שאין עקרונית לרשת נוירונים: האם הטענה היא שיש לתוכנה הסימבולית עצמה סמנטיקה, או רק שהסמנטיקה שלה שקופה לנו מפני שהמתכנת הוא שקבע אותה?

ובכל זאת, גם אם מניחים שאין לרשת "הבנה" במובן המנטלי, נראה לי שלא נכון לזהות קורלציות עם אד־הוקיות. אם רשת לזיהוי פנים מפתחת ייצוג שמגיב לקמטים, אף או מבנה פנים, אלו אמנם קשרים סטטיסטיים, אבל הם תופסים מבנים אמיתיים ורלוונטיים למשימה.

במקרה הקיצוני רשת יכולה ללמוד ממש אלגוריתם שמכליל מעבר לדוגמאות האימון. תופעת grokking קשורה בדיוק לנקודה הזאת: במקרים מסוימים רשת שכבר התאימה היטב את דאטה האימון עוברת מאוחר יותר להכללה טובה בהרבה, ולעיתים הדבר מלווה בלמידת מבנה אלגוריתמי פשוט וכללי יותר של הבעיה. במקרה כזה הקשרים הפנימיים אינם סתם קורלציות אד־הוק, אלא יכולים לממש את החוקיות שמייצרת את הנתונים. האם לכך יש גם "משמעות" במובן המנטלי — זו כבר שאלה נפרדת.

עוד נקודה לגבי ההבחנה בין "רשת ייעודית" לבין מודל שפה כ"מכונה אוניברסלית" לפתרון בעיות שונות ומגוונות: נדמה לי שגם כאן ההבדל הוא בסופו של דבר רציף ולא קטגוריאלי. גם למודל שפה יש משימת אימון בודדת ומוגדרת מאוד: בהינתן רצף טוקנים, לחזות את הטוקן הבא. אלא שההתפלגות שעליה הוא מאומן עצומה ומורכבת, והשפה עצמה מקודדת מגוון אדיר של ידע ופעילות אנושית.

אני גם לא בטוח שמספר ה"משימות" יכול ליצור כאן הבחנה עקרונית, בגלל בעיה מיראולוגית: החלוקה של פעילות לתת־משימות תלויה באופן שבו אנחנו בוחרים לפרק את השלם לחלקיו. אפשר לומר שמודל זיהוי תמונות מבצע אלף משימות — "זהה כיסא", "זהה שולחן", "זהה כלב" וכו' — ואפשר לאחד את כולן ולומר שהוא מבצע משימה אחת: "זיהוי עצמים". באותה מידה אפשר לומר ש-LLM מבצע משימה אחת בלבד, "חזה את הטוקן הבא", או לפרק את אותה משימה לאינספור תתי־משימות לפי סוג הטקסט והבעיה. לכן מספר המשימות אינו נראה לי תכונה אובייקטיבית טובה של המודל.

נדמה לי שההבדל הטכני המעניין יותר הוא במורכבות ההתפלגות שהמודל נדרש לייצג ובקיבולת הדרושה לשם כך. עבור התפלגות פשוטה יחסית תספיק בדרך כלל רשת קטנה, ואילו ייצוג של התפלגות מורכבת מאוד ידרוש קיבולת גדולה יותר. במובן הזה ההבדל אינו בהכרח בין "משימה אחת" ל"הרבה משימות", אלא בין בעיית למידה פשוטה יותר לבעיה מורכבת יותר.

וזה גם מתחבר למה שהרב כתב לגבי AGI: אם ההבדל בינו לבין LLM הוא כמותי, נדמה לי שאותו דבר נכון במידה רבה כבר לגבי המעבר מרשת ייעודית ל-LLM. ככל שההתפלגות שאותה אנחנו דורשים מהמודל לייצג נעשית מורכבת יותר, נדרשת בדרך כלל קיבולת גדולה יותר. השפה היא תווך מוצלח במיוחד משום שההתפלגות שלה משקפת חלק עצום מהידע והפעילות האנושיים, ולכן מודל שמצליח למדל אותה היטב נראה לנו "כללי". אבל איני רואה כאן גבול עקרוני בין סוגי המכונות אלא רצף של מורכבות וקיבולת.

קשה לי עם האורך והשילוב של כמה נקודות שונות באותו דיון (שאפילו לא ממוספרות).

לגבי ההבחנה שלך בין כישלון בחיבור (כשל בהכללה/מורכבות) לבין כישלון ברצפי DNA (היעדר דאטה בתפוצה). הטיעון שלי לגבי חיבור מספרים אינו רק עניין של סיבוכיות, אלא ראיה לכך שמודלי שפה אינם פועלים על בסיס אלגוריתם חיבור אמיתי.
מודל שפה אינו מבצע חיבור על ידי הפעלת כלל אלגוריתמי, אלא מנבא סטטיסטית את הטוקן הבא מתוך קורפוס האימון האנושי. כשהמספרים גדלים והתרגיל הספציפי אינו מופיע בנתונים, המודל נשבר – מפני שאין לו שום תפיסה או הבנה של משמעות פעולת החיבור.

לגבי יכולת ההכללה והתער של אוקהאם (PAC-learnability): לפי טיעון "העקיבה אחר כלל" של ויטגנשטיין ועקרון ה-No Free Lunch, מתוך כל אוסף סופי של נתונים ישנן אינספור דרכי הכללה שקולות מבחינה מתמטית. שום נתון עירום אינו מכתיב הכללה "נכונה" אחת. הסיבה שרשת נוירונים מכלילה באופן שנראה לנו "טבעי" או "נכון" אינה נובעת מתכונה פנימית אובייקטיבית של הרשת, אלא מכך שאנחנו מכניסים את הסמנטיקה והאינטואיציות האנושיות בדלת האחורית: דרך הגדרת הארכיטקטורה, פונקציות המחיר/השגיאה, קריטריוני הפשטות (כמו ריבועים מינימליים), וכמובן דרך תיוג הדוגמאות והחומר האנושי שבו אומנה.

לשאלתך מה אני מייחס לתוכנה סימבולית שאין לרשת נוירונים, תשובתי היא: לתוכנה סימבולית כשלעצמה אין שום סמנטיקה פנימית!
גם תוכנה קלאסית וגם רשת נוירונים פועלות במישור הסינטקטי בלבד (הזרמת זרמים חשמליים, מניפולציות של סמלים, כפל מטריצות). לשתיהן אין שמץ של הבנה, מודעות או רובד מנטלי פנימי, כפי שמוכיח ניסוי החדר הסיני של סרל. אם כן, מהו ההבדל בין השתיים?
* בתוכנה קלאסית (סימבולית): המתכנת האנושי הוא שפתר את הבעיה וגזר את האלגוריתם. הוא ניסח במפורש את הכללים והכניס אותם לקוד. המחשב אינו מבין את הכללים הללו; הוא רק מוציא אותם לפועל באופן מכני, בעוד הסמנטיקה קיימת אך ורק בתודעתו של המתכנת.
* ברשת נוירונים (ורשתות שפה): המתכנת אינו מנסח את הכלל האלגוריתמי במפורש, אלא בונה מערכת ומאמן אותה דרך דוגמאות ומשובים להגיע להתאמה מתמטית (פונקציה) בין קלט לפלט.
בשני המקרים, המשמעות והסמנטיקה אינן מוכלות בתוך המכונה אלא מוזרקות אליה מבחוץ על ידי האדם – בתוכנה קלאסית במישרין דרך הקוד, ובבינה מלאכותית בעקיפין דרך נתוני האימון, הפידבקים, פונקציית המטרה ואמצעי עזר כמו אמבדינג וטרנספורמרים. המכונה נשארת גולם עיוור שמבצע חישוב סינטקטי, והאינטרפרטציה וההבנה נעשות כולן אצל המשתמש האנושי.

אתה מעיר שייצוג פנימי או תופעות כמו grokking מראים שהרשת לומדת מבנה אלגוריתמי ולא סתם קורלציות אד-הוק. גם כאשר רשת נוירונים עוברת (כמו ב-grokking) משינון להכללה מתמטית שקופה ופשוטה, היא בסך הכל התכנסה למישור משקלים שמממש פונקציה מתמטית מסוימת.
מציאת פונקציה מתמטית שממפה קלט לפלט אינה "הבנה מנטלית". רשת לזיהוי פנים אינה "יודעת" מהו סוס, מהן פנים או מהם קמטים; אין ברשת שום המשגה מושגית. מדובר בתהליך מתמטי עיוור המקשר בין סדרות מספרים. גם אם הפונקציה שהתקבלה היא אלגוריתם מתמטי נקי (כמו חיבור מודולרי), המכונה אינה "מבינה" את האלגוריתם הזה. היא רק מריצה מעגל חישובי שמוציא פלט מספרי. אתה יכול לשער שבתוך המכונה (הקופסה השחורה) יש מעגלים שניתן לזהות אותם עם השלבים השונים שהיו מרכיבים אלגוריתם אנושי בתוכנה קלסית. זו השערה חסרת בסיס. אמנם מצאו פה ושם מעגלים שניתן לזהות אותם עם שלבי חשיבה שלנו, אבל זה רק חלק קטן מהשלבים ובנוסף הזיהוי הזה נעשה רק אצלנו.