אינטואיציה וAI… סתירה?

כן, אבל עד כמה שאני מבין – זה לא שהלימוד של האדם הוא איך לבצע הכללה, כלומר את האינדוקציה. האדם מלמד את הבינה מלאכותית על ידי הצגה של למשל תמונות של כלב וחתול ופונקציית הפסד כלשהי שגורמת לבינה המלאכותית להבין לבד איכשהו מהם הגורמים והמשתנים החשובים בתמונות שהוא למד כדי להצליח בהבנה בתמונה נוספת של כלב שהוא יקבל. כביכול יכולת האינדוקציה טבועה בבינה.

היא לא טבועה. אתה הטבעת אותה בה.

איזה בידיוק תכונה הטבעת בה? היא בסה"כ מנסה למצוא את הקשרים הפשוטים בין התמונות היא בינה מלאכותית מלמדת את עצמה את האלגוריתם.

אני חושב שהנקודה של בינה מלאכותית זה למה שהיא תסמוך על האינדוקציה אבל לפי זה היא סומכת בעקבות שאתה אימנת אותה, אבל היא גם מראה לך בעצמך שאתה יכול לסמוך על האינדוקציה כי עובדה שהכלי שפיתחת יודע לנבא דברים.
האם זה לא מייתר את ההצדקות שהרב תמיד מחפש לדברים הללו?

אתה מניח שהתרומה האנושית היחידה לפעולתה של מערכת בינה מלאכותית הוא האימון דרך הדוגמאות. אבל זה לא נכון. אתה בנית את המערכת של הבינה המלאכותית עצמה (את רשת הנוירונים והמבנה שלה). אתה הכתבת לה את אופן פעולתה (עדכון הקשרים, פונקציית המטרה ופונקציית האתחול, וב-LLM-ים יש גם טרנספורמרים ועוד הרבה עניינים). אז מה הפלא שהיא עושה מה שאמרת לה?! היא בסה"כ מחקה אותנו.

גם אם בינה מלאכותית אינה אינטילגנציה, והיא מחקה אותנו, יכולת ההכללה שלה מעלה שאלה על הצורך לומר שאינדוקציה אנושית היא מיוחדת או משלבת תהליך הכרתי. ואני אסביר את השאלה.
במאמרים שלך על אינטואיציה והתער של אוקאם, כתבת: "
כדי להבין זאת עלינו לשים לב לכך שהניסיון המצטבר עצמו אינו אלא הכללה על בסיס מקרים ספציפיים שבהם צפינו. צריך להבין שלימוד מהניסיון לעולם כרוך בהכללה. המקרה הבא שבו אתקל לעולם לא יהיה אותו מקרה שבו כבר צפיתי. אפילו אם היה מדובר באותו מצב עצמו, עדיין אני נזקק להנחה שהוא יתנהג באותה צורה כמו בעבר (כלומר גם ההנחה שיש חוק קבוע היא הנחה שלנו ולא תוצר שעולה מתצפיות). אבל כפי שראינו כל אוסף של מקרים יכול להתפרש, כלומר להיות מוכלל לחוק כללי, באינספור צורות שונות. כיצד, אם כן, ניתן בכלל ללמוד מהניסיון? כיצד ניתן לבחור את ההכללה הנכונה על בסיס העובדות שבהן צפינו?"

אני מצרף בסוף השאלה קישור פוסט של נדב שנרב שבו הוא דן ב3 בעיות רלוונטיות לנושא. בעית האינדוקציה, היכולת להכליל, בעית הסובסטנציה כלומר ההגדרה של מושג כמו כסא או בית או אדם פלוני. והמשפטים הסינטטיים אפריורי של קאנט.
והוא מעלה את השאלה כיצד AI מכליל.
ואני מצטט אותו:
"רשת AI היא בעצם פונקציה מהקלט לפלט. בואו נהיה יותר קונקרטיים: אם הרשת אמורה לזהות חתול או כלב, הקלט הוא תמונה (שניתן להציגה כרצף של, נאמר, 900 פיקסלים) והפלט הוא שני מספרים, שיגידו מה הסיכוי שזה חתול ומה הסיכוי שזה כלב. הפונקציה תלויה לא רק בקלט אלא גם במספר עצום של פרמטרים, שהם הקובעים את הפלט שייתן כל קלט.

כעת אנו מאמנים את הרשת. האימון פירושו להראות לרשת הרבה פעמים תמונה של כלב והרבה פעמים תמונה של חתול, ולכוון את הפרמטרים שלה כך שעבור כל התמונות האלו (נאמר, סט של 500 תמונות כלב ו 500 תמונות חתול) היא תתן את התשובה הנכונה. זו כמובן לא חכמה בכלל. זכותנו לכוון את הפרמטרים כרצוננו, ויש מספיק פרמטרים. ה"נס" של רשתות AI הוא יכולתן להכליל מחוץ לסט האימון. במלים אחרות, לאחר האימון הרשת תוכל לקחת את התמונה ה 1001, שהיא לא ראתה מעולם, ולסווג אותה נכונה לכלב או לחתול וכך גם לכל התמונות הבאות. איך קורה הנס הזה?

ננסח את הדברים בצורה מתמטית. יש פונקציה במח שלנו שלוקחת תמונה ומחליטה האם זה כלב או חתול. יש פונקציה, שהיא הרשת, ואנו מעוניינים שהיא תחקה, בדיוק סביר, את אותה הפונקציה שיש במוחנו. דאגנו לכך שעבור אלף מקרים, שתי הפונקציות יהיו זהות. האם הן תהיינה זהות באופן כללי?

התשובה הגנרית לשאלה הזו היא כמובן שלילית. הפונקציה y=cos(x) והפונקציה y=sin(x) זהות זו לזו באינסוף נקודות, אבל הן לא אותה הפונקציה, אפילו לא בערך. אם נתונים לי F(x1), F(x2) וכן הלאה, ערכי F ב N נקודות, קל לראות שניתן למצוא פולינום מסדר N ש'יתפור' את כל הנקודות, אבל באופן גנרי אין שום סיבה שהוא יהיה קרוב לפונקציה באופן כללי. זו שאלת ההכללה בה דנתי כאן בעבר. "

התשובה של נדב שנרב היא שהפונקציות שלפיהן העולם מתנהג הן "חלקות" מספיק כדי שיהיו להן תכונות "יפות", והפונקציות הביולוגיות במוח שלנו חייבות להתאים אליהן כדי שנוכל לשרוד.
ומשם הוא משליך אל הפילוסופיה:

"כעת אנו יכולים לחזור אל הפילוסופיה. מה מאפשר לנו לעשות אינדוקציה? כמו שאמר קרל פופר, אנו נולדים עם ציפיות מסוימות מהעולם, התינוק מחפש מהיכן לינוק. הציפיות האלו אינן 'נכונות' במובן זה שיש סדרת תצפיות שעל פיה ניתן להעמיד חוק טבע המבטיח שהן יתממשו; הן דחף טבוע, ביולוגי, המחייב אותנו לחפש סדירויות בעולם כדי להתקיים בו, בדיוק מה שעושה הבקטריה הכי נחותה. אנו הופכים למדענים כאשר אנו מוכנים להעמיד את הציפיות הללו למבחנים המאפשרים להפריך אותן ולהעלות רעיונות אלטרנטיביים. אינדוקציה היא טבע, מדע הוא תרבות.

ומה עם הסינתטיים אפריורי? ובכן, אותו דבר. סטודנטית אחת שאלה אותי בהרצאה, "האם למכונות ה AI יש איזה הנחות מוקדמות"? אמרתי לה שהן חייבות לעבור אימון כדי שתהיינה להן הנחות מוקדמות כאלו. ואז היא הוסיפה להקשות "לא, האם יש להן הנחות מוקדמות לפני האימון?". וואו. זה היה הרגע בו החלטתי לכתוב את הפוסט הזה. ברור שיש להן 'הנחות מוקדמות' לפני האימון! הרשתות "מאמינות" ביכולת ההכללה, בכך שהעולם מתואר על ידי פונקציות חלקות מספיק שאפשר לתפוס אותן על ידי טורי Pade או וריאציות שלהן. המשפט הסינתטי-אפריורית שלהן אינו אלא אפשרות הניסוי, זהו עמנואל קשישא all over again.

תורת ההכרה מתפצלת אפוא לשני חלקים: המשפטים הסינתטיים-אפריורית, יכולת האינדוקציה והיכולת לעשות קלסטרינג של סבסטנציות, אינם אלא סוגים של הכללות. אנו מכלילים באופן הזה מפני שאנו תוצרים של ההיסטוריה הביולוגית שלנו, שלאורכה מי שלא הכליל, או מי שעשה הכללות שגויות, לא שרד. היכולת להכליל נכונה הוטבעה בעולמנו על ידי המלאך שהתמנה לתכנן את הפיסיקה לפני בריאת העולם, הוא זה שהחליט לבנות על משוואות דיפרנציאליות שלפתרונות שלהן יש סינגולריות רק באזור הלא-פיסיקלי, מה שמקנה לפתרונות שלהן איזו ידידותיות למשתמש אשר מאפשרת להכליל על בסיס מספר קטן יחסית של תצפיות. "
עד כאן נדב שנרב.

אם כן, הוא שאל כיצד קורה הנס של ההכללה ברשתות נוירונים, והתשובה שהוא מגיע אליה מייתרת את המיוחדות של האינדוקציה האנושית. כמו שרשת נוירונים מסוגלת להכליל מכיוון שיש תכונות פיזקליות לפוקציות שניסינו ללמוד, גם אנחנו מצליחים להכליל מאותה סיבה. הדבר המפתיע היחיד הוא שאנחנו מניחים שיש הכללות נכונות, אבל כיצור ביולוגי אנחנו מחויבים להאמין בזה כדי לשרוד, ולמרבה "המזל" זה עובד.
מה דעתך על ההסבר הזה? לפיו אין צורך לטעון שאינדוקציה היא תהליך הכרתי שמשתמש ב"עיני השכל".

מצרף גם קישור לפוסט המלא של פרופ' נדב שנרב : https://www.facebook.com/share/p/1DMyTSeSkC/

ארוך מדיי. אחרי רפרוף, נראה שעניתי על הכל. לא התחדש כאן שום דבר חדש.

האם מה שנדב שנרב אומר פה, כלומר מציע הסבר אלטרנטיבי ליכולת שלנו ליצור הכללות וחוקים (כלומר שאתה אומר שהיכולת להכליל ולבצע אינדוקציה היא בכלל אינטואיציה שהיא החלק האלוהי באדם , ואילו נדב שנרב טוען שלא, זה סה"כ בגלל שהעולם בכללותו מיוצג על חוקים מתמטיים מאוד בסיסיים ופשוטים וזו הסיבה שאנו מצליחים לעלות על חוקי הטבע ולהתפתח מדעית.) זה לא ערעור על כל מה שכתבת שספר אמת ולא יציב?

הסברתי שההכללה שם בנויה על מבנים שהכנסנו לתוך המערכת. זהו.

כן אבל אני שואל עכשיו שאלה אחרת שמתקשרת לדבריו של נדב שנרב..
כמו שאמרתי – אתה כותב בספר אמת ולא יציב על כך שיכולת האינדוקציה היא החלק האלוהי של האדם ועצם זה שהאדם הצליח להגיע לתובנות על העולם ולפתח מדע שלם שעובד זה מראה שהאינטואיציה עובדת. נדב שנרב מעלה הסבר אחר שההצלחה של האנושות במדע ובמציאת החוקים היא משום שהחוקים מאוד פשוטים מתמטית, אבל תאורטית בעולם עם חוקים מסובכים האנושות לא הייתה מתקדמת מדעית. לכאורה זה הסבר אחר שמציע הסבר אחר לראיות שהבאת בספר שלך לכך שהאינטואיציה עובדת ושרק גורם אלוהי המעורב בזה יכול להסביר את העובדה שהאדם כן מצליח להתקדם מדעית למרות שכמו שאתה אומר "עבור 10 נקודות בגרף יש אינסוף חיבורים ועדיין האדם בחר לדוגמא קו ישר והסביר עפ"י זה את החוק בהצלחה.

לא נכון. החוקים ממש לא פשוטים (לך למד את תורות הקוונטים והיחסות). מעבר לכך, עדיין יש המון הכללות אפשריות.