בינה מלאכותית – שיעור 15 – הרב מיכאל אברהם

[הרב מיכאל אברהם] טוב, קודם כל אני מתנצל שהזזתי את זה להיום, פשוט מחר יש לי משהו שאני לא יכול להימנע ממנו. אני אזכיר טיפה איפה עמדנו בפעם הקודמת. אני גם שוב מרגיש שאני לא לא בהיר פה עד הסוף כי יש פה באמת כל מיני עניינים טכניים שאני לא יכול ממש להיכנס לפרטים שלהם, אבל אני מנסה להעביר את הרעיון העקרוני, זאת אומרת, בפחות או יותר מה מה המערכת כזאת עושה בגדול, גם אם לא עוקבים אחרי הפרטים, גם לא נתתי את כל הפרטים, אז אני מקווה שזה מספיק טוב מבחינתי. אז אני רק אחזור על המהלך הכללי. התחלנו עם מעגל חשמלי פשוט שאפשר לייצג באמצעותו פעולה לוגית. שני מתגים בטור זה וגם, שני מתגים במקביל זה או, וכולי. מתוך זה בנינו אוסף מעגלים חשמליים שיודעים לחבר מספרים. פה כבר יצרנו מחשבון שעושה פעולה אריתמטית, הוא מחבר מספרים. מתח חמישה וולט זה אחד, אפס וולט זה אפס, ומבחינתנו עכשיו זה משחק בין דולק ומכובה. זה האחד ואפס, וככה דולק ומכובה בעצם ייצגו מספרים. ולהדליק ולכבות זה בעצם להפוך את אפס לאחד ואת אחד לאפס ו וכן הלאה. אתם רואים כבר שהאינטרפרטציות המתמטיות, זאת אומרת הם רק מדליקים ומכבים מנורות שם בפנים או מעגלים, הם מזרימים זרמים. האינטרפרטציות המתמטיות זה המשמעות שאנחנו נותנים למצב של אור דולק או אור מכובה, אחד, אפס, וכולי. זה נמצא רק אצלנו בראש. במחשב עצמו אין לא חיבור, לא מספרים, ולא שום דבר. פשוט אלקטרונים שזורמים, זה כל מה שיש שם. אחרי זה אמרתי שעוברים למחשב ספרתי שבו באמצעות מכשיר אחד אפשר לפתור הרבה בעיות. עדיין כל בעיה דורשת תוכנה. זאת אומרת יש כותבים תוכנית והתוכנית הזאת פותרת בעיה מסוימת. כותבים תוכנית אחרת, מריצים אותה על אותו מכשיר עצמו, על אותו מחשב, אבל תוכנית אחרת נותנת לו הוראות אחרות והיא משתמשת באותה חומרה, כן? באותו באותו גולם, כדי לפתור בעיה שונה. פשוט התוכנה מפרידה בין הבעיות השונות שאותן אנחנו פותרים. עבור כל בעיה כותבים תוכנה. השלב הבא זה היה לעבור לרשת נוירונים. רשת נוירונים, זה מה שעסקנו בפעם הקודמת, זה בעצם איזשהו סוג של הוקוס פוקוס כזה שאנחנו בעצם מציבים סדרה של תאי עצב, תאי נוירונים, כן? מצבים שיכולים להיות באפס או באחד, קשרים בין כל תא לתא, כך שזה יוצר איזושהי רשת של קודקודים וקשרים ביניהם. לקשרים האלה יש משקלים, מספרים, כל קשר כזה צמוד לו איזשהו סוג של מספר. כל נוירון, כן? כל תא כזה, מחליט האם הוא דולק או מכובה באופן הבא: הוא לוקח את כל הסיגנלים שמגיעים אליו מהתאים האחרים, ומעבירים אליו את הזרמים החשמליים שלהם, הוא מסכם את כל הסיגנלים שמגיעים מכל התאים שנכנסים אליו, ויש איזושהי פונקציה שמחליטה אחרי הסיכום הזה האם אני עצמי נדלק, כן, התא שאליו מגיע כל המידע הזה, נדלק או לא נדלק. ואני כמובן זה כל אחד מהתאים במערכת. זאת אומרת, אני אחרי שאני מחליט להידלק, אני שולח את המידע שאני דולק הלאה לתאים הבאים שאליהם אני מכניס חוטי חשמל משלי, כן? מעביר אליהם זרמים ממני, וכך כל התאים מקבלים מתאים אחרים ומעבירים לתאים אחרים, והרשת הזאת קשורה זו בזו. המשקלים שבין התאים בעצם קובעים את התפקוד של הרשת. והמטרה שלנו כשאנחנו מאמנים רשת נוירונים, המטרה היא בעצם למצוא את סט המשקלים, איזה מספר להצמיד לכל קשר כזה, כך שאם ייכנס קלט מסוים ייצא הפלט שאני רוצה. למשל, אם אני רוצה שהרשת הזאת תחבר מספרים, אז אני אומר נגיד שנכנס נכנסים כקלט שני מספרים, אני רוצה שבפלט ייצא המספר שהוא הסכום שלהם. אבל אני לא עושה את זה כמו שעושים את זה בתוכנה על מחשב, שאני נותן לו הוראה תחבר את המספרים, כמו שעשינו שמה עם המעגלים החשמליים, כן? לא, זה לא עובד ככה בכלל. זה עובד בצורה עקיפה לחלוטין. אני פשוט מוצא איזושהי סדרה של משקולות כאלה, מספרים כאלה שנצמדים לקשרים בין התאים, וכל תהליך החישוב המופרע והמסובך הזה, אני קובע את המשקלים כך שאחרי כל התהליך הזה, תמיד שייכנסו שני מספרים ייצא הסכום. אוקיי? איך אני עושה את זה? אני לוקח סט של דוגמאות אימון. נגיד אני לוקח, לא יודע מה, 10,000 תרגילי חיבור. נגיד שאני רוצה ללמד אותו לחבר מספרים, אז אני לוקח 10,000 תרגילי חיבור. בכל תרגיל כזה יש שני מספרים ואת התוצאה, בסדר? אני בונה טבלה: מספר א', מספר ב', תוצאה. בסדר? שלושה טורים. עכשיו אני נותן למערכת, אני מכניס לה את שני המספרים, והיא מוציאה איזושהי תוצאה. לא יודע איזה תוצאה. מתוך החישוב במשקולות שקיימים כרגע, סתם משקולות שאיתם התחלנו, היא מוציאה איזושהי תוצאה. התוצאה הזאת כמובן תהיה לא נכונה, אין שום סיבה שהיא תוציא דווקא את התוצאה הנכונה. מה שאני עושה, אני משתמש בתוצאה שאותה היא הוציאה, ומעדכן את המספרים, את המשקלים, כן, את המספרים שצמודים לקשרים, באופן כזה שהתוצאה תתקרב לתוצאה הנכונה. עכשיו אני עושה עוד תהליך של אימון, מכניס עוד דוגמה, ועוד פעם יוצא לי מספר, הוא לא יצא המספר הנכון, אני מעדכן עוד פעם את אוסף כל המשקלים ברשת, כך שהתוצאה תהיה יותר קרובה לתוצאה הנכונה, וכן הלאה. אחרי מספיק דוגמאות של אימון, המשקולות מסתדרים באופן כזה, שעכשיו כל המספרים שאני אכניס, גם המספרים שהוא לא פגש עד עכשיו, מספרים חדשים שאני אכניס אליו, הוא יוציא את תוצאת החיבור. אז בעצם יצרתי פה מכונה שיודעת לחבר מספרים, בלי לתת לה הוראה מפורשת: חברי את המספרים. תוכנה שכתובה עבור מחשב ספרתי, זו תוכנה שנותנת לו הוראה: חבר את המספרים. זאת אומרת, זה לא, והיא אומרת לו גם מה לעשות כדי לחבר אותם. פה במקרה שלנו אתה לא אומר למערכת מה לעשות. זאת הנקודה הכי חשובה שצריך להבין פה. שימו לב: במקרה של רשת נוירונים, אתה לא אומר לה מה לעשות בכלל! אין לה מושג מה היא עושה, היא לא מקבלת הוראות מה היא עושה, לא כלום. אתה נותן לה חידה ופתרון, זה הכל. אם היא נותנת פתרון לא נכון, אתה מעדכן את המשקולות כדי לגרום לפתרון כן להיות נכון, או להתקרב לפתרון הנכון, וכן הלאה, ואני מעדכן עוד ועוד ועוד את המשקלים, עד שאני מגיע למצב שבו היא נותנת לי את התוצאות הנכונות או קרוב מאוד לתוצאות הנכונות, ואז אני מניח שהמכונה כבר מאומנת. לאמן את המכונה פירושה פירושו להגיע למשקלים הנכונים, או האפקטיביים, אלה שיעשו עבורי את העבודה שאני רוצה שתעשה כאן. זה נקרא לאמן את רשת הנוירונים, אוקיי? אז רשת נוירונים, לא כותבים לה תוכנה, אלא מאמנים אותה. מאמנים אותה דרך דוגמאות. מאוד דומה, נגיד לכשאתם חושבים על על על למידה אנושית. אז אני יכול, נגיד שאני רוצה ללמד את התלמידים איך לחבר מספרים, יש לי שתי אפשרויות. אני יכול להגיד להם: תשמעו, ככה, זאת המשמעות של פעולת החיבור, אני מסביר להם איך בדיוק עושים: קחו את הספרה הזאת, את הספרה הזאת, תסכמו אותם, תכתבו ככה, את השארית תעבירו הלאה, כמו שעשינו בהתחלה במחשב הספרתי. זאת למידה של טופ-דאון. טופ-דאון הכוונה, אתה נותן את הכלל הגבוה, הגדול, המקיף, וממנו כבר התלמיד יודע לעשות את כל הדוגמאות הספציפיות, כי זו רק דוגמאות ספציפיות של הכלל, אוקיי? לעומת זאת, אפשר ללמד אותו אחרת. אני לא מלמד אותו בכלל את הכלל. אני אומר לו: תראה, 2 ועוד 3 זה 5, 4 ועוד 7 זה 11, 2 ועוד 6 זה 8. אני נותן לו כל מיני דוגמאות, עד שהוא קולט את הרעיון, ואני לא מסביר לו בשום שלב מה זה חיבור ואיך עושים חיבור. אבל אני בונה על זה שאם הוא יראה מספיק דוגמאות, הוא איכשהו יפנים את זה, וכשאני אתן לו תרגיל עם שתי דוגמאות חדשות, הוא ידע לתת לי את התוצאה הנכונה. אצל תלמיד זה בדרך כלל לא יקרה. אבל במכונה, של רשת נוירונים, זה בדיוק מה שנעשה. אתה נותן לו אוסף של דוגמאות בלי להסביר לו בכלל מה אתה רוצה שהוא יעשה, בלי לתת לו הוראות לעשות כך או לעשות אחרת, אתה פשוט נותן לו דוגמאות ותשובה נכונה, דוגמאות ותשובה נכונה. זה מה שנקרא סופרוויזד לרנינג, יש כמה לרנינג, אבל זה, זאת הגישה הנפוצה יותר, זאת אומרת למידה מבוקרת. זאת אומרת אתה בעצם אומר: הלמידה היא קח שני מספרים, תוציא לי תוצאה. תוצאה לא נכונה? אני משנה לך את המשקולות כדי להתאים את התוצאה לתוצאה הנכונה. נותן לך עוד דוגמת אימון, הבאת תוצאה לא נכונה? עוד פעם משנה לך את המשקולות, זה נקרא לאמן אותו. לאמן אותו פירושו להביא את המשקולות שלו להיות לערכים הנכונים, אחרי שהם בערכים הנכונים, למרבה הפלא, כל שני מספרים שהוא יקבל הרגילות לא עבדו שם. היה צריך לעשות משהו אחר, אוקיי? עכשיו אני ראיתי שאני עושה שמה המון מתמטיקה ופה ושם וזה, ומצד שני מסביבי ראיתי את האנשים עובדים, בעיקר טכנאים אבל גם מהנדסים, וראיתי, אם משהו לא עובד להם אז הם דורכים עליו. זאת אומרת, אם אם הקבל לא עובד, אוקיי, עושים לו פופ ומכניסים במקומו טרנזיסטור. לא יודע, בסוף זה יעבוד איכשהו. עכשיו, זה הרג אותי הדבר הזה, כי אני רציתי לראות איך עובדים בצורה שיטתית עם המתמטיקה עם הזה, מה איך מתכננים, מבצעים לפי התוכנית והכל בסדר. אנחנו מדברים על אלקטרוניקה אנלוגית, למי שמכיר, כן, שמה זה בעיקר עובד ככה. בדיגיטלי אפשר באמת לתכנן, באנלוגי זה בכל אופן, אז ה אז ראיתי שכל הטכנאים, המהנדסים שם, פשוט בשטח זה ככה עובד. כן? לוקחים איזה רכיב יפני, הרי היפנים הכי טובים, למרות שאסור להם לעשות כמובן דברים ברמה צבאית, אבל הדברים שלהם ברמה אולטרה צבאית בלי לקרוא לזה ככה. לוקחים איזה רכיב יפני ומעתיקים אותו או משהו כזה, ואם זה לא הולך, בועטים בו. וזה זאת השיטה. עכשיו זה הרג אותי הדבר הזה. זה אחת הסיבות שבגללן הלכתי לפיזיקה. זאת אומרת, אני לא היה לי כוח לאינסטלציה הזאת. בכל אופן, אז אבל אבל מה ש מה שהיה מעניין שם זה שבסופו של דבר, אני, ברור לי שה שהתוכנית שלי לא הייתה עובדת. אין לי ספק, כי היא הייתה מאוד סדורה, מאוד מתמטית, ולכן היא לא הייתה עובדת. זאת אומרת, החבר'ה האלה, הטכנאים וההנדסאים, החבר'ה שמתמצאים בשטח, יודעים איך להביא את הדברים לעבוד. עכשיו תשאל אותם: מה בדיוק ההסבר? למה שמת שמה טרנזיסטור במקום קבל? לא יודע, היה נראה לי שזה יהיה בסדר. לא תוציא ממנו שום הסבר, בטח לא הנמקה עם איזושהי משוואה או משהו, כלום, פשוט ככה נראה לי, החוש הריח שלי אמר לי שזה ככה. ומתברר שזה באמת דברים שעובדים, וכשאתה עושה את זה שיטתית עם המתמטיקה, זה דווקא לא עובד. כן? עקרון אי-הוודאות הטכנולוגי, כן, שפיתחתי באותה תקופה לרוב תסכולי, אמר שכמות המתמטיקה שיש ברכיב מסוים כפול הסיכוי שהוא יעבוד זה קבוע. זאת אומרת, אם יש המון מתמטיקה, הסיכוי שהוא יעבוד זה אפס. זאת אומרת, אם אין מתמטיקה, הסיכוי שהוא יעבוד מתקרב לאחד. זאת אומרת, זה ה זה זה העיקרון, ו ואני חושב שמה ש אנחנו מדברים עליו כאן משקף את העסק הזה בצורה מאוד יפה, כי כשאתה עושה תוכנית תכנות של מחשב ספרתי, זה בדיוק עבודה דיגיטלית. שמה אתה יכול לתכנן, אתה נותן לו הוראות מדויקות איך אתה פותר את הבעיה והוא עוקב אחרי ההוראות, אם בנית את זה כמו שצריך והבעיה נפתרת. טופ דאון כזה, זאת אומרת, נותן את הכלל והוא מבצע את ה את ההוראות שנתת לו. זה ללמד את התלמיד טופ דאון. תן לו את הכלל והוא יעשה תרגילים שהם רק מקרים פרטיים של הכלל. לעומת זאת, ברשת נוירונים זה הולך בוטום אפ. ברשת נוירונים זה הולך כמו ההנדסאים והטכנאים שמה שבתדיראן. זאת אומרת, אם זה לא עובד אז בועטים בו קצת, זאת אומרת, משנים את המשקולות. אתה לא אומר לו אף פעם: תשמע, אתה צריך לחבר את המספרים, זה צריך לצאת 17, לא 16, מה אתה מביא לי 16? לא לא, הוא לא יודע מה אתה מדבר איתו. זאת אומרת, יצא 16 ולא 17? תעדכן לו את המשקולות, תביא את זה להיות 17, בידיים, אוקיי? תדאג לזה שיהיה 17. למה? כי כי כי 8 9 זה 17, זה הכל. אבל אתה לא אומר למחשב בשום שלב מה הוא הכלל, זאת אומרת, איזה הוראה הוא צריך לבצע. הוא לא יודע מה הוא עושה, הוא לא יודע, גם מחשב ספרתי לא יודע. מחשב ספרתי מקבל הוראה בתוכנה מה לעשות. הוא לא יודע כלום, אבל הוא מקבל הוראה מה לעשות. רשת הנוירונים לא מקבלת הוראה מה לעשות, פשוט מארגנים אותה כך שיצא בסוף מה שצריך לצאת, זה הכל, בלי להגיד לה: תשמעי, את עכשיו עושה כך וכך, אוקיי? אנחנו פשוט מארגנים לה את המשקולות כדי שיצא מה שאני רוצה שיצא, אוקיי? במובנים מסוימים חזרנו למחשב אנלוגי ברשת הנוירונים. אנחנו חוזרים בעצם לאיזושהי מערכת שמדמה את התוצאה שאמורה לצאת, ולכן התוצאה יוצאת, אבל היא לא עושה את החישוב עצמו, כן? כמו האינטליגנציה של מים או של ציפורים שמנווטות, זוכרים בשיעורי ההקדמה? אז רשת נוירונים זה מאוד דבר כזה, אוקיי?

[Speaker C] הרב, אבל יש הבדל בין מודלים, זאת אומרת, אתה, המודל זה היכולת שלו להתאמן לכל מיני סיטואציות.

[הרב מיכאל אברהם] רגע רגע רגע, עוד לא הגעתי בכלל למודלים. אתה הגעת לאל-אל-אמים, אני עוד לא שם. אני בינתיים ברשת נוירונים. ברשת נוירונים יש לך עשרה סייטס עם כמה בונדס ביניהם וזה יודע לעשות משימה מסוימת. בנית את המשקולות כך שהוא יעשה משימה מסוימת. אז זה, אבל מאוד חשוב לי כי זה שורש העניין, כל השאר זה רק סיבוכים מעבר. את זה מאוד חשוב לי שתבינו. זאת אומרת, מה שעושה רשת נוירונים, היא לא מקבלת בשום שלב הוראה מה לעשות, זה בכלל לא. היא היא כאילו מחליטה לבד מה לעשות, או תקראו לזה, אבל בעצם זה לא מחליטה לבד, היא בכלל לא מחליטה, אף אחד לא מחליט. אתה פשוט שם בתוכה משקולות כדי שיצא מה שצריך לצאת, בלי להגדיר בשום שלב שמה שאתה עושה פה זה חיבור, או כפל, או או זיהוי פנים, או או מה שלא יהיה, כלום. אתה פשוט נותן המון דוגמאות, וההנחה היא שאם אתה עובד מתמטית נכון, אז המשקולות של הרשת יתארגנו כך שהם יבצעו את הפעולה שאתה רוצה שהם יבצעו. זאת אומרת, תמיד כשהם יראו את הפרצוף של סבתא שלי התוצאה תצא אחד, ואם הם יראו פרצוף אחר התוצאה תצא אפס, זהו. תארגן את המשקולות כך שכל הפרצופים בכל ההקשרים של סבתא שלי, בכל גיל, בכל מצב תאורה ומזג אוויר ו ו ו ו ולא יודע מה, ועונת שנה, אה אה, בסופו של דבר התוצאה תהיה אחד כשרואים את סבתא שלי. לעומת זאת תמונות אחרות, לא משנה באיזה נסיבות, תמיד זה יצא אפס, זה מה שאני רוצה. אז מה אני עושה? אני לוקח הרבה תמונות של סבתא שלי כשהיא הייתה ילדה, כשהיא הייתה מבוגרת, כשהיא הייתה צעירה, כן? ואני מזין אותם לתוך התוכנה, עכשיו אני בודק. אם היא מוציאה אפס, אני אומר לה: לא, לא טוב, היית צריכה להוציא אחד. אז בואי נארגן לך את המשקולות כדי שהתוצאה תהיה אחד. אוקיי, עכשיו אני מכניס עוד תמונה של סבתא שלי. מוציאה עוד פעם אפס? עוד פעם אני מארגן את המשקולות כדי שיצא אחד. עכשיו אני מכניס תמונה שלא של סבתא שלי, אם יוצא אפס מצוין, לא נוגע. אם יוצא אחד, הופ, לא טוב, זה היה צריך לצאת אפס, כי זה תמונה לא של סבתא שלי, אז אני צריך לארגן את המשקולות כדי שפה יצא אפס. ומהרבה דוגמאות חיוביות ושליליות, אני מאמן את הרשת, כלומר מוצא את מטריצת המשקלים האלה, את כל המספרים האלה שנצמדים לקשרים, כך שתמיד יצא אחד כשצריך לצאת אחד, ואפס כשצריך לצאת אפס. אוקיי? זהו, ככה אני פשוט בונה את זה בידיים, את התוצאה. אני לא, בשום שלב אני לא עושה תהליך קוגניטיבי, אני לא עושה תהליך של זיהוי פנים או חיבור מספרים או איזה שהוא תהליך שיש לו משמעות קוגניטיבית ברורה. אני פשוט עושה מניפולציה של התאמה: יש קלט כזה, אני רוצה פלט כזה, אה ואני אבנה את המשקולות כך שזה מה שיצא, אוקיי? זה זה הכל. זה רשת נוירונים. עכשיו, זה זה בעצם ההבדל הכי חשוב בכל הסדרה, את זה אתם צריכים להבין טוב טוב, מה שאמרתי עכשיו. אוקיי? עכשיו, ההמשך עובד ככה: נגיד שאני רוצה שרשת, או אולי לפני לפני ההמשך, רשת נוירונים מבצעת פעולות, הערתי את זה גם פעם קודמת, מבצעת פעולות שמחשב ספרתי לא יכול לבצע. למשל, אם אני רוצה שהוא יזהה את סבתא שלי, אוקיי? מה אני, איך אני יכול לכתוב תוכנה, תוכנה קלאסית, שאומרת לו לזהות את סבתא שלי? אני אמור להגיד לו: תשמע, המאפיינים של הפנים של הסבתא הם א', ב', ג', ד'. אני צריך לזהות או להמשיג את אוסף המאפיינים שמה, שמייחדים דווקא אותה מכל הפרצופים שבעולם. איך עושים דבר כזה? אי אפשר לעשות דבר כזה, זה לא מה מה מה תעשה שם? אין לך איך, מה תתאר? שיש לה אף כזה, ש לכולם, יש הרבה אנשים עם אף כזה. איך בדיוק אתה קובע את סט המאפיינים שמאפיין רק אותה, ושימו לב, בכל מצב של גיל ותאורה ומזג אוויר? אבל כל עוד זה היא, אתה צריך להוציא לי אחד, אם זה לא היא תוציא אפס. זאת אומרת, צריך לזהות אין ספור תמונות אפשריות, ולהבין מתוכם מי זה סבתא שלי ומי לא. אתם מכירים את גוגל שמראה לכם את הילד איך הוא יראה בעוד חמש שנים, או בעוד עשר שנים, או בעוד 30 שנה? או את המבוגר איך הוא היה נראה בתור ילד? איך הוא עושה את זה? גם כן ב בטכניקות מעין אלה, זה יותר מורכב, אבל מעין אלה. זאת אומרת, ברגע שהוא למד אותי, הוא בעצם יודע לעשות איזושהי אקסטרפולציה או אינטרפולציה, מה קורה לי עם גיל מתקדם יותר או עם גיל שנסוג אחורה. זאת אומרת, הוא מזהה את המאפיינים שנשמרים, ואת ההשפעה של הגיל או של הנסיבות או של מה שלא יהיה ש משנה את המאפיינים, אבל עדיין משאירה אותם בתוך המסגרת שמגדירה את זה שזה אני, זה עדיין אני, למרות שזה תמונות מאוד מאוד שונות אחת מהשנייה. ואם הוא יראה תמונה של מישהו אחר, הוא אמור לזהות שלא, זה לא אני, זה מישהו אחר. אוקיי? את זה מאוד קשה להשיג, אני חושב בלתי אפשרי להשיג עם תוכנה קלאסית, עם if-then, אם יש לך את זה תעשה כך, אם יש לך את זה תעשה מה תעשה שם? אתה לא לא יכול לעשות דבר כזה. לעומת זאת ברשת נוירונים, תן לו מספיק דוגמאות של התמונה של סבתא שלי או שלי מכל מיני סוגים, בכל מיני מזג אוויר, בכל מיני גילאים, בכל מיני מצבי תאורה, ותמיד תן לו תמונות שלי ותמונות לא שלי, ותגיד לו: זה התוצאה אחד, זה התוצאה אפס, תארגן את המשקולות. בסוף, למרבה התדהמה, אם תעשה עם מספיק דוגמאות, צריך הרבה דוגמאות אגב בשביל זה, אבל אם אתה תעשה עם מספיק דוגמאות, בסוף בסוף הוא יזהה את התמונות שלי גם תמונות שהוא לא ראה. אם תתנו לו תמונה שלי הוא יוציא אחד, אם תתנו לו תמונה שהיא לא שלי הוא יוציא אפס, לא משנה בכל מיני מזג אוויר, גילאים, מה שאתם רוצים. שזה מדהים, אבל זה אפשר להשיג עם רשת נוירונים, את זה כמעט בלתי אפשרי אני חושב להשיג עם תוכנה קלאסית. דוגמה לדבר אולי אפשר להביא מהגמרא בבבא מציעא, בפרק שני, הגמרא אומרת שם על שצריך להחזיר, כשמחזירים אבדה מחזירים אותה בסימנים. כן, המאבד שרטט סימנים, ואז המוצא, אם הסימנים מתאימים ומובהקים, אז הוא מחזיר את האבדה למאבד. הגמרא אומרת שם שלתלמיד חכם משיבים אבדה בטביעות עינא, בטביעת עין. זאת אומרת, הוא אומר זה, הוא מזהה: זה שלי. הוא לא נותן סימן: יש פה שריטה כזאת, וזה היה בצבע כזה, ופה יש קילוף בצבע. לא, הוא אומר: אני מזהה, אני רואה את זה, זה, כן, כן, זה הכיסא שלי, זה הכיסא שנאבד לי, ואנחנו מחזירים לו את זה. בישיבות תמיד רגילים להגיד שזה טביעות עינא של תלמיד חכם, כן, זה תלמיד חכם יש לו איזה טביעת עין מיוחדת, הוא יודע לזהות חפצים, נו באמת, זה שטויות כמובן. הגמרא מביאה את התלמיד חכם פשוט בגלל שאין חשש שהוא משקר, לא בגלל שהוא יודע לזהות חפצים יותר טוב. כולנו יודעים לזהות חפצים, רק אצל אחרים יש חשש שישקרו, לכן אי אפשר להחזיר להם כל עוד הם לא נתנו לנו סימנים מובהקים. אצל התלמיד חכם אין חשש שהוא ישקר, לפחות אז לא היה חשש כזה שהוא ישקר, אז לכן אנחנו יכולים להחזיר לו את האבדה גם בלי שהוא נותן את הסימנים, אבל זה לא שיש לו יכולות זיהוי מיוחדות לעומת בן אדם אחר, זה לא מה שכתוב בגמרא שם. לא משנה, בכל אופן אבל לענייננו, אני מעודי תמהתי איך מתבצע זיהוי כזה? וזה ממש נוגע לרשת נוירונים ולתוכנה. איך מתבצע זיהוי כזה? יש שני סנריוס שאני יכול לתאר לעצמי, אחד מהם קצת מיסטי ואחד מהם יותר רציונלי. הסנריו הרציונלי אומר ככה: בעצם בכיסא הזה יש הרי כל מיני סימנים קטנים, פה יש קילוף בצבע, פה יש שריטה, פה הבד קצת קרוע. כל כיסא, גם אם הוא מאותה תוצרת והיה נראה אותו דבר כחדש, עכשיו הוא כבר שונה אחרי השימוש, ולכן אוסף המאפיינים הקטנים האלה בעצם עוזר לי לזהות שזה באמת הכיסא שנאבד לי, זה הכיסא שלי, אוקיי? מה זה אומר? שבעצם עקרונית יכולתי לתת פה סימנים מזהים, אבל לך תזכור באיזה אורך הייתה השריטה וכמה בד נקרע, אני לא יודע להגדיר את זה בצורה מילולית או לשים לך על השולחן כרשימה של סימנים שתוכל למדוד את אורך השריטה ואת גודל הקרע בבד, אז אני אומר לך: תראה, אני מסתכל באופן כללי על כל הסימנים האלה, זה הכיסא שלי. אני פשוט רואה את זה. אני לא יודע לתת לך את הסימנים, אבל זה כן זיהוי שבנוי על זיהוי רגיל, אני פשוט רואה את הסימנים ואני מזהה שזה שלי. אני רק לא יודע לנסח במילים את הזיהוי הזה, אני לא יודע לתת רשימה ממוינת של סימנים איפה היו שריטות ובאיזה אורך ומה, אבל זה בעצם אוסף של הסתכלויות על השריטות והקרעים והקילופי צבע. זה בעצם שם, זה רק זה קיצור דרך כזה, אני לא יכול לעשות את זה באופן מפורש, אבל זה מה שנעשה אצלי מאחורי התודעה. זה התפיסה הרציונליסטית, אוקיי? התפיסה היותר מיסטית אומרת שלא, זה לא עובר בכלל דרך סימנים חיצוניים כאלה, יש לי איזה שהיא יכולת לזהות באופן בלתי אמצעי את הכיסא שלי, לא יודע, איזה חוש ריח כזה, איזה אינטואיציה, לא יודע בדיוק איך להגדיר את זה, זה הכיסא שלי, אני רואה שהוא שלי, זה לא אוסף השריטות והקרעים בזה, אין רשימה כזאת, לא רק שאני לא יודע לכתוב אותה או להמשיג אותה, אין רשימה של סימנים, זה לא סכום של אוסף של המון המון סימנים קטנים, זה איזה שהיא יכולת בלתי אמצעית לזהות את הסיפור הזה כמכלול. אני פשוט רואה שזה שלי, אוקיי? זה משהו טיפה מיסטי, אבל אני חושב שיש לא מעט אנשים שתופסים את התהליך הזה כך, ותבינו שמערכת 1 ומערכת 2 של כהנמן, דיברנו על זה בשיעורים הקודמים, שתיהן לא זה. גם מערכת 1, המערכת האינטואיטיבית של כהנמן, הוא לפחות מניח שזאת מערכת שפשוט עושה את החישוב עם הסימנים הספציפיים רק לא באופן מודע, אבל זה נעשה איפה שהוא מאחורי המודעות, ובסוף זה יוצא בתור פלט: 1 או 0, הכיסא שלי או לא הכיסא שלי, אוקיי? אבל זה נעשה שם, זה לא שאנחנו מדלגים על תהליך הזיהוי לפי סימנים. פה אני הצעתי הצעה יותר קיצונית, הצעה שאומרת: זה בכלל לא נעשה, גם לא באזורים הלא מודעים שלי, זה לא נעשה כך, אלא יש לי איזה שהיא יכולת לראות את הכיסא הזה ולזהות שהוא שלי, לא דרך שימת לב לאוסף הסימנים הקטנים. לא יודע, זה קצת מיסטי, אני באמת לא בטוח עד כמה אני עומד מאחורי האפשרות הזאת, אבל ודאי שיש אפשרות כזאת, ויש אנשים שתופסים את זה ככה. לא יודע, אני לא לא לגמרי בטוח לפה או לשם. למה למה אני מביא את זה? כי ברשת נוירונים בעצם, זה קורה באופן די דומה. היא מזהה את הפרצוף של סבתא שלי, אבל בתוכנה רגילה הייתי צריך להגיד לתוכנה בשביל שהיא תזהה את סבתא שלי, תראי, יש לה ריסים כאלה וצבע וצבע שיער כזה וקמטים כאלה פה ו כמובן, כשהיא קטנה אז אין לה עוד קמטים כאלה, אז יהיה מאוד קשה להגדיר את זה, אבל נגיד שתאורטית הייתי יכול לראות מה הקווים שמאפיינים את הסבתא שלי גם בגיל עשר וגם בגיל 70, אוקיי? אולי יש איזושהי דרך לזהות את זה. מאוד קשה לתת רשימה מסודרת, בדיוק כמו במציאה, מאוד קשה לתת רשימה מסודרת של סימנים, ולכן אין לי דרך לבנות תוכנה שתעשה את הזיהוי הזה. אבל מה עושה רשת נוירונים? רשת נוירונים לא מקבלת רשימה סגורה של סימנים ופועלת על פיה, כמו שהיא לא מקבלת הוראה לחבר את שני המספרים שמכניסים אליה. מה כן? היא פשוט מארגנת את המשקולות באופן כזה שייצא אחד אם זה סבתא שלי, וייצא אפס אם זה לא סבתא שלי. מתברר שאם אני מארגן את המשקולות, אם יש מספיק דוגמאות והרבה משקולות, הרשת מספיק גדולה, כן? אז אחרי שאני מארגן את זה על פי הרבה מאוד דוגמאות, המשקולות מתארגנים כך שכל תמונה של סבתא שלי התוצאה יוצאת אחד. זה בדיוק זיהוי זיהוי בטביעות עינא. כן, זה זיהוי זה זיהוי בטביעות עין, המערכת לא עובדת לפי יש לה סימן כזה פה, בחלק הזה של הפנים, ושמה יש לה קמט ופה יש לה ריסים ופה יש לה, אני לא יודע מה, צבע שיער, לא, זה לא עובד ככה. אלא אוסף הדוגמאות האלה איכשהו מתורגם בתוך המכונה למין פונקציה כזאת, שכשמכניסים את הפרצוף של סבתא שלי, מוציאה אחד.

[Speaker D] הרב, כן. באני מכיר מזיהוי תמונה או גם מזיהויי דיבור וכאלה, בסוף יש איזה וקטור, נניח, שמציין את ה את המשתמש או את הבנאדם. אם עושים איזה פרוג'קשן של הוקטור, אז אפשר ממש לראות מה כל ממד מציין. עכשיו לפעמים זה ממדים שאנחנו לא מבינים, אבל יש ממדים של נגיד נניח, זה המרחק בין העיניים, המרחק מהאף או דברים כאלה, אז

[הרב מיכאל אברהם] כן יש לזה לא, אז זה זה זיהוי תמונות בתוכנה קלאסית, לא ברשת נוירונים, בכל זאת מתבצע. הוא מתבצע על ידי דחיסה, על ידי דגימה, זאת אומרת, יכול להיות שאתה יכול להסתפק רק בחלק מהאינפורמציה וזה מספיק ייחודי כדי להגדיר מי זה הבנאדם שאותו אתה רוצה לזהות. יש משפטי דגימה של שנון וכולי, כמה מתוך המידע אתה צריך כדי לייחד באופן חד משמעי תמונה, אוקיי? אבל זה בדיוק נובע מהעובדה שבתוכנה קלאסית אתה צריך לתת לה את הנתונים בשביל שהיא תוציא את התוצאה. זה לא אימון באופן כללי. זה זיהוי לפי סימנים, זה לא זיהוי בטביעות עינא. אז לכן זה מאוד מוגבל. זה מאוד מוגבל, האיכות ממש לא משהו, כי כי בתמונות מגוונות יש המון המון שינויים ואתה קשה למצוא את המאפיינים שבאמת שבאמת מאפיינים בדיוק את כל התמונות של סבתא שלי, ולא אף תמונה של מישהו אחר בשום מצב. ברשת נוירונים, אני בכלל לא עובר דרך אוסף המאפיינים כמו מרחק בין העיניים וכדומה, זה בכלל לא מעניין. הם פשוט נותנים את התמונות, אומרים לו זה סבתא שלי, זה לא סבתא שלי.

[Speaker D] כן, לא, דיברתי על רשת נוירונים. אני פשוט אומר, בסוף גם היא מייצגת את זה וזה מתקשר למה שאמרת על השיטה היותר רציונלית. זה לא ש כאילו, הרשת נוירונים בסוף עושה את ה

[הרב מיכאל אברהם] אתה מניח פה הנחות שככל שאני יודע, ממש לא מוסכמות. זאת אומרת, השאלה שאתה הופך את הקופסה השחורה ללבנה, כן, whitening the box, ואתה מנסה לראות מה קורה בתוך הקופסה של הרשת נוירונים, ואתה מנסה לזהות מעגלים מסוימים שמייצגים מאפיינים של הפנים, ואתה מנסה לזהות איך הרשת עובדת בכל זאת כמו תוכנה קלאסית. זה מאוד לא ברור אם זה באמת שם.

[Speaker D] יש אז אז חלק נכון, חלק מהמאפיינים הם ממש כאילו הוא פורס את המרחב ל לדברים שלפעמים לא ברורים לנו, אבל חלק מהם מאוד ברורים. חלק ממש רואים ש זה ממש כאילו נגיד יש איזה מאפיין מסוים שממש מסמן את המרחק בין העיניים.

[הרב מיכאל אברהם] יש חלקים מסוימים שאתה יכול לזהות, אבל זה בדיוק הנקודה. אם היית יכול לזהות את זה, היית יכול לעשות את זה גם בתוכנה רגילה. פשוט קח את המאפיינים האלה, תכניס לתוכנה רגילה.

[Speaker D] לא, יכול להיות שפשוט זה מאוד מורכב מבחינתנו גם, זה הרבה הרבה מאפיינים שקשה למדוד.

[הרב מיכאל אברהם] היתרון הגדול של רשת נוירונים זה שהיא לא צמודה לאוסף המאפיינים שאתה מזהה, היא עושה את זה אחרת. יכול להיות שאתה בסוף מפענח שמה כמה מאפיינים, ואגב, זה רק אתה מפענח, זה בכלל לא קשור למה שהרשת עצמה עושה. אבל אתה מזהה שתמיד מרחק כזה בין העיניים מדליק את הנוירונים האלה והאלה ולא האחרים או משהו כזה, כן? יוצר איזשהו מבנה בתוך הרשת, ואז אתה אומר: אה, אז המבנה הזה אחראי על זיהוי המרחק בין העיניים. זה פרשנות שאתה נותן לעניין הזה, ולכן אתה יכול למצוא כמה קווים מאפיינים, לא תוכל, אני חושב לפחות, עוד פעם, אני לא מומחה בתחום הזה, לא תוכל לחקות זיהוי מפורש, זאת אומרת להוציא את הזיהוי שעושה רשת נוירונים, להזין את זה למחשב רגיל שהוא יזהה אותו דבר. תן לו את כל המאפיינים שרשת נוירונים פשוט תכניס לתוכו, זה מרחק העיניים, זה זה, ושיזהה. באופן עקרוני, אם את הכל אם יכולת להלבין את הקופסה לגמרי ולראות מה בדיוק התהליכים שקורים בפנים, עקרונית יכולת להוציא את זה למחשב רגיל ולעשות את זה שם, כי אתה יודע שזה הולך לפי מרחק בין העיניים, בדיוק הזיהוי לפי שריטות, כן? לא לא בטביעות עין. ואז עקרונית אתה יכול לעשות את זה גם במחשב רגיל. לכן תמיד יהיה חלק ניכר מהעניין, אני חושב לפחות, חלק ניכר מהעניין שאותו לא תזהה, אתה לא תצליח לקשור אותו למאפיינים פיזיים כאלה ואחרים של הפנים. יהיה חלק שכן, כמה מאפיינים בולטים אתה כן תראה אולי שמפעילים מעגלים מסוימים בתוך הרשת. בכל אופן, טוב אני לא נכנס פה יותר מדי לפרטים, אני כן רוצה שתבינו את העיקרון, אני גם לא מומחה אז זה לא שאני יכול כל כך להיכנס לכל מיני פרטים, אבל אבל אני מנסה להסביר את העיקרון, איך איך באופן עקרוני הדבר הזה עובד. אז זה רשת נוירונים. עכשיו זה לא מספיק. כי אני רוצה עכשיו, בדיוק אותו מהלך שעשינו עם המחשב, אני רוצה עכשיו לבנות רשת נוירונים שפותרת הרבה בעיות, לא רק אחת. עכשיו שימו לב, במחשב רגיל, בשביל לפתור הרבה בעיות צריך לכתוב הרבה תוכניות. כל תוכנה פותרת סוג של בעיה, נכון? אז עם הרבה תוכניות אני יכול להשתמש באותו מחשב כדי לפתור הרבה בעיות. ברשת נוירונים אין תוכניות, יש אימון. אתה מאמן את הרשת. מה עושה האימון? אתה נותן לה דוגמאות, הדוגמאות האלה מעדכנות את המשקולות, בסדר? עד שאתה מגיע לסט של משקולות שעושה את העבודה. זאת אומרת שבכל אינפוט נתון הוא נותן את האאוטפוט שאתה מחפש, את ה את הפלט שאתה מחפש. אלא מאי, עכשיו אתה רוצה שאותו גולם עצמו, אותה חומרה, כן? אותו גולם עצמו יעשה גם עבודה של חיבור מספרים וגם את הזיהוי של סבתא שלי. מה עושים עכשיו? עם אותה מכונה, עכשיו אין תוכנה. מה אתה יכול לעשות? אתה יכול אולי לאמן אותו גם על דוגמאות של תמונות של סבתא שלי ולא, וגם על דוגמאות של חיבור מספרים, ולקוות שסט המשקולות הזה, תצליח לבנות אותו באופן כזה שהוא יצליח לבצע את שתי המשימות. אוקיי? זאת אומרת שאחת לא תפריע לשנייה. כן, צריכים להבין שכשאני מאמן את הרשת לבצע חיבור של מספרים, זה מארגן את המשקולות באופן שמתאים לחיבור של מספרים, אבל אז זה לא יתאים לזיהוי של פנים. ולהפך, אז אם אימנתי את הרשת והגעתי לרשימה מסוימת של ערכי המשקולות, ועכשיו היא יודעת לזהות את הפנים של סבתא שלי, עכשיו אני רוצה שהרשת הזאת גם תדע לחבר מספרים, טוב פה מתחילים לאמן אותה על מספרים וחיבור כמו שדיברנו קודם, אבל זה יארגן את המשקולות שלה מחדש כדי לבצע את פעולת החיבור, אבל אז זה ישנה את המשקולות שאימנתי קודם, אז עכשיו היא כבר לא תצליח לזהות את סבתא שלי, כי אני צריך סט מאוד מסוים של משקולות כדי שהיא תדע לזהות את סבתא שלי. עכשיו, מתברר שאני יכול לעשות מולטי-טסקינג של רשת נוירונים, אם יש לי הרבה משקולות ואני לוקח מספיק דוגמאות, אני יכול לאמן אותה לבצע את שתי המשימות, או חמש משימות אפילו. עקרונית אפשר, זה הרבה פעמים נפגעת האיכות, אבל אם יש לך מספיק רשת מספיק גדולה ואתה מאמן אותה מספיק על מספיק דוגמאות, יכול להיות שתצליח. אבל זה מספר מוגבל של של משימות. אם אתה רוצה להגיע לרשת אוניברסלית, זאת אומרת רשת שיודעת לפתור את כל המשימות, איך עושים דבר כזה? מה איך אפשר לאמן רשת על אני לא יודע אפילו מה כל סוגי המשימות, אני יודע איזה משימות יעלה בדעתי שאני ארצה שהרשת תעשה, יכול להיות מיליון דברים. כן, המון דברים. שהיא תעשה ניסוי בפיזיקה, שהיא תנתח תוצאות של ניסוי בביולוגיה, שהיא תתאר לי את התא, שהיא תחבר מספרים, שהיא תזהה עכברים, לא יודע, מיליון דברים. מיליון זה כלום כמובן, המון, כן? אין סוף דברים. אז אין אין שום דרך לאמן רשת לעשות את כל המשימות, אין לי רשימה סגורה של משימות. ואפילו אם היה לי רשימה סגורה של משימות, על פניו, לאור מה שתיארתי קודם, כל אימון למשימה מסוימת יהרוס את המשקולות עבור המשימות האחרות. כי הרי צריך סט מסוים של משקולות כדי להוציא אחד אם הפנים של סבתא שלי ואפס כשזה לא הפנים של סבתא שלי, אבל הסט הזה של המשקולות הוא לא הסט שיביא לחיבור נכון של מספרים. כשאני ארצה שהרשת תחבר נכון את המספרים, אני צריך לארגן את המשקולות שלה בהתאם, אבל אם זה ככה, אם אני מארגן אותם מחדש, אז היא כבר לא תוכל לזהות את הפרצוף של סבתא שלי. אז יש פה עכשיו איזשהו בעיה בגלל שאין פה תוכנה, ואני לא יכול לכתוב תוכנה שונה לכל משימה, ואני רוצה בכל זאת להשתמש באותו גולם, כן, באותה חומרה, כדי לבצע הרבה משימות. מה אני עושה? עכשיו הרעיון הגאוני שעלה ככה כבר כבר לא לא כל כך מזמן, נדמה לי לפני אולי עשר שנים או משהו כזה, אולי קצת יותר, עלה לראשונה, לא בוצע, עלה לראשונה, זה היה שאנו יכולים לעבור דרך לעבוד דרך השפה. מה זאת אומרת? בעצם כל משימה היא משימה שאפשר לתאר אותה כשאלה שמבקשת תשובה, שהפלט יהיה תשובה. ולכן אתה יכול בעצם לשאול את השאלה במילים: האם זאת סבתא שלי? ולתת איזשהו תיאור של סבתא שלי, ולקבל תשובה: כן או לא. לא משנה. התשובה גם היא מילים. אוקיי? נניח. עכשיו אם אני יודע לתרגם את כל המשימות האלה למילים, אתם מבינים שבעצם אני מחפש עכשיו פונקציה שתתאים לי מילים למילים. ואם נכנס סט של מילים מסוים, הפלט יהיה סט של מילים אחר, שהסט של המילים שיוצא הוא התשובה לסט המילים שנכנס שהוא היה השאלה. עכשיו אתם מבינים שברגע שתרגמתי את הכל למילים, הפכתי את כל בעיות העולם והיקום לבעיות שמכונה אחת יכולה לטפל בהן. מכונה שיודעת להתאים משפט למשפט. ואם יש לי משפט שנכנס שהוא השאלה או המשימה או מה שלא יהיה, הוא מוציא לי משפט שהוא התשובה. אם אתה יודע להתאים את משפט התשובה למשפט השאלה, בעצם אתה יודע לפתור את כל בעיות העולם. כי לפתור בעיה פירושו לתת תשובה לשאלה. זה נקרא לפתור בעיה. לתת תשובה לשאלה זה פונקציה שמתאימה משפטים שיוצאים למשפטים שנכנסו. המשפטים שנכנסו זה השאלה, והמשפטים שיוצאים זאת התשובה. אני עושה את זה בצורה מאוד סכמטית וגסה, אבל אבל זה הרעיון, נדמה לי. אוקיי? והרעיון הגאוני הזה בעצם אמר: אם כך, יכול להיות שיכולה להיות מכונה אוניברסלית שכל מה שהיא יודעת לעשות זה להתאים משפט למשפט. אם היא תדע לכל משפט לענות במשפט הרלוונטי, היא בעצם יודעת לפתור את כל בעיות העולם. אז אם אנחנו עכשיו בונים מה שנקרא מודל שפה, לנגוויג' מודל, כן? יכול להיות שהוא יהיה המכונה האוניברסלית. זאת אומרת השפה זה בעצם התווך שמאחד את כל הבעיות להיות סוג אחד של בעיות. והסוג הזה זה התאמה של משפט תשובה למשפט שאלה, או משפטי תשובה למשפטי שאלה. אוקיי? אם אני יודע למצוא את הפונקציה האוניברסלית הזאת שיודעת להתאים את המשפטים הנכונים למשפטים שנכנסים, בעצם פתרתי את כל בעיות היקום. זה זה היה הרעיון. ואז נוצר מה שנקרא לארג' לנגוויג' מודל, אל אל אם. לארג' לנגוויג' מודל כמודל שפה גדול. למה? כי ברור שאם אתה רוצה התאמה בין כל המשפטים בשפה לתשובות שמתאימות להם, אתה צריך המון המון קשרים, רשת ענקית, כי אתה רוצה שיהיה לך מספיק דרגות חופש כשאתה מתאים את המשקולות שעל פני כל הקשרים באופן כזה שהם ידעו לעשות את ההתאמה לאין ספור בעיות. זאת אומרת למשפט אחד הם יתנו את התשובה בתור מספר, משפט 117, למשפט שתיים הם יתנו את המשפט 1451, למשפט שלוש את המשפט ההוא, וכן הלאה. אוקיי? אז אם תמספרו את כל המשפטים בשפה, לא רוצה להיכנס לפרדוקס ברי, זאת אומרת אם אתם מתרגמים את כל המשפטים בשפה, אז אתם יכולים בעצם להסתכל על זה כמכונה שמתאימה משפטים למשפטים. זה הכל. ושוב פעם, בלי להבין כלום. רק התאמה, כמו שעשינו ברשת נוירונים למשימה מסוימת, גם הרשת הזאת היא למשימה מסוימת, משימה של התאמת משפטים למשפטים. אלא מאי? שאנחנו מבינים שהתאמת משפטים למשפטים זה בעצם יכול לייצג כל סוג של בעיה. אז אם המכונה יודעת להתאים משפטים למשפטים, היא יודעת הכל. עכשיו, כן, כשאנחנו בעצם, תחשבו כשאנחנו לומדים חשבון בכיתה, מתמטיקה, אוקיי? מה המורה עושה? הוא מצייר על הלוח והוא מסביר לנו במילים, נכון? הוא אומר: אם יש לכם בעיה כזאת וכזאת, פותרים אותה באופן כזה וכזה, והוא נותן תיאור במילים מה צריך לעשות. אתם מבינים שזה מה שאנחנו עושים בדיוק עם המכונה. אנחנו בסך הכל אומרים לה משפט במילים, אנחנו רוצים תשובה במילים, אבל אנחנו יודעים כבר לתרגם את זה גם לתוצאה של תרגיל מספרי, כי זה רק תיאור במילים של הנוסחה המתמטית, או של המספר שהוא התשובה. את הכל אפשר לתרגם למילים. והרעיון הגאוני הזה של להפוך את העניין למכונת שפה, ליצור רשת נוירונים שהיא בעצם מודל שפה גדול, הוא בעצם הוא המכונה האוניברסלית, אוקיי? באופן עקרוני, פוטנציאלית. הוא יכול האוניברסלית. זה היה הרעיון. אבל כמובן, כמו שאמרתי, צריכה להיות מכונה ענקית. מכונה ענקית, כי אתה צריך, אתם מבינים שככל שהבעיה יותר סבוכה, וככל שיש יותר אינפוט מול אאוטפוט, יותר התאמות שאתה צריך לעשות, אתה צריך שיהיה לך יותר פרמטרים, כי אתה רוצה לשחק איתם בשביל לקבל תמיד את התשובה הנכונה לכל שאלה. ככל שיש לך המון, נגיד אתם רוצים להתאים לא יודע מה, 1,000 מספרים ל-1,000 מספרים אחרים, ולעשות את זה באמצעות איזה שהיא פונקציה, ודאי שאתם צריכים יותר יותר פרמטרים בתוך הפונקציה כדי לעשות את ההתאמה מאשר אם אתם רוצים להתאים שני מספרים לשני מספרים. אוקיי? אז לכן אם אתם רוצים להתאים אינסוף מספרים לאינסוף מספרים, צריך מודלים ענקיים. אוקיי? בסדר, אבל יש לנו כבר כלי חישוב והטכנולוגיה מתקדמת, אפשר לייצר מודלים ענקיים. והם כמובן הולכים וגדלים כל הזמן, אוקיי? ואז בעצם נפתחה האפשרות לייצר מודל שפה. עכשיו אני רוצה להסביר איך מאמנים מודל שפה, עקרונית קודם, לפני שניכנס לארכיטקטורות מסוימות. איך איך מאמנים מודל שפה? מה שאנחנו עושים בעצם, עוד פעם רעיון גאוני, אנחנו לוקחים את כל המשפטים ביקום. אוקיי? רשת האינטרנט לדוגמה מלאה במשפטים, כן? אנחנו פשוט שואבים מתוך הרשת כל מיני טקסטים, ואנחנו מאמנים את הרשת על הטקסטים. מה זה אומר מאמנים את הרשת על הטקסטים? אנחנו מכניסים לתוכה משפט, קוטעים ממנו את המילה האחרונה, נגיד: \"החתול ישב ליד השולחן\". אוקיי? עכשיו אני אומר: \"החתול ישב ליד ה\", בלי להגיד מה התשובה. עכשיו אני אומר לה: \"רשת, תגידי לי מה מה מה המילה הבאה?\". היא אומרת לי \"עכבר\". טעות, יצא לי עכבר, היה צריך להוציא שולחן. אני מעדכן את המשקולות כדי שיצא שולחן, אוקיי? ועכשיו אני מכניס לה משפט אחר, ועוד פעם אני מוריד את המילה האחרונה, אני אומר לה: \"תנבאי לי את המילה האחרונה\". ועוד פעם היא לא מצליחה, אני מעדכן את המשקולות, ובעצם אני מלמד את הרשת להשלים משפטים. להשלים משפטים, ואחרי זה כמובן היא כבר משלימה לא מילה אחת, אלא מילה ואחרי זה עוד מילה ואחרי זה עוד מילה ואחרי זה עוד מילה, והיא בעצם מוציאה לי משפט כתגובה למשפט שנכנס אליה. כן? האימון על מילה בודדת זה רק ה ה ה הצעד האחד בתוך התהליך, אבל אני רוצה שהיא תוציא לי טקסט שלם בתור תשובה, אז אני צריך לאמן אותה שהיא תוציא לי את הטקסט מילה אחרי מילה, משהו כזה, שהיא תוציא לי את הטקסט שמתאים לטקסט שנכנס אליה. אוקיי? אז זה מאוד בגסות, אבל זה זה הרעיון הכללי. ואז אני מאמן את הרשת, ואם אני לוקח, ולכן מידע היום שווה המון כסף, ויש המון השקעה בלייצר מידע כדי לאמן את הרשתות האלה, כי האינטרנט כבר נגמר, זאת אומרת, אימנו אותם על כל ה אתם אנשים לא תופסים כמה מידע יש באינטרנט, זאת אומרת ה מאמנים מודל כזה על כל המידע שיש באינטרנט, ולא רק באינטרנט, בספרים, ב מה שרק רוצים. כמה שיותר מידע החברות האלה רוצות, הן מוכנות לשלם עליו המון כסף, על מידע. המידע נגמר. אנחנו רוצים לאמן רשתות על כמה שיותר מידע, כי אנחנו צריכים לקבוע ערכים של המון המון המון משקולות. אתה צריך בשביל זה המון דוגמאות. אוקיי? ולכן אה אנחנו לוקחים את כל הטקסטים שאנחנו מצליחים להניח עליהם את היד, ומאמנים את הרשת כל הזמן לנבא מה תהיה המילה הבאה, מה יהיו המשפטים הבאים וכן הלאה. עד שאני מארגן את המשקולות של הרשת, ואני מדבר על מיליארדי מיליארדים של משקולות, בסדר? אה אה אה אה אני אני מארגן את המשקולות של הרשת כך, שכשאי תקבל משפט, היא תוציא לי את המשפט הנכון בתור תשובה. היא תשלים כאילו את מה שאמור לבוא אחריו, אבל מה שהיא משלימה הוא בעצם התשובה למשפט השאלה שנכנס אליה. ככה אנחנו עושים את זה. עכשיו, אני רוצה להזכיר לכם מה שדיברנו ב בשיעורים ה שיעורי הקדמה על החדר הסיני. תבינו שמה שקורה פה זה פשוט החדר הסיני. ג'ון סרל הקדים את זמנו. הדוגמה שלו ניתנה אני חושב בשנות ה-60 או משהו כזה, 70, 60 או 70, נדמה לי. אהה ו ובעצם, אני מזכיר לכם מה זה החדר הסיני. יושב אדם בתוך החדר, הוא לא יודע סינית, הוא יודע רק עברית, אוקיי? ומכניסים לו שאלות בסינית והוא צריך להוציא תשובות בסינית. יש לו ארגז מלא אותיות או מילים סיניות והוא צריך לבנות מהמילים האלה תשובה ולהוציא את זה החוצה דרך החלון בשביל מישהו שבודק את זה שמה. אם הוא הוציא תשובה נכונה, מעולה, מקבל בונבון. אם הוא הוציא תשובה לא נכונה, מקבל זץ חשמלי. אוקיי? ואז הוא מנסה מילה אחרת להוציא. לא הולך, עוד זץ חשמלי. עד שהוא לומד להתאים את ה תשובה שהוא מוציא לשאלה שהוא מקבל. הניסוי הזה של החדר הסיני אינו אלא אימון של רשת נוירונים. זה פשוט זה. זה אחד לאחד. זה בדיוק זה. עכשיו, גם שם ראינו שהבן אדם בסוף אחרי המון המון זמן והמון המון דוגמאות אימון, ופידבקים כמובן, פידבק מאוד חשוב, כלומר אתה צריך לקבל פידבק. אם התשובה שלך לא נכונה, מארגנים לך את המשקולות. מקבל זץ או אתה מארגן את המשקולות, לא משנה, אבל יש איזה שהוא תהליך של בק פרופגיישן, כן? אתה אתה חוזר אחורה עם תשובה לא נכונה ומעדכן את המשקולות כדי לשפר את התשובה הבאה. אז התהליך הזה הוא בדיוק תהליך של אימון רשת נוירונים. הוא מקבל דוגמאות, מקבל פידבק האם התשובה שהוא נתן נכונה או לא נכונה, מארגן את המשקולות בתוכו כך שבפעם הבאה הוא לא יקבל זץ, כלומר שהתשובה כן תהיה נכונה, עד שאחרי הרבה הרבה הרבה מאוד דוגמאות עם זץ, עם פידבקים, הרשת הנוירונים שלו מאורגנת כך שכל שאלה שהוא יקבל הוא יוציא עליה את התשובה הרלוונטית. עכשיו שימו לב, כבר שם דיברנו על זה וזה מה שסירל בעצם ניסה להראות, האיש הזה לא יודע סינית. אין לו מושג לא מה אומרת השאלה ולא מה אומרת התשובה שהוא מוציא. אין לו מושג. אבל הוא כן יודע שלשאלה שנראית ככה מוציאים תשובה שנראית ככה. אין לי מושג לא מה אומרת השאלה, לא מה אומרת התשובה, אבל אני כן יודע לעשות את ההתאמה בין השאלה לבין התשובה. וזה בדיוק מה שקורה ברשת נוירונים, בדיוק. רשת הנוירונים מקבלת אוסף של סימנים שאין לה מושג מה הם, אבל היא יודעת להתאים לזה אוסף של סימנים אחר ולהוציא אותו בתור תשובה. ואם מאמנים אותה על מספיק דוגמאות, מספיק פעמים, היא מוציאה את אוסף המילים הרלוונטי כתשובה לאוסף המילים שנכנס אליה בתור שאלה. זה בדיוק מה שקורה שם. והתקווה, שהתממשה גם בסופו של דבר, זה שאם ניקח רשת מספיק גדולה, עם מספיק, המון המון המון דוגמאות טקסטואליות כאלה, היא תדע לענות על כל שאלה, היא תעבור את מבחני טיורינג. היא תעבור את מבחני טיורינג, זאת אומרת אפשר יהיה לדבר איתה. תיתן לה שאלה, היא מוציאה לך תשובה, ושוב, אין לה מושג לא מה שאלת ולא מה היא עונה, אין לה מושג. כל מה שהיא יודעת זה היא מקבלת סט של סימנים, היא מוציאה כתגובה סט של סימנים אחרים והיא יודעת לעשות את ההתאמה. אם סט הסימנים הזה נכנס, סט הסימנים הזה צריך לצאת. ואת זה היא לומדת מתוך כל המידע שאפשר לגייס בעולם, מהאינטרנט, מספרים, מעיתונים, מכל מה שלא יהיה. מכניסים לתוכה את המידע הזה, מאמנים אותה על המידע הזה, והיא יודעת להתאים מילים למילים. נגיד, היא קוראת, עוברת על כל מיני מאמרים. המאמר הזה מטפל בבעיה מסוימת, אז יש שם שאלה, נכון? במאמר. יש שם בעיה שבה הוא מטפל. ואז הוא מציע תשובה לשאלה הזאת. גם בתוך המאמר יש שאלות קטנות שתשובות יש להם, בקטן בתוך פסקה וכן הלאה. ברגע שמאמנים את הרשת על כל הטקסטים מהסוג הזה, היא בעצם לומדת לענות את התשובות הרלוונטיות לכל שאלה, כי היא יודעת להתאים את הסימנים אחד לשני. שימו לב, בלי לדעת כלום! אין שם שום סמנטיקה, זה רק סינטקס. כלומר, זה רק התאמה של סימנים לסימנים, אין פה שום מימד של הבנה. לכן כל כך התעכבתי בהקדמה להבחין בין סמנטיקה לסינטקס, בין המניפולציות הפורמליות, הצורניות, לבין המשמעויות שמתלוות למניפולציות האלה אצלנו בראש, שזה הסמנטיקה. ברשת אין את זה. טוב, זו התפיסה הפשוטה, חוץ מאשר כמה הזויים שרוצים לטעון שיש. אבל אין, היא עושה מניפולציות על סימנים ומוציאה סימנים אחרים. כך מאמנים אותה, פשוט. כמו בחדר הסיני, זה ממש החדר הסיני, אוקיי? למרות שג'ון סירל לא חלם על על רשת נוירונים, זאת אומרת הוא בכלל לא, זה בכלל לא היה הכיוון שלו. הוא רק רצה להראות איך אפשר לעשות פעולות של תקשורת ללא הבנה, פעולות של קשר בין אינפוט לאאוטפוט בלי הבנה. ומה שקורה ברשת נוירונים זה שבדיוק זה מה שהיא עושה. היא עושה קשר בין אינפוט לאאוטפוט בלי המימד של ההבנה. אין פה קוגניציה, יש פה רק פונקציה שמתאימה משפטים למשפטים, אוקיי? עכשיו, זה הרעיון בגדול. אני רוצה להיכנס טיפה יותר לכמה מושגים טכניים שקשורים לרשת נוירונים, למודלי שפה כבר, לא לרשת נוירונים, סליחה. עברנו למודל שפה, שימו לב. רשת נוירונים פותרת בעיה מסוימת, או שתיים שלוש בעיות מסוימות, מודל שפה כבר יודע לדבר איתך. תשאל אותו שאלה במתמטיקה, יענה לך על מתמטיקה. תשאל אותו שאלה בהיסטוריה, יענה לך בהיסטוריה. תשאל אותו שאלה בפוליטיקה, יענה לך בפוליטיקה, כי הוא קרא הכל, הוא ראה הכל, הוא יודע מה מתחבר למה. יודע, הוא פשוט מתאם משפטים למשפטים או מילים למילים, והוא יודע לתת לך את המשפט הרלוונטי אם אתה נותן לו משפט שאלה, אוקיי? זה זה בעצם מה שקורה שם. עכשיו, מה שבעצם יותר בפרטים, אני אכנס טיפה יותר לפרטים כי כי חשוב בכל זאת גם להבין קצת את המה שקורה שם. נכנסת שאלה בשפה מדוברת לתוך ה לתוך המודל, כן? אתם שואלים את צ'אט ג'י פי טי איזושהי שאלה, אוקיי? מה קורה לשאלה הזאת? אז מתברר שבקונפיגורציה הרווחת, קוראים לזה טרנספורמר, קונפיגורציה של טרנספורמר, בקונפיגורציה הרווחת הזאת מה שקורה זה הדבר הבא: לוקחים את השאלה שאותה שלחת, מפרקים אותה ליחידות שנקראות טוקנים. זה לא מילים, זה יחידות, לא משנה, לפעמים ה' הידיעה יכול להיות גם טוקן. זה לאו דווקא מילה, אבל אפשר לחשוב על זה כמילים, בסדר? אנחנו בונים את משפטי השאלה כאוסף, סדרה של מילים עוקבות, בסדר? כל מילה כזאת יש לה, כל טוקן כזה יש לו מספר. זה הטוקן הראשון, זה השני, זה השלישי, זה הרביעי, וכן הלאה. סדרה של טוקנים, זה השאלה, כן? זה האינפוט. מה קורה שם? אחרי הפירוק לטוקנים, טוקניזציה מה שנקרא, לוקחים כל טוקן, יש לו, כל טוקן כזה יש לו אינדקס, כי בשפה יש מספר סופי של טוקנים, נכון? אין אין סוף מילים בשפה, או הברות או משהו כזה. יש מספר סופי, הרבה, הרבה מאוד, אבל מספר סופי של טוקנים, וכל טוקן כזה יש מספר, אינדקס, אוקיי? האינדקס הזה נשלח לזיכרון של המחשב ומוציא איזשהו סדרת מספרים, וקטור מה שנקרא, שמייצג את הטוקן הזה, אוקיי? כל מילה כזאת מיוצגת על ידי סדרת מספרים, על ידי סדרה של אלפי מספרים, לא חשוב, אבל זה נקרא וקטור, איזה אוסף של אלפי מספרים שמייצגים את המילה הזאת. עכשיו, סט הטוקנים שנכנס בתור שאלה, כל אחד מהטוקנים תורגם לווקטור של מספרים, זה נכנס לתוך הטרנספורמר. הטרנספורמר הזה עושה לו בעצם, אולי לפני כן אפילו, כן, לא, כן, אפשר לחבר את זה, הוא עושה לו מה שנקרא אמבדינג, לא משנה, הוא מייצג את ה הוא מייצג את ה את סדרת הטוקנים הזאת בתור איזשהו וקטור גדול. זה כבר וקטור שמייצג את כל השאלה, לא של טוקן בודד. אתה בונה מתוך הטוקנים האלה איזשהו וקטור מאוד גדול שמייצג את השאלה, בסדר? עכשיו, אני רוצה לדעת מה המילה, לנבא את המילה הבאה, או לבנות את המילה הראשונה בתשובה, אוקיי? המילה הראשונה בתשובה אני צריך לדעת מה היא, ואני לוקח את הסדרת המילים שנכנסו, יש לי במילים, יש לי במאגר המילים שמכיל את כל המילים, או טוקנים כן של השפה, כל אחד מהם צמוד לו איזשהו וקטור כזה. אני בודק איזה וקטור מתאים לווקטור השאלה. יש איזושהי פעולה מתמטית, מכפלה פנימית, לא משנה, של שני הווקטורים האלה, שקובע עד כמה הם דומים, מקבילים, איך שלא תקראו לזה, ואני מקבל תוצאות. עכשיו, באופן עקרוני, כשיש וקטור של שאלה שמיוצג על ידי שאלה מסוימת שמיוצגת על ידי וקטור, היא מתאימה במידה מסוימת לכל מילה מאלפי מילות השפה, ממאות אלפי מילות השפה, אוקיי? אבל יש התאמות שונות. יש מילים בשפה שמאוד מתאימות לווקטור הזה, יש מילים בשפה שפחות מתאימות לווקטור הזה, אוקיי? אז יש לנו בעצם התפלגות. מה הסיכוי שזאת תהיה נגיד \"החתול ישב ליד ה-\"? עכשיו אני צריך לדעת מי זה ה, מה כתוב שם ב-ה' הזה. אני שואל אותו \"ליד מה ישב החתול?\", את המודל שלי. הוא צריך להגיד לי \"ליד השולחן\". עכשיו הוא עושה את החשבון הזה, הוא אומר המילה \"שולחן\" מסתדרת לו לא רע פה, אבל גם המילה \"כיסא\" יכול להיות שהיא מסתדרת, כי \"החתול ישב ליד הכיסא\", גם משפט אפשרי, אוקיי? אז יש גם סיכוי מסוים שהמילה הזאת זה כיסא, לא שולחן, ויש סיכוי שהמילה הזאת היא בכלל הירח, אבל יש פחות סיכוי שה החתול ישב ליד המידה הטובה. זה זה משפט לא הגיוני, נכון? אז הסיכוי שהמילה הבאה תהיה המידה הטובה הוא אפסי, הוא מאוד קטן, אוקיי? אבל הוא עדיין קיים. יש איזושהי התפלגות על כל המילים, בסדר? אנחנו עכשיו בונים התפלגות כלשהי, לא משנה, לוגיט כזה, זאת אומרת אנחנו לוקחים, מצמידים מספר שמייצג את הסיכוי שהמילה הבאה היא שולחן, מידה טובה, ירח, עכבר, אוקיי? ואני עכשיו צריך לבחור מי מהמילים האלה להוציא בתור פלט. כן? אז מה אני עושה? אני צריך עכשיו להגריל איזה מהמילים להוציא. באופן עקרוני, יכולתי להוציא את המילה הכי מסתברת. נגיד, אם השולחן יצא לי המילה הכי מסתברת, אני אוציא את המילה שולחן. אבל מתברר, באופן מוזר קצת, אבל מתברר שזה לא נותן את התוצאות הכי טובות. מה שנותן לנו תוצאות יותר טובות זה אם אנחנו אומרים: תבחר באופן אקראי מילה, אבל תתחשב בזה ששולחן זה הכי מסתבר, תעשה את ההגרלה כך שיהיה סיכוי הרבה יותר גבוה שזה יהיה שולחן מאשר עכבר, אבל תן גם אפשרות מסוימת שזה עכבר. כי לפעמים בן אדם יכתוב שיר, ובשיר לא יהיה כתוב \"החתול ישב ליד השולחן\", זה משפט פרוזאי, אלא \"החתול ישב ליד מצב הרוח שלי\", אוקיי? המשורר ככה התפייט, אוקיי? אז אני רוצה שיש גם איזושהי אפשרות שהוא יבין שמדובר פה בשיר, אז אני לא מוציא מכלל אפשרות שהוא יכתוב שמה את המצב רוח שלי או את המידה טובה, סיכוי קטן, אבל יש גם סיכוי כזה. עכשיו, יש מדד כזה שנקרא טמפרטורה, זה לא באמת טמפרטורה, אבל זה עושה פעולה כמו שעושה פעולה טמפרטורה בתרמודינמיקה. כל הסיפור הזה אגב בא מפיזיקה, ככה אני הכרתי אותו לראשונה, אז הטמפרטורה בעצם אומרת, נגיד בטמפרטורה מאוד נמוכה, טמפרטורה אפס, הוא יבחר את התוצאה הכי מסתברת, בהסתברות אחת, פשוט יבחר תמיד אותה. טמפרטורה קצת יותר גבוהה, הוא כבר ייתן סיכוי גם לתוצאות טובות מאוד, אבל לא הכי טובה, אלא אלה שלידה. בטמפרטורה קצת יותר גבוהה, הוא ירחיב את הגאוסיאן, אוקיי? בטמפרטורה עוד יותר גבוהה הוא ירחיב עוד יותר. אם אתה רוצה שהוא יכתוב שיר, תן לו טמפרטורה גבוהה. אם אתה רוצה תשובה מדעית, מוסמכת, אינפורמטיבית, תן לו טמפרטורה נמוכה, כי שם יש תשובה אחת נכונה ואנחנו לא מחפשים לא השראה ולא יצירתיות ולא כלום, רוצים את התשובה הנכונה ולא בילבולי מוח. אז לכן טמפרטורה זה מין פרמטר שאנחנו משחקים איתו והוא בעצם קובע איך אנחנו מגרילים את המילה של הפלט. עכשיו מתברר שהתהליך הוא כמובן יותר מורכב, תיארתי אותו פה בצורה מאוד סכמטית, כי בטרנספורמר למשל, אנחנו יודעים למשל יש שמה משפט שבנוי נגיד: דני הניח את הספר על השולחן כי הוא היה כבד. מי זה הוא? דני הניח את הספר על השולחן כי הוא היה כבד. הוא זה דני? הוא זה הספר? הוא זה השולחן? מי זה הוא? אתם מבינים שאנחנו כבני אדם מבינים מיד שהכוונה לספר, נכון? דני הניח את הספר על השולחן כי הוא, ספר, היה כבד, אוקיי? אבל איך אתה מסביר למחשב שההוא זה הספר? אולי זה דני, אולי זה השולחן, אולי זה אני לא יודע מה, אולי זה הקדוש ברוך הוא, מי זה ההוא? כן? אהיה אשר אהיה. אז ה ה ה טרנספורמר יודע בעצם לעשות מה שנקרא אטנשן. מה זאת אומרת? הוא יודע לייחס את ההוא למילה הרלוונטית במשפט, ושוב פעם, בסיכויים. יש סיכוי גבוה שזה הספר, אבל יש סיכוי מסוים שזה דני או השולחן, אוקיי? גם פה יש איזושהי התפלגות, יש פה סיכויים. את הדבר הזה משיגים באימון. הוא ראה הרבה מאוד משפטים, והאימון בנה אצלו את ההתפלגות שעוזרת לו להבין האם המילה הוא מתייחסת לספר, לדני או לשולחן. את זה משיגים באימון, אבל אחרי שאימנתי את המערכת, את הטרנספורמר שלי, אז הטרנספורמר שלי יודע לזהות בהתפלגויות שונות למי מתייחסת המילה הוא, אוקיי? ואז בעצם מה שקורה, שאתה מכניס סדרת מילים בתור שאלה, הוא עכשיו לוקח את כל המילים האלה, לא אחת אחרי השנייה, הוא לוקח את כולם ביחד, בונה מהם איזושהי התפלגות, הוא מבין לאיזה מילה שייך ההוא, מפענח את כל המילים העמומות, הופך אותם לאיזשהו וקטור מספרי ויכול לנבא מתוך הוקטור הזה מה תהיה המילה הבאה. עכשיו שוב פעם, לא אכפת לי כרגע הפרטים הטכניים, אבל אני רוצה שתתרגלו לרעיון, זאת אומרת איך הסיפור הזה עובד, עד כמה הוא מכני, ומאיפה נכנסת הסטטיסטיקה למשל. אתם מבינים שהתשובה שנותן מודל כזה היא לא תשובה, אין תשובה אחת נכונה, יש התפלגות, ויהיו תשובות שונות. לפעמים הוא ייתן את התשובה הכי מסתברת, לפעמים הוא ייתן את התשובה הפחות מסתברת. ולמה? שייתן תמיד את התשובה הכי מסתברת, כי לא תמיד התשובה הכי מסתברת היא באמת הנכונה, לפעמים כותבים שיר. אז אתה רוצה לתת למודל איזשהו סוג של גמישות, ואם אתה רוצה לתת לו איזשהו סוג של גמישות, אתה צריך לאפשר לו מרכיב סטטיסטי כלשהו בהחלטות שלו. אז החישוב שאותו עושים הוא חישוב דטרמיניסטי, אין שם סטטיסטיקה. החישוב אומר: המילה שולחן היא בסיכוי 70%, המילה עכבר היא בסיכוי 15%, המילה לא יודע מה היא בסיכוי 8% וכן הלאה, זה חישוב דטרמיניסטי. אבל אחרי שיש לי את כל הסיכויים האלה, עכשיו אני צריך להחליט איזה מילה להוציא. איזה מילה אני מוציא? פה ישנה ישנה כבר מה שנקרא דגימה. הדגימה אומרת: אני דוגם את ההתפלגות הזאת ומוציא איזושהי תוצאה, כשהדגימה נעשית כך ש-70% ייצא חתול, 15% ייצא עכבר, 8% ייצא מצב רוח, אוקיי? משהו כזה, ובאמצעות הדגימה אני מוציא את המילה. עכשיו אני מוציא מילה, ואחרי זה מצרף את המילה הזאת למה שהיה קודם, עושה embedding, כן? יוצר וקטור, מחפש מה המילה הבאה, וכן הלאה. ככה זה עבד לפחות בהתחלה, היום זה כבר מדלגים על זה קצת, אני חושב, אני כבר גם לא בקי לגמרי בפרטים, אבל זה הרציונל, ככה זה עובד באופן עקרוני. ולאט-לאט הוא מוציא לך בעצם את המילים הבאות שצפויות לבוא אחרי השאלה הזאת, ומתברר שהמילים האלה זאת התשובה שאליה אנחנו מחפשים, שאותה אנחנו רוצים לקבל. וכך כך בעצם בנוי מודל שפה גדול. מודל שפה גדול אינו אלא רשת נוירונים שמאומנת על משימות טקסטואליות, לשוניות. אבל כמו שאמרתי, המשימות הלשוניות זה בעצם תרגום של כל המשימות האפשריות עלי אדמות, את הכל אפשר לתרגם לשפה, ואם אתה יודע להתאים בשפה משפט למשפט, אתה בעצם יודע לבצע את כל המשימות האפשריות שאפשר להעלות על הדעת, באופן עקרוני. אין לנו עדיין כן איך זה נקרא? AGI, כן? Artificial General Intelligence, זאת אומרת general הכוונה מודל שיודע לעשות הכל. אז כל פעם יוצאת כותרת חדשה: הנה, אנחנו כבר נמצאים ב-AGI, כן, זה עכשיו זה האחרון של GPT, איך קוראים לו, שכחתי, לא זוכר את השם שלו, זה שיצא עכשיו, GPT-6. אסטרה. הודעות, מה? ג'י אסטרה. כן, בדיוק. אז אני אומר, אז יצאו הודעות: הנה, הגענו ל-AGI, הוא כבר יודע לעשות הכל. טוב, דיברתי איתו, לא ממש, אנחנו עוד לא שם, אבל אבל אנחנו מתקדמים, בסדר? אז ה-AGI זה החלום הזה של משהו שלא טועה, זאת אומרת, הוא יודע לעשות את כל המשימות תיאורטית, כן? או לפחות עושה אותם ברמה טובה, בסדר? תמיד מודדים: הוא ברמה של PhD, זאת אומרת, הוא יודע לענות כמו מי שסיים דוקטורט בתחום הזה. בתחום הזה אנחנו עדיין ברמה של של מאסטר, בתחום הזה אנחנו ברמה של חטיבת ביניים, וכן הלאה. אנחנו רוצים מישהו שידע לענות על כל השאלות ברמה של מומחה, של אקספרט, של של פרופסור. אבל החלום הגדול הוא שיהיה מודל שידע לענות על כל השאלות לא ברמה, ברמה 100%, זאת אומרת, לא, המומחים הרי גם הם לא יודעים הכל, יש לנו עוד מה לחקור, בסדר? ה-AGI תיאורטית, כמובן הכל היפותטי, אבל ה-AGI באופן עקרוני יענה על כל שאלה את התשובה הנכונה, אז אין מה למדוד אותו באיזה רמה הוא נמצא, זאת אומרת, כן, זה ה-AGI זה האולטימטיבי, זאת אומרת, הוא יודע לענות על הכל, את הכל, זהו, הוא הוא לא פרופסור, כי פרופסור גם לא יודע הכל, הוא יודע את מה שיודעים עד עכשיו, במקרה הטוב, כן? הוא יודע את מה שיודעים עד עכשיו, אבל יש לו ידע שאנחנו עוד לא, האנושות עוד לא הגיעה אליו, כן? ברמה עקרונית מודל מושלם יודע לענות על כל השאלות את התשובות הנכונות וזהו. זה זה ה הוא הוא לא פרופסור, הוא אולטרה-פרופסור מושלם של אחרית הימים בכל התחומים, אוקיי? זה ה בהנחה שבאחרית הימים נגיע לכל הידע.

[Speaker D] יותר מזה, גם רוצים, AGI מדברים על זה שהוא גם יעשה מלא פעולות בעולם האמיתי, לא יודע,

[הרב מיכאל אברהם] יכין אוכל, כן, זה כבר זה כבר מודלים שפועלים, מתקדם הלאה. אני מדבר כרגע, בוא נדבר במישור האינטלקטואלי, זאת אומרת, שהוא יודע לפתור בעיות אינטלקטואליות ולענות לשאלות. כמובן שאפשר אחרי זה לתרגם את זה למכונות שגם מבצעות פעולות פיזיות בעולם, זה כבר כמובן פועל יוצא, אבל אני מדבר כרגע במישור האינטלקטואלי בלבד. אז זה זה בעצם תיאור ככה במשיכות מכחול רחבות של מה זה נקרא מודל שפה. עכשיו, אני חושב שזה טיפה עמוס. מי שמכיר אז כמובן יודע יותר טוב ממני, אבל אלה שלא מכירים, אני מניח שזה היה קצת עמוס ולא עד הסוף ברור. אני מאוד ממליץ, תקשיבו שוב להרצאה הזאת, למי שלא למי שלא מחזיק את זה, כי חשוב לי מאוד שנבין את התמונה הזאת, זאת אומרת, התמונה הזאת היא חשובה. לא אכפת לי כרגע בפרטים ואיך בנוי הווקטור הזה ומה מי בא אחרי מי, אבל כן ל להבין את הרעיון של איך התהליך הזה פועל, בסדר? ברמה העקרונית, כי אנחנו נרצה לשאול כל מיני שאלות. כאן גמרתי את הטכניקה פחות או יותר, אוקיי? עכשיו אנחנו נרצה לשאול כל מיני שאלות, מה המשמעות של הדבר הזה? מה מה זה? לחזור חזרה לכל המבואות ולשאול את עצמנו כל מיני שאלות, אחרי שאנחנו כבר מכירים מה זה מחשב, מה זה רשת נוירונים ומה זה LLM. כן, מה זה מודל שפה גדול. ועכשיו אנחנו נשאל את עצמנו, אוקיי, מה מה הדבר הזה אומר ברמה העקרונית. אנחנו נדבר קצת גם על סוכנים ועל ועל tools, כן, על כלים ודברים מהסוג הזה, אבל זה את החלק הטכני פחות או יותר סיימתי. אז אה באמת בצורה מאוד כללית ושוב חלק מזה זה גם בגלל שאני לא לא מומחה, אבל אני חושב שאני פחות או יותר יכול לתאר את ה את הרציונל, איך העסק הזה עובד.

[Speaker E] איך הוא יודע להכליל דברים שלא נדגמו? נגיד מתמטיקה, נגיד, היא לא מה זאת אומרת? מתמטיקה הרי, נגיד, היא לא סופית. בסדר? אני יכול לעשות אינטרפרטציה חישוב למספרים שהוא לא ראה אף פעם בשפה בשפה. אבל אנחנו, כבני אדם, יודעים להכליל, לנסח את החוק ה כאילו, המופשט יותר. מה, בעצם, ה-AI יודע לעשות מתוך מה שהוא ראה כבר קודם?

[הרב מיכאל אברהם] כרגע בזה, למרבה התדהמה, AI חלש מאוד בחיבור מספרים. הוא נכשל בצורה אנושה בחיבור מספרים. היום כבר לא, כי היום הוא מתחבר ל-tools, אבל זה לא, אה, זהו.

[Speaker E] זה ה-tools כאילו סוגר את הפער. כן. מה? הבנתי. זהו, שיערתי שאולי איזה שהוא tools שחיברו לו, כדי שהוא ידע כן, בדיוק.

[הרב מיכאל אברהם] אני אדבר עוד על הפריפריה של ה של המודלים. יש עוד פריפריה. וזה על זה עוד נדבר קצת. לפני שנעבור ל לדיונים ולהשלכות ולמשמעויות ו וכולי. אבל היה חשוב לי ש שנבין מה מה הדבר הזה בכלל אומר, לא לדבר עליו ב בצורה לגמרי מנותקת. אוקיי, עד כאן. אם יש הערות או שאלות? אין. אוקיי. אז שתהיה שנה טובה, גמר חתימה טובה. אנחנו יוצאים לבין הזמנים. בסדר? אנחנו נפגשים אחרי סוכות. יום חמישי הראשון אחרי סוכות.

[Speaker F] תודה רבה. שנה טובה.

[הרב מיכאל אברהם] שנה טובה, גמר חתימה טובה. גמר חתימה טובה, תודה רבה.

[Speaker F] טוב.