“והייתם כאלוהים יודעי טוב ורע”: על פוביות טכנולוגיות (טור 186)

בס”ד

מוקדש לבני יוסי ולמערכת who_is_next.com

בעקבות הטור הקודם בו עסקתי בהיעדר מדיניות של הממשלה בעזה ובכלל, נשאלתי על ידי משה מדוע אני מעדיף מדיניות, תהא אשר תהא, על פני התנהלות מקרית. השבתי לו שמבחינה תוצאתית אולי זה לא תמיד עדיף, אבל אנחנו בוחרים ממשלה ומשלמים לה ולא מסתפקים במחולל רנדומי, אבל מי שמנהל אותנו בפועל נראה כמו מחולל רנדומי. לא חבל על הכסף?! מתוך כך התחלתי לחשוב האם יש לי התנגדות עקרונית לכך שמי שינהל אותנו יהיה מכונה ולא אדם, וניסיתי להבין מדוע. הדבר התקשר לסוגיא אחרת שעלתה כאן כבר בעבר והיא היחס לכלי נשק אוטונומיים ולמכוניות אוטונומיות. גם אלו מקבלים החלטות במקומנו ועבורנו. מכיון שהשאלה גירתה אותי, התיישבתי מיד לכתוב את הטור הבא, והנה אתם חוטפים אותו בזאת.

פוביות טכנולוגיות

מדי פעם עולה בדיון הציבורי חשש מפני הטכנולוגיה שתשתלט עלינו ואולי אף תכחיד אותנו. החששות הללו מתחדדים בהסתכלות אבולוציונית שרואה אותנו כעוד מין שיכול להיכחד על ידי מין אחר או על ידי פגע טבע כזה או אחר (כמו הדינוזאורים). לעתים החששות מהטכנולוגיה מצויים בתחום המוסרי ולא בנושא השרידות. כך למשל, יש חששות מפני שיבוט ויצירת יצורים מלאכותיים באמצעים טכנולוגיים שונים. כאן החשש הוא מעצם העיסוק הזה, גם אם לא מדובר על איום קונקרטי על בני אדם.

כל זה נותן לנו פרופורציות בריאות לגבי היותנו “נזר הבריאה”, האם ועד כמה האדם הוא באמת נצחי ולא בר חלוף. אבל עם כל הכבוד לצניעות, שהיא כמובן חיובית כשלעצמה, החששות הללו, ובעיקר צורת ההבעה שלהם, מעוררים אצלי גיחוך מה. במקרים רבים זה נראה כמו פוביות ילדותיות מפני המכשפה או הדרקון שבארון (טיפול מומלץ: לצפות בסרט המופת מפלצות בע”מ). הטכנולוגיה היא סוג של דרקון מודרני שמאיים אפילו על מבוגרים. כבר כאן אומר שגם לדעתי יש מקום לוודא רגולציה, מוסרית ושרידותית, על תחומים כאלה, אבל הפחדים העמוקים והחששות האפוקליפטיים שנשקפים בדיונים שמתנהלים בנושאים אלו נראים לי משהו הרבה יותר יסודי ועמוק מהחששות שמובעים בהם.

שאלות המסגרת

ניתן להיכנס כאן להגדרת אדם ולשאלה מדוע זה נתפס כאיום גדול יותר מאיומים שנשקפים לנו מבני אדם אחרים. אפשר גם לדון מדוע בכלל חשוב לנו שהגזע שלנו ישרוד (מעבר לשרידותנו האישית כמובן). מה קדושתם של אוספי המולקולות הללו דווקא? החששות הללו מעוררים גם את שאלת המטריאליזם, כלומר האם באמת יש הבדל של ממש בין מכונה לבין אדם (פרט לאחוז הפחמן בגוף)?

נדמה לי שהחששות מפני שיבוט מדגימים היטב את האבסורד הזה. ממה נפשך: אם אנחנו דואליסטים, כלומר סוברים שהאדם אינו רק גוף, אז אין חשש שנוכל לשבט בני אדם. המשובט יהיה אדם אחר, אולי דומה במובנים רבים למקור, אבל לא שונה מהותית מאח תאום. ואם אנחנו מטריאליסטים הסבורים שהאדם הוא רק גוף – אז מה החשש מהשיבוט? מה רע בשכפול של אוספי מולקולות? בקיצור, או שהשיבוט לא אפשרי או שאין בו משהו מאד בעייתי.

הנאומים מלאי הפאתוס והפחד הקמאי מפני עדות משובטים שייווצרו כאן באמת נראים לי ילדותיים ואבסורדיים. לטרנד הזה מצטרפים הרבנים האופנתיים שמתוך החשש הזה מסבירים לנו שיש בזה איסור הלכתי ולא רק מוסרי, להתערב בטבע, “לשחק אלוהים”. אין צורך לציין שזוהי טענה חסרת בסיס הלכתי (ראה להלן). אגב, שרבוב שמו של אלוהים הוא נוהג של רבים מהחוששים למיניהם, הטוענים שהאדם שם את עצמו במקומו של אלוהים. ביניהם גם אתאיסטים גמורים, שכן במישור של הפוביות מותר שיתערבו פחדים דתיים פרימיטיביים גם אצל אנשים נאורים.

אבל בכל זה איני מתכוין לדון כאן. בהמשך רצוני להתמקד בחשש מפני הטכנולוגיה עצמו ולא בבחינת המסגרת המחשבתית שבתוכה הוא נוצר ומתנהל. אם נתמקד בבינה מלאכותית, נראה לי שיש שתי דוגמאות מובהקות שבהן ניתן לראות את התופעה של החששות מבינה מלאכותית: כלי רכב אוטונומיים ונשק אוטונומי.

מכוניות אוטונומיות

בשנים האחרונות חברות לא מעטות עוסקות בפיתוח רכב אוטונומי, כלומר רכב שנוסע באופן אוטומטי ללא נהג. מעבר לקשיים הטכנולוגיים, עולה כאן גם השאלה כיצד הרכב הזה אמור לקבל החלטות מוסריות. הדוגמאות בהן משתמשים הן דילמות הטרולי למיניהן (ראה למשל כאן וכאן). הדילמה המקורית היא אדם שעומד בצומת ובה מזלג של מסילות ברזל עם המעתיק בידו. כעת הוא רואה רכבת מתקרבת, ובהמשך המסילה שוכבים חמישה פועלים ישנים. עליו להחליט האם להעתיק את הרכבת למסלול השני שעליו שוכב אדם אחד או לתת לה להמשיך ולהרוג את החמישה. במקורה שאלה זו הוצגה על ידי הפילוסופית פיליפה פוט כדי לבחון האם המוסר שלנו הוא אינסטרומנטלי (תועלתני-תוצאתני) או דאונטולוגי (מוסר של כוונות ורצונות). בהמשך נעשתה לא מעט עבודה על ידי פסיכולוגים שבדקו את יחסם של אנשים שונים וחברות שונות לשאלה זו. מתברר שהתשובות לשאלה קשורות ללא מעט מאפיינים תרבותיים וסוציולוגיים שלנו. ב-MIT התנהל מחקר ברשת האינטרנט על מיליוני אנשים והוצגו פילוחים שונים של התשובות הללו לפי כל מיני מדדים. לאור זאת עלתה כמובן השאלה כיצד עלינו לתכנת את המכונית האוטונומית שלנו להגיב במצבים כאלה. זוהי הכרעה מוסרית, ויש לנו נטייה לחשוב שהכרעות כאלה אמורות להתקבל על ידי בני אדם.

היו שהתריעו על כך שהמכונית לא תוכל להיות מאומנת לקבל החלטות נכונות בכל המצבים, שכן לא ניתן לחשוב על כולם מראש. אבל בעיה זו, עד כמה שהיא נראית קשה, היא בעיה טכנולוגית בעיקרה. אלו שמעלים אותה בדרך כלל רואים מול עיניהם מכונה שמקבלת סט הוראות שנוגעות לכל המצבים, ומורות לה מה לעשות בכל מצב. בהסתכלות כזאת באמת יש מקום לחשש שהמכונית תיתקל במצבים שלא חשבנו עליהם מראש. אבל בעידן שלנו לא מדובר על תוכנה כזאת אלא על תוכנה של רשת לומדת. זוהי טכנולוגיה שבה התוכנה מקבלת כל מיני דוגמאות של מצבים ואת התשובות הנכונות אליהן, ומתוכן לומדת מה עליה לעשות גם במצבים אחרים. לאחר מכן מעמידים אותה במבחנים על דוגמאות נוספות, וכל משוב על תשובה שהיא נותנת מוכנס כקלט למערכת שמעדכנת את עצמה עד שהיא מגיעה למצב שבו היא נותנת את התשובות הנכונות כמעט בכל המצבים. בטכנולוגיה הזאת אין צורך שהמכונה תפגוש את כל המצבים שעולים על הדעת. אחרי מספיק דוגמאות היא לומדת להגיב נכון לכל סוגי המצבים (היא בעצם מחקה אותנו). יהיו כמובן פספוסים, אבל כאלה יש גם אצל בני אדם (ראו את סטטיסטיקת ההרוגים בכביש). אני משער שכבר ברמה הטכנולוגית שיש היום מספר הנפגעים בכביש שמכיל רק מכוניות אוטונומיות יהיה קטן משמעותית מזה שיש לנו היום.

כדי להבין זאת יותר, חשבו על הדרך שבה אנחנו עצמנו מקבלים החלטות. הרי גם אנחנו לא באמת יכולים לחשוב על כל המצבים מראש ולהכין “תשובות בית ספר” לכל אחד מהם. מי מכם יודע מה הוא יעשה בדילמת הטרולי? וגם אם אחרי מחשבה הוא יודע, האם כשייקלע למצב כזה בלי מחשבה מקדימה הוא בטוח שיקבל החלטה נכונה? ובכלל, מהי החלטה נכונה במצב כזה? גם אנחנו לומדים מדוגמאות שבונות אט אט את החשיבה וקבלת ההחלטות המוסרית שלנו. הרשת הלומדת מנסה לחקות את הדרך שבה האדם לומד, וההנחה היא שאחרי מספיק דוגמאות היא תגיע ליכולת לקבל החלטות נכונות ברוב גדול של המצבים כמו מוחו של אדם. יש לזכור שגם אדם לא מקבל תמיד החלטות נכונות, והרי על הכביש נמצאים מיליוני נהגים בעלי תפיסות עולם ויכולות ומהירויות תגובה שונות מאד זה מזה. סביר מאד שמכונה שמאומנת מספיק על ידי מומחים ובקרות רחבות, תקבל החלטות טוב ונכון יותר ובוודאי מהר יותר מבני אדם, ובוודאי מבני אדם ממוצעים (כמו הנהג הסביר). לכן החלטות ממוחשבות צפויות להיות טובות יותר מההחלטות שאנחנו עצמנו מקבלים במצבים קיצוניים כאלה. כאמור, הרשת הלומדת היא מכניזם שמתיימר לחקות את הדרך שבה אנחנו עצמנו לומדים להגיב במצבים השונים.

הטענות

הטענות שעולות כוללות חששות מתשובות לא נכונות למצבים מסוימים, חששות מתקלות במכונית שהיא בסך הכל מכונה שיכולה כמובן להתקלקל. מעבר לזה, יש מערכות ערכיות שונות לאנשים שונים, והשאלה איזו מערכת תותקן במכוניות האוטונומיות, ומי בכלל יקבע כיצד היא תקבל החלטות ואלו החלטות “נכונות” לכל מצב (ראה כאן).

אבל הטענות הללו נראות לי מופרכות, לפחות במובן ההשוואתי. הרי בני אדם סובלים מיותר תקלות מאשר מכוניות אוטונומיות. לבני האדם שעל הכביש יש גם המון מערכות ערכיות שונות ואף אחד לא בודק אותן לפני שניתן להם רישיון נהיגה. בני אדם לא תמיד מקבלים החלטות מוסריות נכונות, ומי בכלל יקבע מהי החלטה נכונה? בני אדם הם לפעמים פושעים ומונעים מדחפים ויצרים, מה שלא אמור להתרחש במכוניות. מניין כל כך ברור לנו שבני אדם עדיפים על מכוניות במצבים כאלה? לפחות מבחינת השיקול התוצאתי, אני בספק רב אם יש לטענות הללו בסיס.

כדאי לראות כאן דיווח על אירוע שבו מכונית אוטונומית דרסה הולכת רגל עקב תקלה. העולם געש ורעש, ומיד עלו הקולות שאסור לאפשר למכונות לקבל החלטות במצבים כאלה. האם מישהו חושב ברצינות שכשהולכת רגל מתפרצת לכביש נהג אנושי היה בהכרח מצליח להימנע? אם כן, איך יש רק במדינת ישראל מאות הרוגים בכל שנה מתאונות דרכים?

לפחות מבחינת השיקולים הללו, נדמה לי שכבר כיום ניתן לאפשר למכוניות אוטונומיות לנסוע על הכביש, כאשר מאמנים מראש את מערכת קבלת ההחלטות לפי כמה מערכות ערכיות שיעברו את המחוקק או הרגולטור. כל נוסע יכול לבחור איזו מהן תותקן במכוניתו, וכך הדבר יחקה את המצב שקיים כיום כשהנהגים הם אנושיים, ואני מעריך שהתוצאות תהיינה משמעותית טובות יותר. בכל אופן, החששות נראים לי מופרזים מאד.

כלי נשק אוטונומיים

חששות דומים עולים ביחס לכלי נשק אוטונומיים. כלי נשק קונוונציונלי (כוונתי לא אוטונומי) משמש כיום כידו הארוכה של מפעילו, בדיוק כמו מכונית קונוונציונלית. כלי נשק אוטונומי מקבל החלטות בעצמו לפי הסיטואציה בה הוא נמצא. ושוב, עולות כאן טענות דומות מאד (אני מתרשם שהטענות המוסריות כאן תופסות נפח משמעותי הרבה יותר מאשר ביחס לרכבים אוטונומיים, ובצדק). לפני כשנה התפרסם (ראו גם כאן) שמעל מאה מומחים שלחו מכתב לאו”ם ובו דרישה לפקח על כלי נשק אוטונומיים או לאסור אותם כליל. למרבה האירוניה לא מעט מהחותמים עוסקים בעצמם בפיתוח כלי נשק כאלה. בכנס שהסתיים זה עתה בז’נבה הוסכם על קווים כלליים ולא מחייבים לפיתוח ומכירת כלי נשק כאלה, ורבים מוחים על האנמיות של ההסכם הזה. ראו כאן דיווח על פנייה של מומחים ועסקנים לממשלות קנדה ואוסטרליה בדרישה לאסור פיתוח ומכירה של כלי נשק כאלה, כך גם לגבי עובדי גוגל ועוד ועוד.

מהו בדיוק החשש? אם מדובר על עוצמת ההרס וחוסר ההבחנה שלו, הרי זה לא שונה מהותית מנשק גרעיני או נשק ביולוגי וכימי. להיפך, מדובר בנזק פחות בהרבה. ומה לגבי תקלות? כאלה יש גם אצל בני אדם. כך גם קבלת החלטות לא נכונה. כפי שראינו למעלה, מערכות ערכיות שונות יש גם כיום למדינות שונות שמפעילות כלי נשק קונוונציונליים. החששות שהנשק הזה לא יבחין היטב  בין לוחמים ללא מעורבים, או שיקבל החלטות להרוג הרבה מדיי אנשים, או שיבצע הרג רחב היקף קיימים גם ביחס לבני אדם וכלי נשק קונוונציונליים. אם מדינות מפתחות נשק גרעיני ולעולם אין יכולת למנוע זאת, מדוע מישהו חושב שתהיה אפשרות לשלוט על פיתוח ושימוש בכלי נשק אוטונומיים?! ההחלטות האוטונומיות יהיו מהירות יותר וכמובן גם יעילות חדות ומדויקות יותר מאלו של בני אדם, אבל זה רק אומר ששיפרנו את כלי הנשק שלנו. לגבי מידת מוסריותן, לא נראה לי שאמור להיות הבדל בינן לבין החלטות של בני אדם.

יתר על כן, אפילו ההגדרה מהו כלי נשק אוטונומי אינה חדה: הרי טיל דור שלישי גם הוא מקבל החלטות תוך כדי תנועה. יש לא מעט כלי נשק שעושים חישובים שונים בעצמם, ולכן ההגדרה מתי כלי הנשק יכול להיקרא אוטונומי אינה חד משמעית.

מעבר לכל זה, ספק רב בעיניי עד כמה בכלל ניתן לפקח על מדיניות עולמית כזאת. וכי אם ארגון או מדינה יחליטו לפתח נשק אוטונומי כזה, מישהו יוכל למנוע מהם זאת? מישהו בכלל יידע? וכי אנחנו סומכים על כך שהם יימנעו מזה מפני שהאו”ם אסר זאת? ובכלל, גם אם תהיה אמנה כזאת, אני מניח שהעמים שוחרי השלום והדמוקרטיים יקפידו עליה, ואילו הטרוריסטים או הדיקטטורים רודפי הכוח והשלטון ימשיכו לפתח כלי נשק כאלה להנאתם. אז מה הרווחנו בכך שאסרנו זאת? טוב, נוכל לפחות להתנחם שנפלנו בידי רובוטים שמופעלים על ידי אנשים בשר ודם ולא שהרובוטים שלנו עצמנו השתלטו עלינו רחמנא ליצלן (שנאמר: עבדים משלו בנו ופורק אין מידם).

מסקנות ראשוניות

מבחינת התוצאות איני רואה הבדל מהותי בין שיפורים של כלי נשק קונוונציונליים (במובן שאינם אוטונומיים) לכלי נשק אוטונומיים. אם פוחדים מהתוצאות של אובדן שליטה על פעולתו של נשק כזה, זה לא שונה מהותית מהפחד מפני פצצת אטום בעוצמה גדולה. האם עליה יש שליטה? ואם כן – מיהו השולט: האו”ם, המעצמות, או שמא הטרוריסט שמחזיק בה? לכן השיח על הגבלת נשק אוטונומי לא אמור להיות שונה מהותית מהשיח על הגבלת נשק בכלל (ולזה כמובן בהחלט יש מקום). אז למה בכל זאת הוא כל כך שונה ומפחיד?

תחושתי היא שהאימה שמבוטאת בשיח הזה משקפת בעיקר חשש הוא מפני מסירת גורלנו לגורם לא אנושי שמקבל החלטות באופן אוטונומי. לא מדובר בחשש מהתוצאות, אלא בעיקר מעצם השליטה של הגלמים בנו. זה לא חשש אינסטרומנטלי (תוצאתי) אלא ערכי-דאונטולוגי. בעצם נכון יותר לומר שזוהי פוביה, כלומר אימה מודרנית מפני הדרקון או המכשף שבארון. הנפנוף המתמיד בנזקים איומים ורחבי היקף ואבדן שליטה, כלומר בשיקולים תוצאתיים, אינו אלא ניסיון להשתמש בטיעונים מוכרים והגיוניים כדי לבטא את הפוביה הלא רציונלית הזאת. אנשים מונעים מפחד קמאי מפני השתלטות הדינוזאורים הטכנולוגיים, ועוטפים את הפחדים הללו בטיעונים רציונליים של תוצאות הרות אסון. הקריאות להטלת פיקוח על נשק כזה מבטאות פחד קמאי, ולכן אין לבחון אותן במונחי יעילות, אפשרות, או היגיון.

טענתי היא שבשתי הדוגמאות הנ”ל, החשש הוא בעיקר מצורת התחוללות הנזק ולא מעוצמתו. אנחנו חוששים מעצם מסירת גורלנו לידי יצורים מסוג אחר. זהו פחד אבולוציוני מאובדן הריבונות האנושית. מתברר שלמרות הניסיון המר שצברנו לאורך ההיסטוריה עם כל מיני שליטים, רוצחי המונים וכובשים מרושעים, עדיין יש לנו איזה אמון בסיסי בבני אדם, רשעים ככל שיהיו. אנחנו מעדיפים אותם על פני מכונות שמקבלות החלטות באופן רציונלי קר ומנוכר. אולי אנחנו חושבים שהחלטות של בני אדם לא יכולות להיות קשות מדיי. לפחות הן לא תוכלנה לצאת משליטה ולחולל נזק מעבר למטרותיהם המוצהרות. אבל מה אם המטרות המוצהרות עצמן הן בעייתיות? אם יהיה רוצח אנושי שמטרתו היא השמדת העולם או יבשת זו או אחרת, אזי גם אם הדבר יבוצע בלי חריגה מהתכנית המקורית אנחנו בצרות, לא? נכון, אבל אלו צרות של בני אדם, שהם אולי פסיכופתים, אבל לא דמונים וזומבים מכניים חסרי מעצורים. אנחנו מעדיפים רשעים ורוצחים מהסוג המוכר. נאצים חביבים, סטאלינים או פול פוטים נחמדים ומוכרים. כך גם אם נמות בייסורים, לפחות זה יקרה כשהכל ברור לנו. אנחנו נמות ונצרח עם חיוך של היכרות על שפתינו.

בקיצור, מדובר כאן בעיקר בפוביה, הרבה מעבר לחששות הרציונליים שלכאורה מסבירים אותה.

כבילת הדעת

במאמרם של אליאב ליבליך ואיל בנבנישתי, “לוחמה רובוטית ובעיית הכבילה של שיקול-הדעת” (עיוני משפט לט, 2016, עמ’ 567-106), הם סוקרים את הנושא מזוויותיו השונות ועומדים על רוב הטענות שהעליתי כאן ועוד רבות אחרות. לא אוכל לעבור על כולו אבל אתאר את הקווים העיקריים שכן ניתן להתרשם מהמבנה הכולל שאכן מדובר בפוביה.

אחרי התיאור של הבעיה והגדרת המושגים, הם מחלקים את הדיון והטיעונים השונים בסוגיית כלי הנשק האוטונומיים לשני מישורים: האינסטרומנטלי (תוצאתי) והדאונטולוגי (כוונתי-ערכי). טענתם היא שבשני המישורים הדיון הוא מעגלי ובעייתי ולא עומד במבחן ההיגיון. הם עומדים על כך שרוב השיקולים שעולים במישור האינסטרומנטלי רלוונטיים גם לנשק רגיל, והטיעון שייחודי לנשק אוטונומי הוא שרירותי, ספקולטיבי ומעגלי (מניח הנחות אופטימיות לגבי אופי האדם. לשון אחר: פול פוט עדיף על נשק אוטונומי)[1]. מבחינתי זה כמובן ביטוי לכך שהטיעונים לא משקפים את הסיבות האמיתיות לחששות הללו. אלו ניסיונות להציג פוביות במונחים רציונליים, ולכן אין טעם לשפוט אותם בכלי ההיגיון.

השיח הדאונטולוגי שהם מתארים מבוסס על ההנחה שגם אם תוצאתית אפשר להניח שכלי נשק אוטונומיים דווקא ישפרו את המצב מבחינה תוצאתית, עדיין אין להניח החלטות לגבי הריגת בני אדם בידי מערכות אוטומטיות ואוטונומיות. אין לאפשר למכונה לקבל החלטות על הריגת אנשים. למה לא? ככה. מדוע החלטות אלו עצמן לא נחשבות כהחלטות של  בני אדם (אלו שיצרו את המכונה ומפעילים אותה) שמתקבלות בתיווך של המכונה? ככה.

במישור הדאונטולוגי המהותי יותר מובאים שם שני סוגי טענות. הסוג הראשון הוא טענה שהמלחמה היא פעולה אנושית וככזו אסור לה שתתנהל באופן שרק לצד אחד יש סיכון (זה כמו איסור ריבית ההלכתי, שחל רק על השקעה ללא סיכון). לפי טענה זו, הרג חד צדדי אינו מוסרי. נדמה לי שכאן חזרנו לכללי הדו-קרב ולמלחמות האבירים על ליבן של הגבירות העדינות. הטיעון הזה לא חל כשלשני הצדדים יש נשק אוטונומי כמובן. כמו כן, הוא אינו ייחודי למכונות אוטונומיות. זה נכון גם לנשק עוצמתי רגיל (כמו פצצת אטום). כך המלחמה שלנו בעזה אינה מוסרית שהרי אין להם שום סיכוי (אפילו עם ההנהגה הדבילית שלנו). זה לא דו-קרב הוגן. תשאלו, הרי גם על נשק אטומי מנסים להטיל פיקוח. מצפים ממדינה מגורענת לא להשתמש בנשק גרעיני גם אם היא תשלם מחיר כבד. אבל זו טענה שניתן לקבל, שהרי מדובר על מידתיות של הנזק שאתה גורם מול הנזק שאתה מונע לעצמך. לא הורגים מיליוני אנשים כדי להציל שניים. זו לא טענה על כבילת שיקול הדעת אלא על מידתיות. אבל אם הטענה היא בגלל שיקולי אבירות והגינות, כי אז מדובר בסתם איוולת. אם למדינה יהיה איום קיומי, הדרישה שלא תשתמש בנשק גרעיני גם במצב כזה היא מגוחכת (וכמובן גם לא תיושם בפועל).

הסוג השני עוסק בריחוק בין האדם שמקבל את ההחלטה לבין תוצאותיה. כשהמרחק הזה גדול מדיי לא צפויות אצל המפעיל נקיפות מצפון. גם זה כמובן רלוונטי לעוד כלי נשק רבים (כך תמיד אומרים על טייסים להבדיל מחי”רניקים). מעבר לזה, אם ההבדל התוצאתי הוא משמעותי, האם העיקרון המופשט הזה מצדיק נטילת חיים רבים יותר? (קצת דומה לדילמת הטרולי.) זכרו שהדיון הדאונטולוגי נערך בהנחה שנשק אוטונומי יביא לתוצאות טובות יותר מבחינת הנזקים התוצאתיים. מעבר לזה, לא הייתי בונה מגדל גבוה מדיי על נקיפות המצפון של קים ג’ונג און, או פול פוט.

יש שטוענים שבמקרה של נשק אוטונומי אין מי שיישא בתוצאות המעשה. אין את מי להעמיד לדין, כי המכונה היא זו שקיבלה את ההחלטה. אבל גם זו נראית לי טענה בעייתית. מי שתכנן אותה ושלח אותה לפעולה יישא בתוצאות. מעבר לזה, שוב יש לשקול את זה מול ההבדל התוצאתי. האם לא ראוי לחסוך חיי אדם במחיר שאולי לא יהיה לנו את מי להעמיד לדין?

המחברים, כאמור, מבקרים את שני סוגי הטיעון, ומציעים במקומם סוג שלישי: המשפט המינהלי. לטענתם, לחימה היא פעולה שלטונית, בפרט כשהיא נעשית נגד בודדים או ארגונים לא מדינתיים (במקרים אלו רואים אותה כהפעלת כוח שלטוני נגד אנשים פרטיים). ככזו היא מחויבת לשיקולים מינהליים, מה שלא יכול להיעשות על ידי מכונה. לכן הם מציעים לאסור או להגביל נשק אוטונומי מכוח המשפט המינהלי.

הם מסבירים שכללי המשפט המינהלי מחייבים לקחת בחשבון גם את טובת האחר.[2] דבר כזה דורש שיקול דעת מסוג שנשק אוטונומי ואוטומטי לא יכול להפעיל. לכן נדרש לפחות שאחרי ההחלטה האוטונומית של המכונה תהיה אפשרות “ערעור” בפני גורם אנושי. שנית, השימוש בנשק אוטונומי כובל את שיקול הדעת, וזו הבעיה העיקרית בו. הם מוסיפים שכבילת שיקול הדעת מביאה גם להחלטות באיכות ירודה יותר לטווח הארוך. החלטות שאין אפשרות לבקר אותן בזמן אמיתי יכולות להוביל להתנהלות בעייתית יותר.

גם כאן ההנחה המובלעת לכל אורך הדיון היא שהמחשב לא באמת יכול לחקות את ההחלטה האנושית. דומני שהם רואים מולם תוכנה שמקבלת אלגוריתם נתון ולכן מוגבלת בהחלטותיה ובמצבים שמוכרים לה. כמו רבים אחרים בדיונים הללו, הם לא מודעים להבדל בין תוכנות קלסיות כאלה לבין רשתות לומדות. לכן ההנחה שלהם לגבי עדיפות תוצאתית בטווח הארוך אינה מוצדקת (להערכתי כבר בטכנולוגיה שקיימת היום). מעבר לזה, השאלה האם מגבלה משפטית פורמלית כזאת באמת מצדיקה ויתור על כלי נשק שיצילו חיי אדם?

הם מביאים עוד שהדין ההומניטרי הבינלאומי דורש זהירות מתמדת בעת פעולה מלחמתית, וזה לא קיים כששיקול הדעת נמסר למכונה (נכבל). אבל שוב אם התוכנה זהירה יותר מבני אדם, אזי זו גופא הזהירות הכי טובה. בני אדם טועים ולכן נדרשת בקרה. נשק אוטונומי פועל במדויק, והוא בטח לא צריך בקרות של יצורים נחותים וטועים כמונו. נשק אוטונומי יכול להיות דווקא הדרך האופטימלית להגיע לתוצאות של נזק מינימלי, הרבה יותר מבני אדם שמפוקחים על ידי בני אדם אחרים. שוב, התחושה שלי היא שמדובר בטיעונים שבאים לעשות רציונליזציה בדיעבד לתחושות לא רציונליות.

סיכום ביניים

מקריאת המאמר כולו עולה בבירור התחושה שמדובר כאן בניסיון לגייס ולשאוב נימוקים מן הגורן ומן היקב, אבל האמת היא שבעצם מדובר בפוביה, פחד לא רציונלי להימסר בידי החלטות של מכונה. הפחד הפסיכולוגי מפני מצב שמכונות יקבלו שליטה על בני אדם, מכוסה בענן של טיעונים כביכול רציונליים.

עליי לציין שאני מבין היטב את התחושה והחששות וגם אני חש בהם, אבל קשה לי למצוא בהם טעם רציונלי של ממש. לאור מגוון הנימוקים מחד, וחולשתם מאידך, מסקנתי היא שזו בעיקר פוביה פסיכולוגית. אחזור שוב שגם אני בעד רגולציה כלשהי על נשק כזה, עד כמה שניתן, כמו בכל כל נשק אחר. אבל האימה היתירה שמוטלת כאן לעומת כלי נשק ומכוניות ונהגים אנושיים נראית לא מובנת.

התערבות במעשה בראשית: “לשחק אותה אלוהים”

הזכרתי למעלה את החששות משיבוט (ראו סקירה ממצה של פרופ’ שטיינברג כאן). יש חששות אמיתיים ורציניים, אבל עדיין אני מתרשם שמאחוריהם עומדת הפוביה. אנשים מדברים על החשש שישבטו לנו ילדים או אנשים בלונדיניים. אז מה? מה כבר יכול לקרות? למה לעצב את חינוכם וערכיהם מותר לנו, אבל את גופם אסור? להערכתי גם במקרה זה מאחורי השיח הכאילו רציונלי יושבת אותה אימה קמאית מפני אנשים שהופכים לאלוהים ומהנדסים את הבריאה. ההנחה הסמויה (שבעצם גם נאמרת לא  פעם על השולחן) היא שרק לו מותר ליצור דברים ולשנות את הבריאה שלו ואת היקום שלנו. אבל אנחנו כל הזמן משנים את הבריאה ומתערבים בה? וכי ניתוח או ריפוי בצורות שונות אינו התערבות? מדוע זה שונה מריפוי בכלים גנטיים? מדברים על חשש מייצור של גדודי חיילים זומבים בעלי כושר גופני ויכולות ועמידות עילאיות. במה זה שונה מחייל עם שריון או מגן מושלם טכנולוגית, או מסתם פצצת אטום? זה לא באמת שונה, אבל יותר מפחיד. החייל הממוגן הוא בן אנוש רגיל בעטיפה, אבל המשובט הוא דמון, דרקון, ולך תילחם בדרקונים. לכן אני מתרשם שגם כאן, כמו בדוגמאות הקודמות, מדובר בפוביה שמוצגת ועטופה במונחי חששות רציונליים.

פרופ’ שטיינברג באמת טוען שבתפיסה היהודית המקובלת אין מניעה מדברים כאלה (אני חושב שהחששות באים בעיקר מכיוונים נוצריים, גם כאלה שעברו סקולריזציה). ובכל זאת אני מתרשם שיש בשנים האחרונות סחף גם בעולם היהודי אחרי הלך הרוחות הנוצרי (ראו דוגמה לחששות כאלה כאן). בדרך כלל אלו מבוססים על דברי הרמב”ן (ויקרא יט, יט), שכתב על איסור כלאיים:

והטעם בכלאיים, כי השם ברא המינים בעולם, בכל בעלי הנפשות בצמחים ובבעלי נפש התנועה, ונתן בהם כח התולדה שיתקיימו המינים בהם לעד כל זמן
שירצה הוא יתברך בקיום העולם. וצווה בכֹּחם שיוציאו למיניהם ולא ישתנו לעד לעולם
והמרכיב שני מינין, משנה ומכחיש במעשה בראשית… והמינים בבעלי החיים לא יולידו מין משאינו מינו, וגם הקרובים בטבע שיולדו מהם כגון הפרדים יכרת זרעם כי הם לא יולידו…

למותר לציין שהרמב”ן בסך הכל מדבר על טעמא דקרא של כלאיים, ובכל זאת הוא הפך על לא עוול בכפו למקור הלכתי מחייב שמחדש הלכתא גבירתא. אפשר להעלות חששות שונים ולומר שזה לא רצוי, אבל יש לנו גם נטייה מוזרה להפוך הכל להלכה. זה נשמע חזק יותר. וחוצמזה, כך רואים שהקדמנו את כולם, ואנחנו הכי נאורים, וכל החששות והפוביות מקורם בתורה. הפוך בה והפוך בה דכולא בה (ולכן כמובן שום דבר אין בה. טקסט שניתן למצוא בו הכל לא אומר כלום).

בחזרה להיעדר המדיניות

לסיום, אשוב לנקודת ההתחלה, כלומר לשאלתו של משה על הטור הקודם. כעת אוכל לומר שעקרונית אין לי בעיה שתנהל אותי מכונה. להיפך, נראה שהיא תקבל החלטות טובות יותר ממה שמתקבל היום (נכון יותר: שלא מתקבל היום). כדאי מאד שהמכונה תתבסס על תוכנה לומדת. פחות כדאי להשתמש במכונה קלסית שמוזנת באלגוריתם החלטה (כי אז יש חשש שבמצבים החדשים היא תקבל החלטות רעות), והכי גרוע זה כמובן מחולל רנדומי.

אה, בעצם לא. במחשבה נוספת, מחולל רנדומי הוא לא הכי גרוע. מה שקורה אצלנו היום יותר גרוע מכל האפשרויות שמניתי עד כאן. בטור הקודם תיארתי איך כיום מתקבלות החלטות בצורה קשיחה וקבועה בלי קשר לנסיבות ולמטרות כלשהן (כוונתי לנסיבות המהותיות. לא לאירועים ותוצאות מקריים). זו האופציה הכי גרועה. אני מעריך שאפילו מחולל רנדומי יהיה יותר טוב מזה (כי לפחות בחלק מהמקרים הוא יקבל במקרה החלטה נכונה. אפילו שעון עומד…), ובוודאי תוכנה שמוזנת באלגוריתם סביר תהיה טובה יותר, וכמובן הכי טוב זו תוכנה לומדת. אגב, אפילו המגרעת בה עסקנו כאן בהחלטות מכניות, זה שאין בקרה אנושית על ההחלטה האוטונומית של המכונה, קיימת גם במציאות שלנו. הממשלה לא מפיקה שום לקח ולא משנה שום מדיניות. אז במה היא שונה ממכונה? גם אצלנו אין בקרה. ניתן לומר שאנחנו פועלים תחת כבילת שיקול הדעת של כולנו.

אז למה לא כולם מזדעקים? פשוט, כי חסרה כאן הפוביה. המכונה שמנהלת אותנו נראית כמו אדם עם שתי רגליים ושתי אוזניים (רק בלי ראש). הרי לכם שמראה עיניים עלול להטעות, ושלא כדאי לפעול על סמך פוביות.

בשולי הדברים: who_is_next.com

כל זה מזכיר לי את הצעתו של בני יוסי שיחי’, לפתור את בעיית הטילים מעזה. הוא מציע מערכת who_is_next.com, שבנויה כך: אתר באינטרנט (או דף פייסבוק) שבכל רגע נתון מודיע אלו חמישה בתים ברצועת עזה יעלו בעשן השמימה אחרי הטיל הבא. כשנורה טיל על ישראל, ברגע שהוא יוצא לדרך (ובלי שום קשר לתוצאות הירי), באופן אוטומטי וללא מעורבות אנושית, נורות חמש פצצות בעוצמה שמחריבה עד היסוד חמישה בתים ברצועת עזה. מודיעים לתושבי הבתים הללו מראש, כך שאף אחד לא ייפגע ללא צורך (רק תחשבו על חייהם בטרם נורה הטיל). אפשר בעצם להשאיר רשימה ממוספרת ומסודרת של כל הבתים בעזה, ולקבוע מראש את התור לפי מספרי הטילים. אפשר ורצוי כמובן לשלב מוסדות ציבור, מתקנים צבאיים ותעשייתיים, תחנות חשמל ומים וכו’. נדמה לי שאתמול נורו 400 טילים, בחשבון פשוט זה אומר שעזה כעת מונה פחות אלפיים בתים. עוד כמה ימים כאלה והבעייה שלנו תיפתר לשביעות רצון כולם.

מכיון שזה נעשה אוטונומית וללא החלטה אנושית, אזי מי שהחריב את הבתים היה יורה הטיל ולא מדינת ישראל. כל יורה טיל יודע שהוא משמיד חמישה בתים ברצועת עזה והורס את חייהן של עשרות משפחות (אבל לא פוגע בחייו של אף אדם). כעת תושבי עזה והחמאס יוכלו לבוא בטענות ליורי הטילים ואולי הם אפילו יטרחו למנוע את פעולותיהם הברוכות. אף אחד לא יוכל לטעון כלפי מדינת ישראל שהיא פועלת באופן אלים או בעייתי. היא לא עשתה כלום. החמאס או הג’יהאד האסלאמי הרסו את הבתים הללו.

תודו שזו מחשבה מרעננת ולא מקובעת (כראוי ליוסי שליט”א), הגם שהיא דורשת ליבון משפטי (בפרט לאור העקרונות שהוזכרו בטור זה) ואחר (יש כמובן עוד אספקטים ואין כאן המקום). זה כשלעצמו חזון לא נפרץ במקומותינו. בכל אופן, במבט ראשוני אני לגמרי בעד. מישהו אמר כאן שאני רק מתלונן ולא הצעתי אלטרנטיבה?…

 

אחרי כתיבת הדברים, שלח לי בני שלמה קטע שבו ישראל אומן מדבר על אותו רעיון עצמו:

ש. לא מזמן נתת הרצאה ובה הצעת לפתח מערכת אוטומטית, ללא מעורבות אנושית, שמשגרת טיל מיידית לכל שיגור רקטה מרצועת עזה.

ת. אני עובד על זה. המטרה היא באמת שהמערכת תהיה ללא מעורבות אנושית, ללא שליטה אנושית. זה חשוב מאוד, מפני שאם יש שליטה יגידו לנו שאנחנו פושעים ורוצחים ואכזריים. כשאין שליטה, זה כאילו שהם לוקחים את הנשים והילדים שלהם ומעבירים אותם בכוח דרך שדה מוקשים מסוכן. מן הסתם תהיה ביקורת עולמית נגדנו גם אז, אבל לפחות נהיה שלמים עם עצמנו. אם מדובר בירי אוטומטי בתגובה, האיום הוא משכנע: חמאס יורה רקטה על עזה כשהוא יורה רקטה על ישראל“.

 

והרי עיקרי תגובתו של יוסי לפלגיאט:

אני לא מכיר את הפרטים של הפרוייקט של אומן, אבל יש כמה מרכיבים משמעותיים בהצעה של יוסי שאסור להתעלם מהם:

  • צריך לפרסם מראש רשימת בתים שייפגעו בעתיד, לידיעת כל העולם ואישתו וכמובן תושבי הבתים עצמם.
  • לתת התרעה מראש לאנשים כדי למנוע פגיעות בנפש (הן מוסרית והן לצרכים משפטיים).

שני הרכיבים הללו חשובים מפני שכך יש אינטרסנטים ספציפיים שידאגו לנטרול ירי הטילים. וכך גם לא נואשם בפשעי מלחמה (לפחות לא פגיעה בחפים מפשע). חשוב להבין שבלעדיהם אין כאן חידוש משמעותי, ולא פתרון אלטרנטיבי. כפי שכתבתי בטור הקודם, ירי אוטומטי לא משנה את האחריות של אלו שבנו את המערכת. זה נשק אוטונומי (לא ממש), אבל האחריות היא לגמרי על מי שמפעיל אותו ובנה אותו. מה זה משנה אם הוא לוחץ על ההדק או בונה מערכת שלוחצת בעצמה על ההדק?!

[1] כדאי להיזכר כאן בשאלתו של משה שהובאה בתחילת הטור.

[2] זה בעיניי ממש דיון הזוי. הרי האויב פועל להשמדת המדינה, אז מדוע הדין המינהלי אמור לדאוג לזכויותיו? בפרט אם הוא לא אזרח המדינה שלנו. הם דנים בזה לקראת סוף המאמר (עמ’ 103), ואכ”מ.

45 תגובות בנושא ““והייתם כאלוהים יודעי טוב ורע”: על פוביות טכנולוגיות (טור 186)

  1. משה

    סליחה שאני סוטה מעיקרו של המאמר. ובכל זאת, אתה חוזר הרבה על כך שטקסט שניתן להוציא ממנו הכל, אין לו שום משמעות. והפעם גם העתקת מאמר המשנה באבות “הפוך בה והפוך בה דכולה בה”. המפרשים מבינים זאת כפשוטו, שכל החכמות מצויות בה. האם הינך מתייחס לדברי המשנה כאגדה לא מחייבת, או שאתה מפרשה אחרת?

    1. mikyab מאת

      משה, במחילה, זה לא מאד מסובך.
      רציתי לומר שיש לאנשים נטייה להראות שהכל נמצא בתורה. לשם כך משתמשים בביטוי הפוך בה דכולא בה, שזו אכן משמעותו המקובלת (אם כי ממש לא מוסכמת). ועל דרך החידוד אמרתי שלדעתי אכן הכל בה, אבל רק במשמעות שניתן להוציא ממנה הכל כלומר שאין להוציא ממנה כלום.

    2. משה

      הבנתי מצוין. כלומר, אתה רואה באמירה של המשנה, או לפחות בדברי הראשונים דוגמת רבינו יונה, חידוד ציני. ומאחר ולא מצאתי פירושים אחרים, לכן שוב אני שואל כיצד אתה מפרש את המשנה?

    3. משה

      יתכן שלא הבנתי. כעת אני שואל שאלה חדשה, מה לדעתך הפירוש במשנה זו?

      ושוב, סליחה שאני נתפס לנקודה זניחה במאמר הנפלא והחשוב הזה. אפשר להעביר את כל התכתובת בינינו לדף השו”ת.

  2. מרדכי

    טור מעניין. ארשה לעצמי להעלות כאן כמה הרהורים ראשוניים ולא מחייבים.

    דומני שההבדל הגדול בין מכונה לאדם הוא הרגשות. אפשר לטעון שהיעדר הרגשות במכונה הוא יתרונה על האדם, ואפשר לטעון להיפך. אבל אי אפשר להתעלם מההבדל הזה.

    במדרש מפורסם מתארים חז”ל את התלבטותו של הקב”ה טרם בריאת העולם ומספרים שעלה בתחילה במחשבה לברא אותו במדת הדין, אלא שראה הקב”ה שאינו יכול לעמוד ושיתף את מדת הרחמים. לאור הטור הזה – אולי מדת הדין היא הנהגה על פי כללים נוקשים ומתוכנתים מראש בבחינת “יקוב הדין את ההר” ומדת הרחמים היא האפשרות לסטות לעתים מהכללים ולנהוג “לפנים משורת הדין”. אם כך, זה אולי יתרונו של האדם (“צלם אלוהים”) על המכונה.

    אם הדברים נכונים אז יכולה להיות הצדקה מסוימת ל”פוביות”. דומה שכל אדם יעדיף שאם כבר הוא יושב על ספסל הנאשמים, למשל, אז שעל כס המשפט ישב שופט בשר ודם שיש לו גם רגשות (בתנאי שאינו רשע מרושע) ולא “שופטומט” אוטונומי. בדומה לכך, יכול להיות שאנו מעדיפים ממשלה של בני אדם שיש להם גם רגשות ויכולים (אם הם רוצים) לנהוג גם לפנים משורת הדין שהרי “אמר רבי יוחנן לא חרבה ירושלים אלא… שהעמידו דיניהם על דין תורה ולא עבדו לפנים משורת הדין” (בבא-מציעא ל’ ע”ב), וראה רמב”ן עה”ת (דברים ו’ י”ח) ואכמ”ל. לפי זה אין מניעה ליצור מכוניות אוטונומיות, אבל לא היינו רוצים למסור להכרעת רובוטים כל שאלה ובוודאי שלא את הנהגת המדינה וכו’.

    אגב, כעת אני נזכר שלפני שנים רבות ראיתי איזה סרט אימה המתאר השתלטות של רובוטים חכמים וכו’, וכמדומני שיוצרי הסרט בנו את תחושת האימה על כך שהרובוטים חסרי רגש לחלוטין.

    אבל כאמור, כל אלה הרהורים ראשוניים ועדיין צ”ע. (למשל, צריך להגדיר מהו “רגש”, האם באמת לא ניתן לתכנת מכונה “להתרגש”? ועוד שאלות שאינני יודע לענות עליהן ורחוקות מתחום התמחותי).

  3. רוני

    הקישור למאמר של ליבליך ובנבנישתי לא עובד.

    כנראה אחת הסיבות להתנגדות לנשק אוטונומי היא חוסר היכולת להאשים באמת במקרים מסופקים.
    לדוגמה – אם מחבל נורה ונפצע תוך כדי הסתערות, ואחר כך חייל יורה בו בעודו שוכב על הקרקע, אפשר להכניס את החייל לכלא בטענה שהוא לא באמת חשש למטען חבוי אלא פעל ממניעים נקמניים. אבל אם נשק אוטונומי יעשה את זה, אפשר יהיה לעקוב אחרי הלוגים שנרשמו, ולהוכיח שהמכונה באמת הגיעה למסקנה שהמחבל עדיין היווה איום. ואז את מי יהיה אפשר להאשים? ודאי שלא את המתכנת, כי הרי אי אפשר להוכיח שהמסקנה של המכונה לא הייתה סבירה.
    (זה כמובן טיעון קלוש, אבל לא אתפלא אם הוא משפיע מבחינה פסיכולוגית).

    1. mikyab מאת

      אכן כפי שכתבת קלוש ביותר. ברור שזה אפשרי, אבל השאלה האם זה שווה סיכון של חיילים ושל חפים מפשע (בהנחה שהמכונה נותנת תוצאות טובות יותר) רק כדי שיהיה את מי להאשים במקרה של טעות.
      תיקנתי את הלינק.

  4. בן

    היי ד”ר אברהם, אני עוקב סמי קבוע אחרי הפוסטים שלך, וכתמיד נהנתי לקרוא אותך. אם זאת יש לי מספר שאלות מקשות שהייתי רוצה להוסיף.
    כמי שעוסק בטכנולוגיה ביום יום לפרנסתו (אך לא בתחום הבינה המלאכותית), אני מרגיש שלם שלטעון שאני מעריץ את הקידמה את הטכנולוגית וחובב גדול של גאדג’טים. (בקיצור לא רואה סיבה לחשוד בי בהטיה נגד טכנולוגיה)
    אם זאת לדעתי יש בעיות יסודית בבינה מאלכותית שאנשים מפספסים.
    א. בדוגמת הרכב, דווקא החשש עבורי הוא חוסר היכולת להבין הליכי ה”חשיבה” / ניתוח של בינה מלאכותית. יש תחום אקדמי שלם שמנסה להבין איך בדיוק עובדת הבינה המלאכותית הסופית כחרי האימונים. (אני כמובן מדבר על תחום הבינה המלאכותית של deep learning)
    מה שמדאיג אותי הוא כניסתם של מערכות כאלה לתחומים כמו רפואה. (כבר הראו שבינה מלאכותית מצליחה לעשות דיאגנוזות יותר טובות מרופאים במקרים מסוימיים)
    הפחד שלי הוא לא מפני השימוש בהם, אלה מלפני ההסתמכות יתרה שלה.
    אני חושב שזה סביר להניח שעוד 200 שנה כמעט כל שלב הדיאגנוזה ברפואה יעשה ע”י מכונות, ללא בקרה אנושית כלל. היתרון של המכונות מול בני האדם רק ילך ויגדל, עד שלא ישתלם יותר להחזיק רופאים אנושיים לצורך לזה.
    מה שמדאיג אותי זה מה יקרה, אם יום אחד אחרי 150 שנה של עבודה רצופה ללא תקלות, פתאום ללא הודעה המערכות האלו יתחילו לזייף. מה שמפחיד אותו.
    1. האנשים שיפגעו עד שיבינו שהתקלה היא בבינה המלאכותית עצמה ולא בטעויות מסביב.
    2. הפחד שייתכן שלא נוכל לחזור חזרה אחרי שכל חיינו בנויים על טכנולוגיות חכמות החושבות עבורינו.
    לדעתי זה שיקול חשוב שצריך לקחת בחשבון. האין פה פחד לגטימי שייחודי לתחום?
    ב. לנושא הנשק זה קצת הרחבה א’. להבדיל מאדם אחד, או קבוצה של אנשים, שהקשב שלהם מוגבל, הם צריכים לאכול ולישון, הם יחסית צפויים ואפשר לשאת ולתת איתם. מכונות יכולות להיות מקובעות מידי במטרה שלהם כדי שבכלל תוכל לדון איתם, זה מה שעושה אותם אמינות.
    מה קורה שמערכת נשק שמחזיקה ארסנאל של נשק שובר שיוויון? מה קורה שבמשך עשרות שנים מערכות כאלה מאבדות יותר ויותר מנגנוני בקרה יקרים (כי הם הוכיחו את אמינותם) ואז פתאום הם מאבדות את זה? האם אין פה הבדל בכך שזו הפעם היחידה שבו נשק יכול לבצע משימה שלמה באמצעות עצמו? פצצה לא תפוצץ את עצמה, אבל מערכת נשק יכולה תאורתית לפעול לגמרי לבד, וזה יכול לקרות באופן מפתיע, בלי סימני אזהרה מוקדמים. האם אין פה חשש מוצדק?

    1. mikyab מאת

      שלום בן.
      אני לגמרי מקבל. אלו טיעונים ענייניים ויש לתת עליהם את הדעת. אני דיברתי על הפוביות שמוחבאות מאחרי הטיעונים הענייניים. בהחלט צריך לתת את הדעת על הסיכונים הממשיים. כמו בכל נשק או רכב. גם בנשק שובר שוויון, אני בכלל לא בטוח שלתת אותו בידי בני אדם זה בטוח יותר.

      אגב, הפוביות הללו קיימות גם אצל חובבי טכנולוגיה מובהקים. למעשה לפעמים אצלם זה קיים יותר כי באינטליגנציה מלאכותית נוטים לראות ברובוטים אנשים ולהיפך. לכן זה שאתה חובב גדג’טים וכדומה לא רלוונטי לשאלת הפוביות. יש פוביה אחרת (כמו שיש לי), של רתיעה משימוש בטכנולוגיה וחוסר יכולת להסתדר איתה. זה משהו אחר.

    2. בן

      ראשית תודה על התגובה והתייחסות, שמח לשמוע שאיני לבד בביקורתי.
      ראשית הערה קצרה לגבי נשק שוב שיוויון ונשק להשמדה המונית. אני מניח שמוכרת לך דוקטורינת Mutual assured destruction. מה שתמיד גורם לי לחדוב שאולי ערך שבני אדם מסויימים מחזיקים בנשקים כאלו.

      לגבי הפוביות, מעניין. אני עד לא מזמן הייתי מוקף באנשים שחובבים בינה מלאכותית, ועסוקים בלחשוב איזה בעיות ניתן לפתןר באמצעותה, וכיצד היא תייעל את העולם. את הטענות שלי הם ביטלו משלל סיבות שונות.
      אולי כדאי שעשה סקר מקביל בסביבה החדשה שלי. (שגם היא מלאה באנשים טכנלוגיים)

    3. mikyab מאת

      אכן מוכר לי. כשמדובר בנשק שובר שוויון, אז באמת ההדדיות היא מכניזם רב עוצמה, כמובן בהנחה שהשחקנים הם רציונליים מחד (לא מפעילים נשק במצב שגם הם יושמדו) ואמיצים ונחושים מאידך (כלומר שאם באמת צריך ניתן לסמוך עליהם שיפעילו את הנשק. דמוקרטיות הססניות שלא יפעילו את הנשק אלא במצבים רחוקים ואחרי המון היסוסים עלולות לספוג מכה קשה בתקווה שלא יפעילו או לא יספיקו להפעיל אותו). שני אלו הם תנאי לאיזון של האיומים ההדדיים.

  5. י.ד.

    אני חשבתי על משהו אחר. לשלם להם 15 מיליון דולר ואז לקנוס אותם על כל אירוע חריג:
    אירוע על הגדר 100,000
    חתיכת הגדר 500,000
    טיל 1,000,000
    הריסת מנהרה 5,000,000
    שלושה חודשי שקט בונוס 2,000,000

    1. הצעה אחרת לי"ד)

      להם יש אובססיה לחפור מנהרות, לנו יש אובססיה להוציא אינספור עלוני שבת. נגיע איתם להסדר שמינהרותיהם ישמשו לגניזת עלוני השבת. הם יקבלו תשלום עבור כל שקית 5 ש”ח לשקית קטנה; 8 ש”ח לבינונית; 15 ש”ח לגדולה9. לנו יתפנה נדל”ן יקר ערך, וכולם יהיו מרוצים.

      בברכה, ש”צ ל”ץ, פלא יועץ לשר השלום

  6. עופר גזבר

    הרב, אני מבין שההצעה של יוסי בעיקר מובאת כאנקדוטה למאמר, אבל בכ”ז יש לי שאלה שקצת הפריעה לי בקשר אליה- הרב אמר שזו חשיבה מחוץ לקופסא, ולא הבנתי למה, האם ההצעה היא לא ההצעה הרגילה להגדיל את התגובה שמגיבים היום כדי ליצור הרתעה (מדיניות רופס וכו’..)? יכול להיות שלא הבנתי את הנק’ של השלכת האחריות, אבל מאחר ומדינת ישראל היא זו שמפעילה את המערכת ויש ביכולתה להפסיק אותה ברור שהיא זו שאחראית על הריסת הבתים. (זה שזה נעשה באופן אוטומטי לא נראה לי משנה את נושא האחריות…) והנק’ של פרסום הרשימה אמנם ייצור לחץ על התושבים ועל חמאס ויפחיד את הגרים בבית, אבל כנראה שהתושבים מפחדים בכל מקרה ורק אין להם ממש שליטה על חמאס, לא? וחמאס הרי ממילא יודעים שישראל תגיב בהפצצות על כל מתקפת טילים (נניח..) אז שוב, בעצם ההצעה היא להגדיל את התגובה שיש כיום, לא?

    1. mikyab מאת

      לדעתי יש לזה אפקט אחר לגמרי. ראה תוספת שהוספתי בסוף הטור כעת. ובהחלט יש השפעה לתושבים על החמאס, למרות שכולם מנסים למכור לנו את הלוקש שהם שבויים שלו.

  7. ישי

    האם היית מעדיף שכספי ההשקעות שלך ינוהלו באופן רנדומלי? אני חושב שכן כי זה יניב תשואה גבוהה יותר לאורך זמן. זאת למרות שאתה משלם על הניהול המטופש שלהם. כמובן שאם כבר רנדומלי עדיף שלא ייקחו כסף, אבל אני מוכן לוותר על התחושה שלי בשביל תשואה גבוהה יותר. עד לא הרבה שנים באמת לא הייתה שום אפשרות להשקיע בלי שיקול הדעת האנושי למרות שמחקרים הראו שקופים (כפראפרזה, דומני) עושים זאת טוב יותר.

    1. ישי

      הרעיון של תעודות סל מתבסס על המחקרים על ניהול רנדומלי. ניהול רנדומלי הוא בתוחלת קנייה של כל השוק (עם תשלום מיותר) של עמלת קנייה ומכירה), ולכן יניב בדיוק אותה תשואה כמו כל השוק. מתמטיקה פשוטה שגם פיזיקאי אמור לדעת.
      רק צריך באמת להוסיף שהבחירה לא נעשית באותו משקל לכל חברה אלא לפי גודלה (גם רנדומליות צריך להגדיר).

    2. ישי

      זו אכן בחירה מקרית של נייר בהתפלגות אחידה.
      אין שום סיבה בעולם להגדיר את זה על פי רשימת החברות. יש לי 100 ש”ח ואני לא יודע מה לעשות איתם, אז אני הולך לבורסה רואה ערימה גדולה של ניירות שכל אחד מהם שווה ש”ח ובוחר 100 באופן רנדומלי עם התפלגות אחידה בין כל הניירות.
      הבעיה שלך היא שה’רנדומליות’ שאתה מדבר עליה בטור היא לא באמת רנדומליות. הרי אתה לא באמת חושב שהקבינט בוחר באופן רנדומלי עם התפלגות שווה תגובה מתוך קבוצת כל התגובות האפשריות. אתה בסך הכול מנסה לומר שההחלטות טיפשיות ולא מוצאות חן בעיניך, ורוצה לומר זאת באופן אינטליגנטי וקורא לזה רנדומליות, ואז מתפלפל בזה, וכשמביאים לך מקרה של רנדומליות אמיתית אז אתה מאשים שדווקא הוא לא באמת רנדומלי.
      אני מציע שקודם תנסה להגדיר בכלל את הרנדומליות שאתה טוען לה בהחלטות הקבינט.

    3. mikyab מאת

      אם היית טורח לקרוא לא היה צורך בדיון. בסוף הטור הסברתי בפירוש את היחס בין זה לרנדומליות.
      תוספת הסבר: למרות ששעון עומד אינו רנדומי, היחס (קורלציה) בין הוראת שעון עומד לשעה האמיתית דומה לקורלציה של שעון רנדומי לשעה האמיתית. מדיניות קבועה לנסיבות משתנות זה כמו רנדומיות for all practical purposes.
      אבל אצלנו זה אפילו גרוע יותר, כי שעון עומד מראה את השעה הנכונה פעמיים ביממה אבל שעון מפגר (בפער קבוע) לא מראה שעה נכונה אף פעם. מדיניות קבועה שלא פועלת ובכל זאת ממשיכה כל הזמן באותה צורה זה כמו שעון מפגר ולא כמו שעון עומד. זו רנדומיות שמביאה לאופטימום את הכישלון (כישלון מובטח). על כך כבר אמר מוהרר”א איינשטיין שרק אידיוט חושב שאם הוא יפעיל שוב ושוב את אותה מדיניות שנכשלת בסוף זה יצליח.

  8. יאיר צ

    ערב טוב הרב.
    האם יש בידיך דחייה יותר עניינית של דברי הרמב”ן מאשר הקביעה שזהו טעמא שקרא ואין ללמוד ממנו?
    הרי אם באמת זהו טעמה של מצוות כלאיים, הרחבה של האיסור ליצירת יצורים נוספים תהיה סבירה.

    1. mikyab מאת

      ראשית, למה אני צריך להביא דחייה. אני יכול סתם לא להסכים כי לא נראה לי שזה ההסבר. מעבר לזה, להלכה לא דורשים טעמא דקרא, בפרט טעם כה מפוקפק. שלישית, פירוש על התורה אינו מקור הלכתי. רביעית, היכן אתה עוצר באיסור להתערב. האם יש איסור להתרפא? לעשות ניתוח? ריפוי גנטי? בקיצור, זה חסר שחר (לאו דווקא הטעם עצמו אלא ההשלכות ההלכתיות שעושים לו).
      ראה בלינק למאמרו של שטיינברג הרבה מקורות שמנוגדים לרעיון הזה.

  9. נדב

    ר’ מיכאל, תודה על מאמר מרתק.
    האם אתה באמת מוכן שמדינות שיש להן את היכולת הטכנית לכך, יתקינו מערכות הגנה אוטונומיות דומות, אשר יכוונו בין השאר לישראל, ואשר יופעלו על מטרות ישראליות אזרחיות כתגובה לירי ישראלי (או לירי של כל מדינה אחרת), העשוי למעשה להיות מופעל בכלל ע”י פצחן (איראני או אחר) היושב במקום אחר?
    האם אינך רואה את הסכנות הכרוכות בויתור מוחלט על הסוכנות (agency) האנושית בלחימה? והאם אינך מבין שויתור כזה יגיע במוקדם או בפחות מוקדם לאזרחות, כלומר לאופן שבו מופעלת המשטרה? האם אתה מוכן שרובוטים יעצרו אותך ברחוב, ויקחו אותך לבית משפט רובוטי שיכריע לגבי גורלך (באמצעות אלגוריתמים מבוססי רשתות נוירוינים, כמובן)? אנא אל תפטור זאת בנימוק הלא ענייני של ‘פוביה’. חלק ניכר מהדברים הללו הם טכנולוגיות קיימות, או שיבשילו בשנים הקרובות.

    1. mikyab מאת

      ואם אני לא מוכן, זה לא יקרה? לדעתך כשתהיה אמנה נגד נשק כזה חמאס לא ינסה להגיע למצב שיש לו נשק כזה? אנחנו לא יורים טילים מכוונים לכתחילה על אזרחים. אז גם חמאס לא עושה זאת? אתה מדגים בדיוק את דבריי על המגבלות הללו שרק הדמוקרטיות יטילו על עצמן וכך יפסידו סופית במאבק.
      האפוקליפסות הללו (שהן כמובן בדיוניות לגמרי: למה אם מדינת ישראל בונה נשק כזה נגד חמאס היא גם תוכל לצייד את המשטרה בנשק כזה, ולהיפך? אלו דברי הבל, במחילה) צריכות להיבדק מול האלטרנטיבות.

      אגב, כשאני מדבר על פוביה אין לזה שום קשר לקיומה של הטכנולוגיה. בדבריי אני מדבר על טכנולוגיות קיימות, ועדיין טענתי היא שהפחד מפניהן אינו רציונלי. לא בגלל שאין טכנולוגיה כזאת אלא מפני שגם אם היא ישנה הפחד מפניה לא מוצדק או לפחות לא פרופורציוני.

    1. ומותר האדם מן המכונה: אינואיציה ויצירתיות

      בס”ד עש”ק וירא יעקב את פני לבן ע”ט

      אף שגם אדם יכול לטעות ואף לטעות בגדול, יש לאדם יתרון בכל שיש לו אינטואיציה ולא רק לפי כללים נוקשים, ולכן יכול הוא להבחין במהירות בטעויות ולמצוא במהירות דרך יצירתית לתקנן או לכה”פ למזער נזקים.

      ומשל, באחת המלחמות נקלעו חיילים שלנו למצב שחיילים מיחידה אחרת חשבו שהם מכוחות האוייב והחלו לירות לעברם. עמד אחד החיילים ופשט את ה’טלית-קטן’ שלו והניפה אל-על, וכך הבינו החיילים בכוח היורה שהוא יהודי וחדלו לירות.

      זהו מותר האדם שיש לו אינטואיציה המאפשרת לו להבחין במצבים שלא ניצפו מראש, ולמצוא להם פתרונות יצירתיים.

      בברכה, ש”צ לוינגר

    2. והצעה לשילוב: נשק אוטונומי מפוקח מרחוק בידי אדם

      ניתן להציע שילוב של יתרונות הנשק האוטונומי והאדם גם יחד:

      בשדה הקרב יעמוד הכלי האוטונומי ויחסוך בכך סיכון חיי החייל המםעילו, אך הרחק במקום מוגן יעמוד אדם שיםקח על פעולות הכלי האוטונומי, ובשעת הצורך יתערב וישגר את ההוראות הראויות כדי שהכלי האוטונומי לא יגרום לאסון.

      הרי כך מנהל הקב”ה את עולמו: מחד הוא מאפשר לחוקי הטבע ובני אדם לפעול, ומאידך ‘עיניו פקוחות על על מעללי איש’ ושומר לבל תביא ה’רשות הנתונה’ לקלקול העולם ועיוותו.

      בברכה שבת שלום, ש”צ לוינגר

  10. מרדכי

    האם פשיטא לך שלא ניתן לתכנת מכונות להתרגש משום שאינך מטריאליסט? לכאורה, אם צודקים הפסיכיאטרים ומדעני המוח המטריאליסטים שטוענים שרגש גם הוא בסך הכל רצף תגובות ביוכימיות או ביו-חשמליות במוח, אז למה שלא תהיה אפשרות (לפחות תיאורטית) לתכנת מכונות להתרגש?

    אשר למידת הרחמים – איך אפשר לתכנת מכונה להפעיל את הפונקציה ההתנהגותית “רחמים”? הרי לא היינו רוצים להפעיל את מדת הרחמים בכל מצב, כי אז אין דין, ולא היינו רוצים להפעיל את מדת הדין בכל מצב – כי אז אין רחמים, ולא היינו רוצים רובוט שמרחם על אכזרים ומתאכזר לרחמנים וכו’. לא ברור לי כיצד ניתן להחליף כאן שיקול דעת אנושי (או אלוהי) בתכנות רובוטי.

    אינני מביע כאן דעות (כי אינני מומחה לתחומים אלה) אלא מעלה שאלות בלבד. הנקודה שמטרידה אותי היא מה בכל זאת מותר האדם על המכונה בתחום שיקול הדעת? או שמא מותר האדם מן המכונה אין כי הכל הבל?

    אשר לרנדומליות – אנקדוטה משעשעת. לפני שנים רבות (כשעוד הייתי סטודנט) קראתי על ניסוי “משחק עסקים” שנערך ביפאן. (משחק עסקים הוא תרגיל שנערך במחלקות למנהל עסקים. כל סטודנט מקבל X דולר וירטואליים והוא אמור להשקיע בשוק ההון על פי שיקול דעתו. אח”כ מנתחים את התיקים שבנו הסטודנטים ומשווים תשואה, סטית תקן וכו’). בניסוי ההוא השתתף נוסף על הסטודנטים גם קוף שקיבל ממתק בכל פעם ש”השקיע” את ה”דולרים” שהוקצו לו. (“מעשה קוף בעלמא” כפשוטו). הסתבר שהתיק ש”ניהל” הקוף הניב את התשואה הגבוהה ביותר (אינני זוכר אם הוא היה גם בעל סטית התקן הנמוכה ביותר). האם היית ממנה קוף לנהל את תיק הפנסיה שלך?…

    1. mikyab מאת

      לכל הדעות התרגשות אינה תגובה כימית. מי שאומר כך, גם אם הוא מטריאליסט הוא מבולבל. לכל היותר ההתרגשות היא תוצאה של התרחשויות כימיות. התרגשות היא אירוע מנטלי, אלא שלדעת המטריאליסטים המנטלי אינו אלא תוצא של הפיזיולוגי ולא דורש הנחה לגבי קיומה של עוד סובסטנציה (רוחנית).

      לגבי הרחמים, ודאי שלא מפעילים רחמים בכל מצב, אבל מפעילים אותם לאור שיקולים שונים (שאינם בהכרח שיקולי דין). את השיקולים הללו עצמם אפשר באופן עקרוני לחקות על ידי מכונה.

      ברור שהייתי ממנה קוף, ואנשים אכן עושים זאת (מנהלים את השקעותיהם על ידי תוכנה או הגרלה רנדומלית כלשהי. ראה המו”מ שלי עם ישי). במקום שבו רנדומליות מניבה תוצאות טובות למה לא למסור את גורלי בידיה. מן המפורסמות הוא שמנהלי תיקים לא מכים את השוק, ולכן למסור את גורלך לשוק זו מדיניות הגיונית וסבירה בהחלט. הגרלה שבנויה נכון עושה זאת.
      אגב, ניסוי כזה כמובן לא אומר כלום. השאלה אם יעשו הרבה ניסויים כאלה מה תהיה תוחלת התוצאה של הקוף. זה מה שקובע.

  11. גרשון בר-און

    שלום!

    מבחינתי החשש משימוש לרעה של הבינה המלאכותית, היא השימוש לרעה על ידי פושעים, טרוריסטים, וממשלות טוטליטריות.

    תהליך דומה קרה לדוגמה בטכנולוגיית הטילים. פעם, רק מדינות פתחו טילים ככלי נשק, משום שהפיתוח והייצור היו יקרים. אבל היום, הטכנולוגיה הזו זולה וידועה ברבים, וכל תנועת שחרור קיקיונית מייצרת לעצמה טילים ומשתמשת בהם לסחיטה ואיומים (ראינו את זה השבוע: תנו לנו כסף, אמר החמס, אחרת אנחנו יורים טילים, ויהיה לכם קשה מאוד לעצור את זה).

    עכשיו תתאר לעצמך מה יקרה כאשר רחפן או נחיל רחפנים נושאי רימון יוכלו להתקיף מטרות באופן אוטונומי. יהיה קשה מאוד לעצור אותם (אם הם אוטונומיים, לא יעזור לפגוע במשלחיהם תוך כדי המעשה). זה לא יהיה קשה, כי הטכנולוגיה נגישה יותר ויותר.

    זה יפתח דלת לרודנות חדשה על ידי ארגוני טרור, או אפילו סתם פושעים “רגילים” שישתמש בטכנולוגיה לסחיטה.

    הרחפן האוטונומי הוא רק דוגמה. ועוד דוגמה: התקפות סייבר שכבר קורות היום הם גם סוג של נשק אוטונומי, שכבר גורם לנזק ועלול בעתיד לעלות לנו ביוקר.

    זה לא כל כך רחוק…

    1. mikyab מאת

      אני לא מבין היכן לא הייתי ברור. לא אמרתי שהבעיה היא שאין סכנה או שהטכנולוגיה לא קיימת. טענתי שהחששות מופרזים ולא נוגעים דווקא לנשק אוטונומי. אם ייפול לידיהם נשק אטומי זה בסדר?! עוד טענתי שהסכמים בינלאומיים כאלה לא יכולים למנוע ארגונים ומדינות מפיתוח של נשק כזה, ואז ייצא שרק לרעים הוא יהיה ולטובים לא.
      טרור עולה ביוקר ומסוכן. זה לא חידוש גדול. השאלה האם זה מצדיק את הנימוקים המופרכים ביחס לנשק אוטונומי.

  12. משה ג

    לגבי הנשק – נשקים שוברי שוויון רבים יוצרו כדי לחסוך בחיי אדם או מתוך רחמים: לוחמה אטומית (כדי להכריע במלחמת העולם השניה -הצליח), לוחמה כימית (כדי להכריע במלחמת העולם הראשונה – לא הצליח), מכונת יריה (ע”י רופא צבאי אמריקאי, שהיה מתוסכל מהצורך של חיילים לחשוף את עצמם לאש).
    האם אין חשש שנשק שובר שוויון רק יעלה את הסיכון?
    אמנם נכון, שכאן מדובר בנשק שהוא לא רק חזק יותר אלא גם הגון יותר, כי הוא לא עושה טעויות אנוש (בנוסף לזה שהוא יעיל יותר)

    ובקשר לחששות – באחד הספרים של דאגלס אדמס מתוארת סצנה (כחלק מסרט מצויר), של טייס שמפעיל טייס אוטומטי במטוס שעומד לפני התרסקות, ואז יוצא רובוט, לוקח את המצנח האחרון, וקופץ החוצה – הוא בעצם עושה את הפעולה הסבירה אבל לא לטובת מי שהפעיל אותו. במכונות רגילות זה לא יכול לקרות, כי הן מתוכנתות לפי חוקי הרובוטים של אסימוב, להעדיף חיי אדם. אבל האם אין סיכון מסויים שמכונות שלומדות ילמדו גם דברים שאנחנו רוצים שהן לא ידעו?

  13. משה נ

    אגב סדרת מופת, לא יודע אם הרב שמע על סדרה בשם מראה שחורה (black miror) ובה מובאות כל הסצנות והסיטואציות האפשריות של נזקי הטכנולוגיה בעתיד. אחד המוטיבים שחוזרים שם על עצמם הוא האפשרות להעתיק D.N.A של בן אדם לתוך מכשיר אלקטורוני/טכנולוגי כלשהו ולשחק בו כרצונך, כולל התעללויות מזוויעות. יוצר הסדרה טען שלכל התמכרות ישנה תופעת לוואי ומוכרח שגם בזה יהיו השלכות גרועות. שוב, תמיד ניתן לטעון שזוהי פוביה, אבל בהחלט העניין מעורר מחשבה ויש לתת עליו את הדעת.

    1. mikyab מאת

      נדמה לי שגם כאן רואים אי הבנה של הכותב למהותו של AI. הוא חושב שמדובר בתוכנה שמיישמת שיקולים שמתוכנתים לתוכה על ידי בני אדם, ולא רואה מול עיניו רשת נוירונים לומדת. (נכון שגם במערכת לומדת הפידבק שמלמד אותה נוצר על ידי בני אדם)

השאר תגובה