"והייתם כאלוהים יודעי טוב ורע": על פוביות טכנולוגיות (טור 186)

בס"ד

מוקדש לבני יוסי ולמערכת who_is_next.com

בעקבות הטור הקודם בו עסקתי בהיעדר מדיניות של הממשלה בעזה ובכלל, נשאלתי על ידי משה מדוע אני מעדיף מדיניות, תהא אשר תהא, על פני התנהלות מקרית. השבתי לו שמבחינה תוצאתית אולי זה לא תמיד עדיף, אבל אנחנו בוחרים ממשלה ומשלמים לה ולא מסתפקים במחולל רנדומי, אבל מי שמנהל אותנו בפועל נראה כמו מחולל רנדומי. לא חבל על הכסף?! מתוך כך התחלתי לחשוב האם יש לי התנגדות עקרונית לכך שמי שינהל אותנו יהיה מכונה ולא אדם, וניסיתי להבין מדוע. הדבר התקשר לסוגיא אחרת שעלתה כאן כבר בעבר והיא היחס לכלי נשק אוטונומיים ולמכוניות אוטונומיות. גם אלו מקבלים החלטות במקומנו ועבורנו. מכיון שהשאלה גירתה אותי, התיישבתי מיד לכתוב את הטור הבא, והנה אתם חוטפים אותו בזאת.

פוביות טכנולוגיות

מדי פעם עולה בדיון הציבורי חשש מפני הטכנולוגיה שתשתלט עלינו ואולי אף תכחיד אותנו. החששות הללו מתחדדים בהסתכלות אבולוציונית שרואה אותנו כעוד מין שיכול להיכחד על ידי מין אחר או על ידי פגע טבע כזה או אחר (כמו הדינוזאורים). לעתים החששות מהטכנולוגיה מצויים בתחום המוסרי ולא בנושא השרידות. כך למשל, יש חששות מפני שיבוט ויצירת יצורים מלאכותיים באמצעים טכנולוגיים שונים. כאן החשש הוא מעצם העיסוק הזה, גם אם לא מדובר על איום קונקרטי על בני אדם.

כל זה נותן לנו פרופורציות בריאות לגבי היותנו "נזר הבריאה", האם ועד כמה האדם הוא באמת נצחי ולא בר חלוף. אבל עם כל הכבוד לצניעות, שהיא כמובן חיובית כשלעצמה, החששות הללו, ובעיקר צורת ההבעה שלהם, מעוררים אצלי גיחוך מה. במקרים רבים זה נראה כמו פוביות ילדותיות מפני המכשפה או הדרקון שבארון (טיפול מומלץ: לצפות בסרט המופת מפלצות בע"מ). הטכנולוגיה היא סוג של דרקון מודרני שמאיים אפילו על מבוגרים. כבר כאן אומר שגם לדעתי יש מקום לוודא רגולציה, מוסרית ושרידותית, על תחומים כאלה, אבל הפחדים העמוקים והחששות האפוקליפטיים שנשקפים בדיונים שמתנהלים בנושאים אלו נראים לי משהו הרבה יותר יסודי ועמוק מהחששות שמובעים בהם.

שאלות המסגרת

ניתן להיכנס כאן להגדרת אדם ולשאלה מדוע זה נתפס כאיום גדול יותר מאיומים שנשקפים לנו מבני אדם אחרים. אפשר גם לדון מדוע בכלל חשוב לנו שהגזע שלנו ישרוד (מעבר לשרידותנו האישית כמובן). מה קדושתם של אוספי המולקולות הללו דווקא? החששות הללו מעוררים גם את שאלת המטריאליזם, כלומר האם באמת יש הבדל של ממש בין מכונה לבין אדם (פרט לאחוז הפחמן בגוף)?

נדמה לי שהחששות מפני שיבוט מדגימים היטב את האבסורד הזה. ממה נפשך: אם אנחנו דואליסטים, כלומר סוברים שהאדם אינו רק גוף, אז אין חשש שנוכל לשבט בני אדם. המשובט יהיה אדם אחר, אולי דומה במובנים רבים למקור, אבל לא שונה מהותית מאח תאום. ואם אנחנו מטריאליסטים הסבורים שהאדם הוא רק גוף – אז מה החשש מהשיבוט? מה רע בשכפול של אוספי מולקולות? בקיצור, או שהשיבוט לא אפשרי או שאין בו משהו מאד בעייתי.

הנאומים מלאי הפאתוס והפחד הקמאי מפני עדות משובטים שייווצרו כאן באמת נראים לי ילדותיים ואבסורדיים. לטרנד הזה מצטרפים הרבנים האופנתיים שמתוך החשש הזה מסבירים לנו שיש בזה איסור הלכתי ולא רק מוסרי, להתערב בטבע, "לשחק אלוהים". אין צורך לציין שזוהי טענה חסרת בסיס הלכתי (ראה להלן). אגב, שרבוב שמו של אלוהים הוא נוהג של רבים מהחוששים למיניהם, הטוענים שהאדם שם את עצמו במקומו של אלוהים. ביניהם גם אתאיסטים גמורים, שכן במישור של הפוביות מותר שיתערבו פחדים דתיים פרימיטיביים גם אצל אנשים נאורים.

אבל בכל זה איני מתכוין לדון כאן. בהמשך רצוני להתמקד בחשש מפני הטכנולוגיה עצמו ולא בבחינת המסגרת המחשבתית שבתוכה הוא נוצר ומתנהל. אם נתמקד בבינה מלאכותית, נראה לי שיש שתי דוגמאות מובהקות שבהן ניתן לראות את התופעה של החששות מבינה מלאכותית: כלי רכב אוטונומיים ונשק אוטונומי.

מכוניות אוטונומיות

בשנים האחרונות חברות לא מעטות עוסקות בפיתוח רכב אוטונומי, כלומר רכב שנוסע באופן אוטומטי ללא נהג. מעבר לקשיים הטכנולוגיים, עולה כאן גם השאלה כיצד הרכב הזה אמור לקבל החלטות מוסריות. הדוגמאות בהן משתמשים הן דילמות הטרולי למיניהן (ראה למשל כאן וכאן). הדילמה המקורית היא אדם שעומד בצומת ובה מזלג של מסילות ברזל עם המעתיק בידו. כעת הוא רואה רכבת מתקרבת, ובהמשך המסילה שוכבים חמישה פועלים ישנים. עליו להחליט האם להעתיק את הרכבת למסלול השני שעליו שוכב אדם אחד או לתת לה להמשיך ולהרוג את החמישה. במקורה שאלה זו הוצגה על ידי הפילוסופית פיליפה פוט כדי לבחון האם המוסר שלנו הוא אינסטרומנטלי (תועלתני-תוצאתני) או דאונטולוגי (מוסר של כוונות ורצונות). בהמשך נעשתה לא מעט עבודה על ידי פסיכולוגים שבדקו את יחסם של אנשים שונים וחברות שונות לשאלה זו. מתברר שהתשובות לשאלה קשורות ללא מעט מאפיינים תרבותיים וסוציולוגיים שלנו. ב-MIT התנהל מחקר ברשת האינטרנט על מיליוני אנשים והוצגו פילוחים שונים של התשובות הללו לפי כל מיני מדדים. לאור זאת עלתה כמובן השאלה כיצד עלינו לתכנת את המכונית האוטונומית שלנו להגיב במצבים כאלה. זוהי הכרעה מוסרית, ויש לנו נטייה לחשוב שהכרעות כאלה אמורות להתקבל על ידי בני אדם.

היו שהתריעו על כך שהמכונית לא תוכל להיות מאומנת לקבל החלטות נכונות בכל המצבים, שכן לא ניתן לחשוב על כולם מראש. אבל בעיה זו, עד כמה שהיא נראית קשה, היא בעיה טכנולוגית בעיקרה. אלו שמעלים אותה בדרך כלל רואים מול עיניהם מכונה שמקבלת סט הוראות שנוגעות לכל המצבים, ומורות לה מה לעשות בכל מצב. בהסתכלות כזאת באמת יש מקום לחשש שהמכונית תיתקל במצבים שלא חשבנו עליהם מראש. אבל בעידן שלנו לא מדובר על תוכנה כזאת אלא על תוכנה של רשת לומדת. זוהי טכנולוגיה שבה התוכנה מקבלת כל מיני דוגמאות של מצבים ואת התשובות הנכונות אליהן, ומתוכן לומדת מה עליה לעשות גם במצבים אחרים. לאחר מכן מעמידים אותה במבחנים על דוגמאות נוספות, וכל משוב על תשובה שהיא נותנת מוכנס כקלט למערכת שמעדכנת את עצמה עד שהיא מגיעה למצב שבו היא נותנת את התשובות הנכונות כמעט בכל המצבים. בטכנולוגיה הזאת אין צורך שהמכונה תפגוש את כל המצבים שעולים על הדעת. אחרי מספיק דוגמאות היא לומדת להגיב נכון לכל סוגי המצבים (היא בעצם מחקה אותנו). יהיו כמובן פספוסים, אבל כאלה יש גם אצל בני אדם (ראו את סטטיסטיקת ההרוגים בכביש). אני משער שכבר ברמה הטכנולוגית שיש היום מספר הנפגעים בכביש שמכיל רק מכוניות אוטונומיות יהיה קטן משמעותית מזה שיש לנו היום.

כדי להבין זאת יותר, חשבו על הדרך שבה אנחנו עצמנו מקבלים החלטות. הרי גם אנחנו לא באמת יכולים לחשוב על כל המצבים מראש ולהכין "תשובות בית ספר" לכל אחד מהם. מי מכם יודע מה הוא יעשה בדילמת הטרולי? וגם אם אחרי מחשבה הוא יודע, האם כשייקלע למצב כזה בלי מחשבה מקדימה הוא בטוח שיקבל החלטה נכונה? ובכלל, מהי החלטה נכונה במצב כזה? גם אנחנו לומדים מדוגמאות שבונות אט אט את החשיבה וקבלת ההחלטות המוסרית שלנו. הרשת הלומדת מנסה לחקות את הדרך שבה האדם לומד, וההנחה היא שאחרי מספיק דוגמאות היא תגיע ליכולת לקבל החלטות נכונות ברוב גדול של המצבים כמו מוחו של אדם. יש לזכור שגם אדם לא מקבל תמיד החלטות נכונות, והרי על הכביש נמצאים מיליוני נהגים בעלי תפיסות עולם ויכולות ומהירויות תגובה שונות מאד זה מזה. סביר מאד שמכונה שמאומנת מספיק על ידי מומחים ובקרות רחבות, תקבל החלטות טוב ונכון יותר ובוודאי מהר יותר מבני אדם, ובוודאי מבני אדם ממוצעים (כמו הנהג הסביר). לכן החלטות ממוחשבות צפויות להיות טובות יותר מההחלטות שאנחנו עצמנו מקבלים במצבים קיצוניים כאלה. כאמור, הרשת הלומדת היא מכניזם שמתיימר לחקות את הדרך שבה אנחנו עצמנו לומדים להגיב במצבים השונים.

הטענות

הטענות שעולות כוללות חששות מתשובות לא נכונות למצבים מסוימים, חששות מתקלות במכונית שהיא בסך הכל מכונה שיכולה כמובן להתקלקל. מעבר לזה, יש מערכות ערכיות שונות לאנשים שונים, והשאלה איזו מערכת תותקן במכוניות האוטונומיות, ומי בכלל יקבע כיצד היא תקבל החלטות ואלו החלטות "נכונות" לכל מצב (ראה כאן).

אבל הטענות הללו נראות לי מופרכות, לפחות במובן ההשוואתי. הרי בני אדם סובלים מיותר תקלות מאשר מכוניות אוטונומיות. לבני האדם שעל הכביש יש גם המון מערכות ערכיות שונות ואף אחד לא בודק אותן לפני שניתן להם רישיון נהיגה. בני אדם לא תמיד מקבלים החלטות מוסריות נכונות, ומי בכלל יקבע מהי החלטה נכונה? בני אדם הם לפעמים פושעים ומונעים מדחפים ויצרים, מה שלא אמור להתרחש במכוניות. מניין כל כך ברור לנו שבני אדם עדיפים על מכוניות במצבים כאלה? לפחות מבחינת השיקול התוצאתי, אני בספק רב אם יש לטענות הללו בסיס.

כדאי לראות כאן דיווח על אירוע שבו מכונית אוטונומית דרסה הולכת רגל עקב תקלה. העולם געש ורעש, ומיד עלו הקולות שאסור לאפשר למכונות לקבל החלטות במצבים כאלה. האם מישהו חושב ברצינות שכשהולכת רגל מתפרצת לכביש נהג אנושי היה בהכרח מצליח להימנע? אם כן, איך יש רק במדינת ישראל מאות הרוגים בכל שנה מתאונות דרכים?

לפחות מבחינת השיקולים הללו, נדמה לי שכבר כיום ניתן לאפשר למכוניות אוטונומיות לנסוע על הכביש, כאשר מאמנים מראש את מערכת קבלת ההחלטות לפי כמה מערכות ערכיות שיעברו את המחוקק או הרגולטור. כל נוסע יכול לבחור איזו מהן תותקן במכוניתו, וכך הדבר יחקה את המצב שקיים כיום כשהנהגים הם אנושיים, ואני מעריך שהתוצאות תהיינה משמעותית טובות יותר. בכל אופן, החששות נראים לי מופרזים מאד.

כלי נשק אוטונומיים

חששות דומים עולים ביחס לכלי נשק אוטונומיים. כלי נשק קונוונציונלי (כוונתי לא אוטונומי) משמש כיום כידו הארוכה של מפעילו, בדיוק כמו מכונית קונוונציונלית. כלי נשק אוטונומי מקבל החלטות בעצמו לפי הסיטואציה בה הוא נמצא. ושוב, עולות כאן טענות דומות מאד (אני מתרשם שהטענות המוסריות כאן תופסות נפח משמעותי הרבה יותר מאשר ביחס לרכבים אוטונומיים, ובצדק). לפני כשנה התפרסם (ראו גם כאן) שמעל מאה מומחים שלחו מכתב לאו"ם ובו דרישה לפקח על כלי נשק אוטונומיים או לאסור אותם כליל. למרבה האירוניה לא מעט מהחותמים עוסקים בעצמם בפיתוח כלי נשק כאלה. בכנס שהסתיים זה עתה בז'נבה הוסכם על קווים כלליים ולא מחייבים לפיתוח ומכירת כלי נשק כאלה, ורבים מוחים על האנמיות של ההסכם הזה. ראו כאן דיווח על פנייה של מומחים ועסקנים לממשלות קנדה ואוסטרליה בדרישה לאסור פיתוח ומכירה של כלי נשק כאלה, כך גם לגבי עובדי גוגל ועוד ועוד.

מהו בדיוק החשש? אם מדובר על עוצמת ההרס וחוסר ההבחנה שלו, הרי זה לא שונה מהותית מנשק גרעיני או נשק ביולוגי וכימי. להיפך, מדובר בנזק פחות בהרבה. ומה לגבי תקלות? כאלה יש גם אצל בני אדם. כך גם קבלת החלטות לא נכונה. כפי שראינו למעלה, מערכות ערכיות שונות יש גם כיום למדינות שונות שמפעילות כלי נשק קונוונציונליים. החששות שהנשק הזה לא יבחין היטב  בין לוחמים ללא מעורבים, או שיקבל החלטות להרוג הרבה מדיי אנשים, או שיבצע הרג רחב היקף קיימים גם ביחס לבני אדם וכלי נשק קונוונציונליים. אם מדינות מפתחות נשק גרעיני ולעולם אין יכולת למנוע זאת, מדוע מישהו חושב שתהיה אפשרות לשלוט על פיתוח ושימוש בכלי נשק אוטונומיים?! ההחלטות האוטונומיות יהיו מהירות יותר וכמובן גם יעילות חדות ומדויקות יותר מאלו של בני אדם, אבל זה רק אומר ששיפרנו את כלי הנשק שלנו. לגבי מידת מוסריותן, לא נראה לי שאמור להיות הבדל בינן לבין החלטות של בני אדם.

יתר על כן, אפילו ההגדרה מהו כלי נשק אוטונומי אינה חדה: הרי טיל דור שלישי גם הוא מקבל החלטות תוך כדי תנועה. יש לא מעט כלי נשק שעושים חישובים שונים בעצמם, ולכן ההגדרה מתי כלי הנשק יכול להיקרא אוטונומי אינה חד משמעית.

מעבר לכל זה, ספק רב בעיניי עד כמה בכלל ניתן לפקח על מדיניות עולמית כזאת. וכי אם ארגון או מדינה יחליטו לפתח נשק אוטונומי כזה, מישהו יוכל למנוע מהם זאת? מישהו בכלל יידע? וכי אנחנו סומכים על כך שהם יימנעו מזה מפני שהאו"ם אסר זאת? ובכלל, גם אם תהיה אמנה כזאת, אני מניח שהעמים שוחרי השלום והדמוקרטיים יקפידו עליה, ואילו הטרוריסטים או הדיקטטורים רודפי הכוח והשלטון ימשיכו לפתח כלי נשק כאלה להנאתם. אז מה הרווחנו בכך שאסרנו זאת? טוב, נוכל לפחות להתנחם שנפלנו בידי רובוטים שמופעלים על ידי אנשים בשר ודם ולא שהרובוטים שלנו עצמנו השתלטו עלינו רחמנא ליצלן (שנאמר: עבדים משלו בנו ופורק אין מידם).

מסקנות ראשוניות

מבחינת התוצאות איני רואה הבדל מהותי בין שיפורים של כלי נשק קונוונציונליים (במובן שאינם אוטונומיים) לכלי נשק אוטונומיים. אם פוחדים מהתוצאות של אובדן שליטה על פעולתו של נשק כזה, זה לא שונה מהותית מהפחד מפני פצצת אטום בעוצמה גדולה. האם עליה יש שליטה? ואם כן – מיהו השולט: האו"ם, המעצמות, או שמא הטרוריסט שמחזיק בה? לכן השיח על הגבלת נשק אוטונומי לא אמור להיות שונה מהותית מהשיח על הגבלת נשק בכלל (ולזה כמובן בהחלט יש מקום). אז למה בכל זאת הוא כל כך שונה ומפחיד?

תחושתי היא שהאימה שמבוטאת בשיח הזה משקפת בעיקר חשש הוא מפני מסירת גורלנו לגורם לא אנושי שמקבל החלטות באופן אוטונומי. לא מדובר בחשש מהתוצאות, אלא בעיקר מעצם השליטה של הגלמים בנו. זה לא חשש אינסטרומנטלי (תוצאתי) אלא ערכי-דאונטולוגי. בעצם נכון יותר לומר שזוהי פוביה, כלומר אימה מודרנית מפני הדרקון או המכשף שבארון. הנפנוף המתמיד בנזקים איומים ורחבי היקף ואבדן שליטה, כלומר בשיקולים תוצאתיים, אינו אלא ניסיון להשתמש בטיעונים מוכרים והגיוניים כדי לבטא את הפוביה הלא רציונלית הזאת. אנשים מונעים מפחד קמאי מפני השתלטות הדינוזאורים הטכנולוגיים, ועוטפים את הפחדים הללו בטיעונים רציונליים של תוצאות הרות אסון. הקריאות להטלת פיקוח על נשק כזה מבטאות פחד קמאי, ולכן אין לבחון אותן במונחי יעילות, אפשרות, או היגיון.

טענתי היא שבשתי הדוגמאות הנ"ל, החשש הוא בעיקר מצורת התחוללות הנזק ולא מעוצמתו. אנחנו חוששים מעצם מסירת גורלנו לידי יצורים מסוג אחר. זהו פחד אבולוציוני מאובדן הריבונות האנושית. מתברר שלמרות הניסיון המר שצברנו לאורך ההיסטוריה עם כל מיני שליטים, רוצחי המונים וכובשים מרושעים, עדיין יש לנו איזה אמון בסיסי בבני אדם, רשעים ככל שיהיו. אנחנו מעדיפים אותם על פני מכונות שמקבלות החלטות באופן רציונלי קר ומנוכר. אולי אנחנו חושבים שהחלטות של בני אדם לא יכולות להיות קשות מדיי. לפחות הן לא תוכלנה לצאת משליטה ולחולל נזק מעבר למטרותיהם המוצהרות. אבל מה אם המטרות המוצהרות עצמן הן בעייתיות? אם יהיה רוצח אנושי שמטרתו היא השמדת העולם או יבשת זו או אחרת, אזי גם אם הדבר יבוצע בלי חריגה מהתכנית המקורית אנחנו בצרות, לא? נכון, אבל אלו צרות של בני אדם, שהם אולי פסיכופתים, אבל לא דמונים וזומבים מכניים חסרי מעצורים. אנחנו מעדיפים רשעים ורוצחים מהסוג המוכר. נאצים חביבים, סטאלינים או פול פוטים נחמדים ומוכרים. כך גם אם נמות בייסורים, לפחות זה יקרה כשהכל ברור לנו. אנחנו נמות ונצרח עם חיוך של היכרות על שפתינו.

בקיצור, מדובר כאן בעיקר בפוביה, הרבה מעבר לחששות הרציונליים שלכאורה מסבירים אותה.

כבילת הדעת

במאמרם של אליאב ליבליך ואיל בנבנישתי, "לוחמה רובוטית ובעיית הכבילה של שיקול-הדעת" (עיוני משפט לט, 2016, עמ' 567-106), הם סוקרים את הנושא מזוויותיו השונות ועומדים על רוב הטענות שהעליתי כאן ועוד רבות אחרות. לא אוכל לעבור על כולו אבל אתאר את הקווים העיקריים שכן ניתן להתרשם מהמבנה הכולל שאכן מדובר בפוביה.

אחרי התיאור של הבעיה והגדרת המושגים, הם מחלקים את הדיון והטיעונים השונים בסוגיית כלי הנשק האוטונומיים לשני מישורים: האינסטרומנטלי (תוצאתי) והדאונטולוגי (כוונתי-ערכי). טענתם היא שבשני המישורים הדיון הוא מעגלי ובעייתי ולא עומד במבחן ההיגיון. הם עומדים על כך שרוב השיקולים שעולים במישור האינסטרומנטלי רלוונטיים גם לנשק רגיל, והטיעון שייחודי לנשק אוטונומי הוא שרירותי, ספקולטיבי ומעגלי (מניח הנחות אופטימיות לגבי אופי האדם. לשון אחר: פול פוט עדיף על נשק אוטונומי)[1]. מבחינתי זה כמובן ביטוי לכך שהטיעונים לא משקפים את הסיבות האמיתיות לחששות הללו. אלו ניסיונות להציג פוביות במונחים רציונליים, ולכן אין טעם לשפוט אותם בכלי ההיגיון.

השיח הדאונטולוגי שהם מתארים מבוסס על ההנחה שגם אם תוצאתית אפשר להניח שכלי נשק אוטונומיים דווקא ישפרו את המצב מבחינה תוצאתית, עדיין אין להניח החלטות לגבי הריגת בני אדם בידי מערכות אוטומטיות ואוטונומיות. אין לאפשר למכונה לקבל החלטות על הריגת אנשים. למה לא? ככה. מדוע החלטות אלו עצמן לא נחשבות כהחלטות של  בני אדם (אלו שיצרו את המכונה ומפעילים אותה) שמתקבלות בתיווך של המכונה? ככה.

במישור הדאונטולוגי המהותי יותר מובאים שם שני סוגי טענות. הסוג הראשון הוא טענה שהמלחמה היא פעולה אנושית וככזו אסור לה שתתנהל באופן שרק לצד אחד יש סיכון (זה כמו איסור ריבית ההלכתי, שחל רק על השקעה ללא סיכון). לפי טענה זו, הרג חד צדדי אינו מוסרי. נדמה לי שכאן חזרנו לכללי הדו-קרב ולמלחמות האבירים על ליבן של הגבירות העדינות. הטיעון הזה לא חל כשלשני הצדדים יש נשק אוטונומי כמובן. כמו כן, הוא אינו ייחודי למכונות אוטונומיות. זה נכון גם לנשק עוצמתי רגיל (כמו פצצת אטום). כך המלחמה שלנו בעזה אינה מוסרית שהרי אין להם שום סיכוי (אפילו עם ההנהגה הדבילית שלנו). זה לא דו-קרב הוגן. תשאלו, הרי גם על נשק אטומי מנסים להטיל פיקוח. מצפים ממדינה מגורענת לא להשתמש בנשק גרעיני גם אם היא תשלם מחיר כבד. אבל זו טענה שניתן לקבל, שהרי מדובר על מידתיות של הנזק שאתה גורם מול הנזק שאתה מונע לעצמך. לא הורגים מיליוני אנשים כדי להציל שניים. זו לא טענה על כבילת שיקול הדעת אלא על מידתיות. אבל אם הטענה היא בגלל שיקולי אבירות והגינות, כי אז מדובר בסתם איוולת. אם למדינה יהיה איום קיומי, הדרישה שלא תשתמש בנשק גרעיני גם במצב כזה היא מגוחכת (וכמובן גם לא תיושם בפועל).

הסוג השני עוסק בריחוק בין האדם שמקבל את ההחלטה לבין תוצאותיה. כשהמרחק הזה גדול מדיי לא צפויות אצל המפעיל נקיפות מצפון. גם זה כמובן רלוונטי לעוד כלי נשק רבים (כך תמיד אומרים על טייסים להבדיל מחי"רניקים). מעבר לזה, אם ההבדל התוצאתי הוא משמעותי, האם העיקרון המופשט הזה מצדיק נטילת חיים רבים יותר? (קצת דומה לדילמת הטרולי.) זכרו שהדיון הדאונטולוגי נערך בהנחה שנשק אוטונומי יביא לתוצאות טובות יותר מבחינת הנזקים התוצאתיים. מעבר לזה, לא הייתי בונה מגדל גבוה מדיי על נקיפות המצפון של קים ג'ונג און, או פול פוט.

יש שטוענים שבמקרה של נשק אוטונומי אין מי שיישא בתוצאות המעשה. אין את מי להעמיד לדין, כי המכונה היא זו שקיבלה את ההחלטה. אבל גם זו נראית לי טענה בעייתית. מי שתכנן אותה ושלח אותה לפעולה יישא בתוצאות. מעבר לזה, שוב יש לשקול את זה מול ההבדל התוצאתי. האם לא ראוי לחסוך חיי אדם במחיר שאולי לא יהיה לנו את מי להעמיד לדין?

המחברים, כאמור, מבקרים את שני סוגי הטיעון, ומציעים במקומם סוג שלישי: המשפט המינהלי. לטענתם, לחימה היא פעולה שלטונית, בפרט כשהיא נעשית נגד בודדים או ארגונים לא מדינתיים (במקרים אלו רואים אותה כהפעלת כוח שלטוני נגד אנשים פרטיים). ככזו היא מחויבת לשיקולים מינהליים, מה שלא יכול להיעשות על ידי מכונה. לכן הם מציעים לאסור או להגביל נשק אוטונומי מכוח המשפט המינהלי.

הם מסבירים שכללי המשפט המינהלי מחייבים לקחת בחשבון גם את טובת האחר.[2] דבר כזה דורש שיקול דעת מסוג שנשק אוטונומי ואוטומטי לא יכול להפעיל. לכן נדרש לפחות שאחרי ההחלטה האוטונומית של המכונה תהיה אפשרות "ערעור" בפני גורם אנושי. שנית, השימוש בנשק אוטונומי כובל את שיקול הדעת, וזו הבעיה העיקרית בו. הם מוסיפים שכבילת שיקול הדעת מביאה גם להחלטות באיכות ירודה יותר לטווח הארוך. החלטות שאין אפשרות לבקר אותן בזמן אמיתי יכולות להוביל להתנהלות בעייתית יותר.

גם כאן ההנחה המובלעת לכל אורך הדיון היא שהמחשב לא באמת יכול לחקות את ההחלטה האנושית. דומני שהם רואים מולם תוכנה שמקבלת אלגוריתם נתון ולכן מוגבלת בהחלטותיה ובמצבים שמוכרים לה. כמו רבים אחרים בדיונים הללו, הם לא מודעים להבדל בין תוכנות קלסיות כאלה לבין רשתות לומדות. לכן ההנחה שלהם לגבי עדיפות תוצאתית בטווח הארוך אינה מוצדקת (להערכתי כבר בטכנולוגיה שקיימת היום). מעבר לזה, השאלה האם מגבלה משפטית פורמלית כזאת באמת מצדיקה ויתור על כלי נשק שיצילו חיי אדם?

הם מביאים עוד שהדין ההומניטרי הבינלאומי דורש זהירות מתמדת בעת פעולה מלחמתית, וזה לא קיים כששיקול הדעת נמסר למכונה (נכבל). אבל שוב אם התוכנה זהירה יותר מבני אדם, אזי זו גופא הזהירות הכי טובה. בני אדם טועים ולכן נדרשת בקרה. נשק אוטונומי פועל במדויק, והוא בטח לא צריך בקרות של יצורים נחותים וטועים כמונו. נשק אוטונומי יכול להיות דווקא הדרך האופטימלית להגיע לתוצאות של נזק מינימלי, הרבה יותר מבני אדם שמפוקחים על ידי בני אדם אחרים. שוב, התחושה שלי היא שמדובר בטיעונים שבאים לעשות רציונליזציה בדיעבד לתחושות לא רציונליות.

סיכום ביניים

מקריאת המאמר כולו עולה בבירור התחושה שמדובר כאן בניסיון לגייס ולשאוב נימוקים מן הגורן ומן היקב, אבל האמת היא שבעצם מדובר בפוביה, פחד לא רציונלי להימסר בידי החלטות של מכונה. הפחד הפסיכולוגי מפני מצב שמכונות יקבלו שליטה על בני אדם, מכוסה בענן של טיעונים כביכול רציונליים.

עליי לציין שאני מבין היטב את התחושה והחששות וגם אני חש בהם, אבל קשה לי למצוא בהם טעם רציונלי של ממש. לאור מגוון הנימוקים מחד, וחולשתם מאידך, מסקנתי היא שזו בעיקר פוביה פסיכולוגית. אחזור שוב שגם אני בעד רגולציה כלשהי על נשק כזה, עד כמה שניתן, כמו בכל כל נשק אחר. אבל האימה היתירה שמוטלת כאן לעומת כלי נשק ומכוניות ונהגים אנושיים נראית לא מובנת.

התערבות במעשה בראשית: "לשחק אותה אלוהים"

הזכרתי למעלה את החששות משיבוט (ראו סקירה ממצה של פרופ' שטיינברג כאן). יש חששות אמיתיים ורציניים, אבל עדיין אני מתרשם שמאחוריהם עומדת הפוביה. אנשים מדברים על החשש שישבטו לנו ילדים או אנשים בלונדיניים. אז מה? מה כבר יכול לקרות? למה לעצב את חינוכם וערכיהם מותר לנו, אבל את גופם אסור? להערכתי גם במקרה זה מאחורי השיח הכאילו רציונלי יושבת אותה אימה קמאית מפני אנשים שהופכים לאלוהים ומהנדסים את הבריאה. ההנחה הסמויה (שבעצם גם נאמרת לא  פעם על השולחן) היא שרק לו מותר ליצור דברים ולשנות את הבריאה שלו ואת היקום שלנו. אבל אנחנו כל הזמן משנים את הבריאה ומתערבים בה? וכי ניתוח או ריפוי בצורות שונות אינו התערבות? מדוע זה שונה מריפוי בכלים גנטיים? מדברים על חשש מייצור של גדודי חיילים זומבים בעלי כושר גופני ויכולות ועמידות עילאיות. במה זה שונה מחייל עם שריון או מגן מושלם טכנולוגית, או מסתם פצצת אטום? זה לא באמת שונה, אבל יותר מפחיד. החייל הממוגן הוא בן אנוש רגיל בעטיפה, אבל המשובט הוא דמון, דרקון, ולך תילחם בדרקונים. לכן אני מתרשם שגם כאן, כמו בדוגמאות הקודמות, מדובר בפוביה שמוצגת ועטופה במונחי חששות רציונליים.

פרופ' שטיינברג באמת טוען שבתפיסה היהודית המקובלת אין מניעה מדברים כאלה (אני חושב שהחששות באים בעיקר מכיוונים נוצריים, גם כאלה שעברו סקולריזציה). ובכל זאת אני מתרשם שיש בשנים האחרונות סחף גם בעולם היהודי אחרי הלך הרוחות הנוצרי (ראו דוגמה לחששות כאלה כאן). בדרך כלל אלו מבוססים על דברי הרמב"ן (ויקרא יט, יט), שכתב על איסור כלאיים:

והטעם בכלאיים, כי השם ברא המינים בעולם, בכל בעלי הנפשות בצמחים ובבעלי נפש התנועה, ונתן בהם כח התולדה שיתקיימו המינים בהם לעד כל זמן
שירצה הוא יתברך בקיום העולם. וצווה בכֹּחם שיוציאו למיניהם ולא ישתנו לעד לעולם…
והמרכיב שני מינין, משנה ומכחיש במעשה בראשית… והמינים בבעלי החיים לא יולידו מין משאינו מינו, וגם הקרובים בטבע שיולדו מהם כגון הפרדים יכרת זרעם כי הם לא יולידו…

למותר לציין שהרמב"ן בסך הכל מדבר על טעמא דקרא של כלאיים, ובכל זאת הוא הפך על לא עוול בכפו למקור הלכתי מחייב שמחדש הלכתא גבירתא. אפשר להעלות חששות שונים ולומר שזה לא רצוי, אבל יש לנו גם נטייה מוזרה להפוך הכל להלכה. זה נשמע חזק יותר. וחוצמזה, כך רואים שהקדמנו את כולם, ואנחנו הכי נאורים, וכל החששות והפוביות מקורם בתורה. הפוך בה והפוך בה דכולא בה (ולכן כמובן שום דבר אין בה. טקסט שניתן למצוא בו הכל לא אומר כלום).

בחזרה להיעדר המדיניות

לסיום, אשוב לנקודת ההתחלה, כלומר לשאלתו של משה על הטור הקודם. כעת אוכל לומר שעקרונית אין לי בעיה שתנהל אותי מכונה. להיפך, נראה שהיא תקבל החלטות טובות יותר ממה שמתקבל היום (נכון יותר: שלא מתקבל היום). כדאי מאד שהמכונה תתבסס על תוכנה לומדת. פחות כדאי להשתמש במכונה קלסית שמוזנת באלגוריתם החלטה (כי אז יש חשש שבמצבים החדשים היא תקבל החלטות רעות), והכי גרוע זה כמובן מחולל רנדומי.

אה, בעצם לא. במחשבה נוספת, מחולל רנדומי הוא לא הכי גרוע. מה שקורה אצלנו היום יותר גרוע מכל האפשרויות שמניתי עד כאן. בטור הקודם תיארתי איך כיום מתקבלות החלטות בצורה קשיחה וקבועה בלי קשר לנסיבות ולמטרות כלשהן (כוונתי לנסיבות המהותיות. לא לאירועים ותוצאות מקריים). זו האופציה הכי גרועה. אני מעריך שאפילו מחולל רנדומי יהיה יותר טוב מזה (כי לפחות בחלק מהמקרים הוא יקבל במקרה החלטה נכונה. אפילו שעון עומד…), ובוודאי תוכנה שמוזנת באלגוריתם סביר תהיה טובה יותר, וכמובן הכי טוב זו תוכנה לומדת. אגב, אפילו המגרעת בה עסקנו כאן בהחלטות מכניות, זה שאין בקרה אנושית על ההחלטה האוטונומית של המכונה, קיימת גם במציאות שלנו. הממשלה לא מפיקה שום לקח ולא משנה שום מדיניות. אז במה היא שונה ממכונה? גם אצלנו אין בקרה. ניתן לומר שאנחנו פועלים תחת כבילת שיקול הדעת של כולנו.

אז למה לא כולם מזדעקים? פשוט, כי חסרה כאן הפוביה. המכונה שמנהלת אותנו נראית כמו אדם עם שתי רגליים ושתי אוזניים (רק בלי ראש). הרי לכם שמראה עיניים עלול להטעות, ושלא כדאי לפעול על סמך פוביות.

בשולי הדברים: who_is_next.com

כל זה מזכיר לי את הצעתו של בני יוסי שיחי', לפתור את בעיית הטילים מעזה. הוא מציע מערכת who_is_next.com, שבנויה כך: אתר באינטרנט (או דף פייסבוק) שבכל רגע נתון מודיע אלו חמישה בתים ברצועת עזה יעלו בעשן השמימה אחרי הטיל הבא. כשנורה טיל על ישראל, ברגע שהוא יוצא לדרך (ובלי שום קשר לתוצאות הירי), באופן אוטומטי וללא מעורבות אנושית, נורות חמש פצצות בעוצמה שמחריבה עד היסוד חמישה בתים ברצועת עזה. מודיעים לתושבי הבתים הללו מראש, כך שאף אחד לא ייפגע ללא צורך (רק תחשבו על חייהם בטרם נורה הטיל). אפשר בעצם להשאיר רשימה ממוספרת ומסודרת של כל הבתים בעזה, ולקבוע מראש את התור לפי מספרי הטילים. אפשר ורצוי כמובן לשלב מוסדות ציבור, מתקנים צבאיים ותעשייתיים, תחנות חשמל ומים וכו'. נדמה לי שאתמול נורו 400 טילים, בחשבון פשוט זה אומר שעזה כעת מונה פחות אלפיים בתים. עוד כמה ימים כאלה והבעייה שלנו תיפתר לשביעות רצון כולם.

מכיון שזה נעשה אוטונומית וללא החלטה אנושית, אזי מי שהחריב את הבתים היה יורה הטיל ולא מדינת ישראל. כל יורה טיל יודע שהוא משמיד חמישה בתים ברצועת עזה והורס את חייהן של עשרות משפחות (אבל לא פוגע בחייו של אף אדם). כעת תושבי עזה והחמאס יוכלו לבוא בטענות ליורי הטילים ואולי הם אפילו יטרחו למנוע את פעולותיהם הברוכות. אף אחד לא יוכל לטעון כלפי מדינת ישראל שהיא פועלת באופן אלים או בעייתי. היא לא עשתה כלום. החמאס או הג'יהאד האסלאמי הרסו את הבתים הללו.

תודו שזו מחשבה מרעננת ולא מקובעת (כראוי ליוסי שליט"א), הגם שהיא דורשת ליבון משפטי (בפרט לאור העקרונות שהוזכרו בטור זה) ואחר (יש כמובן עוד אספקטים ואין כאן המקום). זה כשלעצמו חזון לא נפרץ במקומותינו. בכל אופן, במבט ראשוני אני לגמרי בעד. מישהו אמר כאן שאני רק מתלונן ולא הצעתי אלטרנטיבה?…

אחרי כתיבת הדברים, שלח לי בני שלמה קטע שבו ישראל אומן מדבר על אותו רעיון עצמו:

ש. לא מזמן נתת הרצאה ובה הצעת לפתח מערכת אוטומטית, ללא מעורבות אנושית, שמשגרת טיל מיידית לכל שיגור רקטה מרצועת עזה.

ת. "אני עובד על זה. המטרה היא באמת שהמערכת תהיה ללא מעורבות אנושית, ללא שליטה אנושית. זה חשוב מאוד, מפני שאם יש שליטה יגידו לנו שאנחנו פושעים ורוצחים ואכזריים. כשאין שליטה, זה כאילו שהם לוקחים את הנשים והילדים שלהם ומעבירים אותם בכוח דרך שדה מוקשים מסוכן. מן הסתם תהיה ביקורת עולמית נגדנו גם אז, אבל לפחות נהיה שלמים עם עצמנו. אם מדובר בירי אוטומטי בתגובה, האיום הוא משכנע: חמאס יורה רקטה על עזה כשהוא יורה רקטה על ישראל".

והרי עיקרי תגובתו של יוסי לפלגיאט:

אני לא מכיר את הפרטים של הפרוייקט של אומן, אבל יש כמה מרכיבים משמעותיים בהצעה של יוסי שאסור להתעלם מהם:

• צריך לפרסם מראש רשימת בתים שייפגעו בעתיד, לידיעת כל העולם ואישתו וכמובן תושבי הבתים עצמם.
• לתת התרעה מראש לאנשים כדי למנוע פגיעות בנפש (הן מוסרית והן לצרכים משפטיים).

שני הרכיבים הללו חשובים מפני שכך יש אינטרסנטים ספציפיים שידאגו לנטרול ירי הטילים. וכך גם לא נואשם בפשעי מלחמה (לפחות לא פגיעה בחפים מפשע). חשוב להבין שבלעדיהם אין כאן חידוש משמעותי, ולא פתרון אלטרנטיבי. כפי שכתבתי בטור הקודם, ירי אוטומטי לא משנה את האחריות של אלו שבנו את המערכת. זה נשק אוטונומי (לא ממש), אבל האחריות היא לגמרי על מי שמפעיל אותו ובנה אותו. מה זה משנה אם הוא לוחץ על ההדק או בונה מערכת שלוחצת בעצמה על ההדק?!

[1] כדאי להיזכר כאן בשאלתו של משה שהובאה בתחילת הטור.

[2] זה בעיניי ממש דיון הזוי. הרי האויב פועל להשמדת המדינה, אז מדוע הדין המינהלי אמור לדאוג לזכויותיו? בפרט אם הוא לא אזרח המדינה שלנו. הם דנים בזה לקראת סוף המאמר (עמ' 103), ואכ"מ.