רובוטים בשדה הקרב

ר' מיכי היקר,
אני בהחלט סבור שיש עדיפות לחיי חיילינו, אבל לא קשור לנושא. יש אתיקה צבאית (שורשיה נטועים כבר בספר דברים), והיא האמורה להבדיל אותנו מרשעים וחטאים למיניהם.

לגבי מכוניות אוטונומיות יש קשיים אתיים עצומים, ואתה ודאי מכיר את דבריו של רולי בלפר בנושא. זה רחוק מלהיות פשוט.
מובילאיי, כך הבנתי, פשוט מחכים שבתי המשפט יאמרו למי שיתבעו אותם מה התשובה ומי צודק, אבל היה ראוי שעולם ההלכה יאמר על כך את דברו לכתחילה, ולא בשיטת ה'סמוך'.
גם אם התשובה תהיה, בפשטות, שבמאסה הגדולה זה יחסוך הרבה חיי אדם, ולכן ראוי לקדם זאת.
ועדיין, ראוי לדון על שיקולי המתכנת: האם עדיף ב'דילמת הקרונית' להעדיף לפגוע באדם זקן? בשני ילדים?
האם כשפוגעים בחתול המכונית צריכה לעצור? וכשפוגעים בילד? שום שאלה אינה מובנת מאליה,
והדבר המטריד בדבריו של תא"ל אבטליון הוא ההוה-אמינא האומר שזה כן פשוט ומאד פשוט.
מתכנים יצטרך לקבל על כך החלטות רבות, והראשונים שצריכים לחשוב על כך, ולהדיר שינה מעיניהם בגלל זה, הם אנשי ההלכה.

שיקול הדעת של הרובוט עשוי להיות טוב יותר, אין ספק. השאלה היא האם אפשר לתכנת שיקולים מוסריים?
רובוט יכול בהחלט לזהות פנים טוב יותר, וממרחק גדול יותר. אבל מה מקנה לו את ההבנה שמולו נמצא אדם שצריך להרוג אותו, להבדיל נניח מילדה קטנה שסתם עברה שם?
אם תתן לי תשובה על כך, או תפנה אותי למתכנת שיודע להשיב על כך, אשמח לשמוע. הקב"ה נמצא, גם במקרה הזה, בפרטים הקטנים.

השאלה לגבי תכנות של מוסר לרובוטים קשורה לשאלה הלכתית עקרונית (בס"ד אגיע לכתוב על כך מתישהו):
האם ההלכה היא גוף ידע סגור? האם למשל ניתן להסיק ממשנה-תורה לרמב"ם באופן חתוך ופשטני, האם ואיך צריך לארגן את מדינת ישראל?
אם אתה סקפטי לגבי זה, וחושב – כמו הרב דניאל שפרבר יבדל"א והרב אליעזר ברקוביץ ז"ל, למשל – שיש לשיקול דעת ולמציאות המשתנה מקום חשוב בהכרעות הלכתיות, אתה בחברה טובה –
זו של האמורא שמואל, של ר' יוסף אלבו, המהרש"ל ואחרים, שחשבו שתורה וערכים אינם אלגוריתם. מקור המילה דת, אגב, הוא בכלל במילה פרסית שמובנה הוא data.
לא במקרה אני מתעקש על כך שהדימוי האלילי הזה של הדת, כנתון קפוא ומיובש, אינו הולם את הדת היהודית בכלל, ואת ההלכה בפרט.
ערב טוב ובשורות טובות,

נ' שלום רב.

1. לא כפרתי בקיומה של אתיקה צבאית, אלא טענתי שהאתיקה הצבאית שלי לא מעדיפה את חיי החפים של האויב על פני חיי חייליי, ובוודאי לא מעדיפה להימנע מספק סיכון לגביהם במחיר של וודאי סיכון לגבי חיילינו. האם לשיטתך היינו צריכים לוותר על כלי נשק בעלי עוצמה ולהתמקד באקדחים כי בשימוש בהם ניתן להתמקד יותר בירי על לוחמים ולהימנע מהרג לא מעורבים? מה ההבדל בין הרובוט הזה לבין כלי נשק ותחמושת אוטומטית שמקבלת החלטות בשטח כבר היום. ההבדל הוא בעיקר כמותי. נכון שיש שאלות של מידתיות ואני לגמרי מסכים, ועדיין אני ממש לא רואה היכן המידתיות כאן נשברת. לפחות כל עוד לא הראית עד כמה המערכת של הרובוט נכשלת בהתמודדות עם בעיות מוסריות כאלה (ראה סעיף הבא).
2. באשר לטענותיך על התוכנה, ניכר שחסר לך מידע בסיסי לגבי אינטליגנציה מלאכותית. אתה חושב שהלימוד של רובוט כזה הוא באמצעות תוכנה קלסית של פקודות IF, שמזינות אותו לגבי כל מצב אפשרי מהי התשובה הנכונה לגביו. אבל לא זו הדרך שבה "מלמדים" את הרובוט לפעול מוסרית. הלוגיקה היא שונה לגמרי, ובהחלט יש דרכים ללמד אותו התנהלות מוסרית באמצעות מה שקרוי "רשת נוירונים". היתרון של למידה כזאת הוא שלא צריך להכיר את כל המצבים עם התשובות הרלוונטיות כדי להגיע ליכולת להכריע בכל המצבים. ככל שתזין אותו ביותר מצבים עם תשובות נכונות הוא יידע להתנהג נכון במצבים חדשים, לא פחות טוב מאדם וכנראה עוד יותר טוב. הלוגיקה הזאת לא מובנת למי שאינו בקיא בה, אבל גיבוש עמדה בסוגיא זו מחייב להיכנס אליה ולהבין אותה. אחרת אתה פשוט לא משתמש בכלים הנכונים לדון בסוגיא. אם אתה מניח שצריך להזין את התוכנה בתשובות לכל המצבים אתה פשוט לא מעודכן בטכנולוגיה הזאת. גם בזיהוי כתב או פרצופים לא תוכל להגיע רחוק עם תוכנה קלסית, ולכן משתמשים ברשת נוירונים (רשת לומדת), ועובדה שמגיעים להישגים לא רעים בכלל (וזה מתקדם כל הזמן).
לכן בניגוד להנחתך בהחלט כן ניתן לתכנת שיקולים מוסריים. ואפשר כנראה לעשות זאת לא רע בכלל. בסעיף הבא אוסיף שאני מפקפק אם אדם ינהג טוב או נכון יותר במצבים אלו.
ולא, אני לא מניח שההלכה היא גוף ידע סגור, ולא צריך בשביל זה שום מקורות והוגים. זו עובדה פשוטה. ועדיין ניתן לתכנת את הרובוט שיפעל על פי גוף ידע פתוח כזה, בטח בנסיבות ספציפיות של מצבי לחימה. הוא כנראה יעשה זאת לא פחות טוב ממה שיעשה אדם עם שיקול הדעת הגמיש והבעייתי שלו בסיטואציות כאלה. מה שתלית את הסוגיא בשאלה האם ההלכה היא גוף ידע סגור, גם הוא מבוסס על הנחתך שמדובר על תכנות קלסי ולא על רשת נוירונים. רשת נוירונים בנויה להתמודד בדיוק עם תחומים פתוחים כאלה.
ביקשת הפניה למתכנת. כדאי לך לפנות לאנשי מדעי המחשב שבקיאים באינטליגנציה מלאכותית (כל אחד מהם יוכל להסביר לך את יסודי הדברים בצורה סבירה), ואני מבטיחך נאמנה שתגלה שם נפלאות. זו לוגיקה שונה לגמרי מזו שאתה מניח (במובלע). כפי שכתבתי, מכוניות אוטונומיות הן כבר כאן, וברגע שהתוכנה שלהם תדגים רמה "מוסרית" טובה אף אחד לא יעצור אותן. תאמין לי שחברות לא משקיעות מיליארדים במכונה שבסוף לא יאשרו לה לפעול ובלי לחשוב שניתן להתגבר על המחסומים ה"מוסריים". את הגלגל הזה כבר המציאו (אם כי אני מניח שעוד משכללים אותו בימים אלה).
3. מעבר לכל זה, כפי שכתבתי גם לאדם אין דרך לדעת את התשובה בכל מצב, ואני כלל לא בטוח שההחלטות שלו תהיינה טובות יותר. לכן איני רואה מדוע הוא עדיף על הרובוט (עם כל חולשותיו – הפחדים והרגשות העזים בסיטואציות כאלה). מה התשובה הנכונה בדילמת הקרונית? וכי ברור לך שאדם יקבל החלטה טוב יותר מהרובוט? ועוד אשאל: מה ההלכה אומרת על כך? בדיוק מה שהאתיקה אומרת על כך. אני מניח שרוב הפוסקים יכריעו כאן לפי האתיקה שלהם (ראה סעיף הבא).
4. השאלה האם המתכנתים שלו צריכים להיוועץ באנשי הלכה או באתיקנים אחרים היא שאלה אחרת, אבל היא נכונה גם לגבי האתיקה הצבאית של בני אדם. גם שם לא ממש נועצים באנשי הלכה, אז מה לך כי תלין על רובוטים לא הלכתיים. ככלל, לדעתי אין להלכה הרבה מה לומר בעניין זה שיהיה ייחודי לה. היא לא שונה מהותית מהאתיקה המקובלת, ולכן איני רואה את הנחיצות בכניסת אנשי הלכה לסוגיות אלה. אני לא חושב שהם יעשו זאת בהכרח טוב יותר מאחרים (אני מאלה שסבורים שהמוסר הוא בהגדרה אוניברסלי. אין דבר כזה "מוסר יהודי").

כל טוב,

מיכי שלום,
1.

​גם ​החץ וקשת הוא נשק אוטונומי, ו​למעשה ​גם הגדר החשמלית​ היא כזו​. אבל ​יש הבדלים איכותיים בינם לבין רחפן או רובוט דמוי-אדם או אחר שיפעל בעצמו לגמרי. ​ה​קודמי​ם לא מחליטים על דעת עצמ​ם לאיזה כיוון לירות, ואינם נשק "משוטט" כפי שמכנים זאת היום בצה"ל. זה הבדל איכותי, כמו ההבדל בין אבן לארנבת.​ הבדל איכותי דורש דין וחשבון מעמיק, לגבי האיכות המוסרית של החלופה של הפרק, לא רק לגבי יעילותה במובן המאד-צר של המילה.
2. האם אתה מוכן להחליף שופטים אנושיים במצלמה שתזהה

​את ​תווי ​ה​פנים​ של הנאשם​, תנטר ​את ​רגשות​יו בשעת הדיון, ולמשמע טיעונים כאלו ואחרים,​ ותחליט ​לבדה, ​ע"ס בינה מלאכותית, ​לגבי דינם של בני אדם? האם אנושיות השופ​ט היא רק מקור ל​​שגיאות והטיות כאלו ואחרות (כפי שפופולרי לומר היום), או ש​​היא ​גם​ ​​תנאי הכרחי לאמפתי​ה ו​במובן זה, לשיפוט ​ה​מוסרי?​ הנקודה השניה נלקחת היום ע"י רבים כמובנת מאליה, ואולי בגלל זה כשנותנים את הדין על היכולת להחליף שופט במכונה היא זוכה להתעלמות.​
3. מכוניות אוטונומיות אינן מכשיר הרג משוטט.

​העובדה שזו אינה תכליתן היא חשובה. ​ ​ולמרות שאינן סוכנים מוסריים, במקרה הזה יש הבדל בינן לבין מכשירים וסוכנים שתכליתם ​הישירה ​היא דיני נפשות​ וקטילת בני אדם​. הטיעון של "אף אחד לא יוכל לעצור אותם" עלה כטיעון להתפשר בפני אי אלו משטרים רודניים​ במאה שעברה​, אך כשמדובר בסוגיות עקרוניות (​ו​במיוחד לגביהן) איני רואה בו טיעון מוסרי. ​הרבה דברים 'תופסים' בשוק, ואם הם מוסריים ומועילים – מצוין. אבל הרבה דברים נכנסים היום למרות שהם מזיקים לגמרי, ולכן איני מוכן לקבל, מראש, את הטענה שמוצר חדש צריך להכנס לחיינו ללא כל ביקורת, רק בגלל שהוא חדש או 'חדשני'. את כשלון הניסוי לגבי הכנסה עיוורת של טכנולוגיה ללא אסדרה הולמת למרחב הציבורי כבר ראינו באופניים החשמליים על מדרכות ישראל; אני מקוה שנשקים אוטונומיים יעוררו יותר דיון-מקדים. אבל שוב, מכוניות אוטונומיות​ אינן הענין כאן. כשלעצמי, אני מניח שהן תעשינה עבודה טובה.
4. אם אתה מתכוון למוסר טבעי וכו

​'​ אני ​כמובן ​מסכים, אבל המוסר אינו אוניברסלי לפחות בשני​ מובנים: ​א. ​מוסר אלגוריתמי (דוגמת הצו הקטגורי​ של קאנט​) אינו ​בהכרח ​מוסר​ תקף – בלי המרכיב הסובייקטיבי אין אדם וגם אין מוסר, ומכאן ביקורותיהם של סארטר, גיליגן, דנסי ואחרים על יומרת קאנט לאוניברסליזציה של המוסר; ב. השענות על מערכות מוסריות פרטיקולריות דתיות ה​יא לענ"ד​ תנאי ליכולתה של אתיקה חברתית לתפקד. לכן​, למשל,​ ​היה צר​יך את חנן פורת בכדי לחוקק את חוק 'לא תעמד על דם רעך'. מסתבר ש​אתיקה ליברלית רזה אינה מספיקה​.​ ​
שים לב

​גם לכך ​שאתה מניח שאנו ​יכולים​​ לתכנת אתיקה, ​כאשר אנו חיים בחברה ​אנושית ​שאפילו לגבי ​​האתיקה עצמה נמצאת בשוקת שבורה מזה מאה חמשים שנה (​ו​ראה אנסקומב, מקינטייר וכו').​ אז האם הנשק האוטונומי יפעל ע"פ המוסר של קאנט, מיל, דרווין, ניטשה (אוותר על אזכור שמו של היטלר..), או מקינטייר? ובמישור ההלכתי (שאתה צודק לגבי משולבוּתוֹ בשיח הפילוסופי הכללי), לפי ר' עקיבא או בן עזאי?​ חוסר היכולת להגיע לתשובה המניחה את הדעת לגבי השאלות הראשונות, צריכה לכל הפחות לעורר אצלנו סימני שאלה לגבי קפיצה חפוזה מדי אל מישור התִכנוּת שלהן.
יום טוב,

שלום רב,
1. לא נכון. חץ וקשת אינם נשק אוטונומי. זה בדיוק ההבדל ההלכתי בין אשו משום חיציו לאשו משום ממונו. החץ נושא בתוכו את כוח האדם ומזיק מכוחו. אש הולכת בסיוע הרוח והיא אולי נשק אוטונומי במידת מה (כמו היזק של בהמה). לא חץ ולא גדר חשמלית הם כאלה. הם לא מקבלים החלטות עצמאית.

2. אם המצלמה תוכיח אמינות אז בהחלט כן. התוכנות הללו נבדקות היטב לפני השימוש. החששות הללו נובעים מחוסר היכרות עם אינטליגנציה מלאכותית, כפי שכתבתי לך. גם את האמפתיה אפשר לתכנת (לא תחושת האמפתיה אלא התוצרים שלה, וזה מה שחשוב לשיפוט). אין כאן שום התעלמות (שוב חוסר הבנה לגבי אינטליגנציה מלאכותית). כמובן שזה יכול להיעשות רק כאשר יוכח באופן ברור שהתוכנה אכן מצליחה בכך. ראית פעם את הסרט HER? כדאי לך.

3. הן כן. מה איכפת לי כוונתה של המכונה? אתה מדבר על נזקי קרן שכוונתה להזיק? מה איכפת לי כוונת המכונה? השאלה מה היא עושה ולא למה היא מתכוונת, וגם לא למה היא מיועדת.

אגב, אתה מערבב כאן בעיות טכניות של הכנסת טכנולוגיות בלי בדיקה מספיקה עם התנגדויות עקרוניות להחלפת בני אדם על ידי טכנולוגיה. לראשון אני מסכים ולשני לא. אופניים חשמליות לדעתך לא נבדקו כראוי (ולדעתי כן, אלא שלא אוכפים את החוק לגביהם. זו שאלה אחרת לגמרי), ומה עם מכוניות? מה ההבדל בין אופניים שאתה מתנגד להן למכוניות שלא? אופניים מקבלות החלטות אוטומטיות יותר ממכונית? זו סתם שאלה של אכיפה לא אפקטיבית מספיק ותו לא. אין מה לעשות מזה אידיאולוגיה. ואפילו אם היית צודק שלא בדקו את האופניים מספיק, אז שיבדקו. אני מדבר על השאלה העקרונית, בהנחה שבדקו כמה שצריך.

4. הצו הקטגורי של קאנט רחוק מלהיות אלגוריתמי מרחק שמים וארץ. להיפך, הביקורת המקובלת עליו היא שאין בום שום הנחיה מה לעשות בפועל כי עדיין הכל תלוי במה אני הייתי רוצה שיהיה לחוק כללי. לחוק הטיפשי של לא תעמוד על דם רעך לא אכנס כאן. זו ראיה לסתור. בכל אופן, אם אינך אוהב אתיקות ליברליות אלא רוצה דווקא דתיות (בעיניי זה אוקסימורון. אתיקה במהותה היא אוניברסלית, ואכ"מ) – היכבד ותכנת את הרובוט שלך לפי עקרונות דתיים. אין שום בעיה עקרונית לעשות את זה כמו אתיקה ליברלית.
במחילה, הטיעון האחרון שלך הוא ממש מופרך. הרי אם בין בני אדם יש מערכות שונות של אתיקה (אני מסכים עובדתית, אם כי די בשוליים), זה מראה שהבעיה קיימת גם אם תשאיר את ההחלטה לבני אדם. במה זה שונה ממה שיעשה רובוט? זוהי טענה לסתור. אתה מראה שגם אם לא נמכן את זה נישאר עם התנהגויות שונות. אז מה הרווחנו ממניעת המיכון? בעצם אתה אומר שאין אתיקה נכונה אחת, וביחד עם זה מתריע נגד שימוש ברובוט כי אולי הוא ינהג לא נכון.

שים לב שאתה מניח כאן במובלע התייחסות מאד מסוימת להחלטות מוסריות. לדעתך הן אמורות להישפט לא לפי תוצאותיהן אלא רק דרך זה שבני אדם קיבלו אותן. כלומר החלטה היא מוסרית אם אדם קיבל אותה, בל קשר לתוצאותיה. זוהי גירסה אבסורדית ומאד מרחיקת לכת של מוסר דאונטולוגי. דאונטולוגיה יכולה להיות תנאי לשיפוט מוסרי של מעשה, אבל לא תנאי בלעדי. לענייננו כמובן זה לא חשוב, כי ברור שמה שחשוב הוא התוצאה. ייש לא מעניין אותי האם הרובוט הוא מוסרי. מה שחשוב לי הוא שלא יהרוג אנשים באופן לא מוצדק ושיקבל החלטות נכונות (תוצאתית).

יום מצוין,

ויש עוד (לפחות) שני שיקולים חשובים מאד לפני שאנו מוותרים על הסוכן האנושי בצבא:
* המרחב הצבאי הוא המקום שבו חברות אנושיות עושות ניסויים בטכנולוגיות, שאח"כ נודדים למרחב האזרחי (והיום ההפרדה בין הצבאי לאזרחי קטנה מאי פעם). את המעבר הזה עושים בדר"כ "בעזרת השם", כלומר מחליפים את השם, למשל ממזל"ט לרחפן, אבל כדאי לשים לב לתופעת ה'גיור' הזו. אז בהסכימך לכך שהצבא יהיה לא-אנושי, אתה חותם בזאת על כך שאתה מוכן שרובוטים דמויי אדם יכניסi אותך ברחוב לניידת (מלווים כמובן בצו מעצר אלקטרוני שהוצא ע"י אלגוריתם, כדין וכדין), יפנו את עמונה/אום-חיראן ללא מגע יד אדם, שהבנק ישלח רובוטים בכדי לפנות אותך מהבית אם תרד מנכסיך, וכן הלאה. זה יקטין או יגביר את שפיכות הדמים ואת ההוגנוּת? את השקיפות זה בודאי לא יקדם. כל אלו אינם מדע בדיוני. הפיכתם למציאות מקובלת, אם תקרה, תהיה תולדה של מוסכמות חברתיות, אותן מנסים אנשים כמו תא"ל אבטליון לשנות – אף שלזכותו אומר שאני מאמין שהוא לא מודע לחומרת דבריו והשלכותיהן.

* לסוכן האנושי יש חסרונות אך גם יתרונות מנק' מבט מוסרית. אבל כפי שאנו יודעים מהמעבר של הנאצים מירי ישיר למשאיות גז, הבעיה של בני אדם לעכל הרג היא חסרון מנק' מבט של 'יעילות' צבאית ותעשייתית, אבל היא עדות לכך שאותו המוסר הטבעי שהוזכר לעיל, גורם לכך שבני אדם מוכנים להרוג רק כשהם משוכנעים שהדבר מוצדק. האם זו הסיבה שמקדמים היום בצה"ל כל מיני טכנולוגיות תמוהות להינדוס תודעה של חיילים? ויתור על הסוכן האנושי יפתח פתח למציאות בעייתית מאד, שלא נראה לי שתקטין את העוולות. כך גם לגבי הממד של המקרו – היום יציאה למלחמה כרוכה בלשכנע את הציבור שהמחיר בחיי אדם מצדיק זאת. מלחמה בשלט רחוק תבטל את ה'חסם' הזה.

נמחקה התגובה הקודמת וגם זאת, וכעת אני מודיע שיימחקו גם כל הבאות אם ינוסחו בצורה לא מכבדת ומכובדת.

רבינו ענוותן כהלל ולכן עונה וחוזר ועונה בסבלנות ובאריכות (לדעתי מיותרת) לשאלות דביליות אך אני קינאתי לכבוד תלמיד חכם. השאלות של נ' מתאימות לפורום מדע בדיוני או האתר של משה ראט. ההצגה הפסבדו אינטלקטואלית של בעיה שלא קיימת מצביעה בעיני על דקדנס של האקדמיה בחלק ממדעי הרוח מהם מגיע השואל.

מצ"ב התכתבות בנושא מהמייל:

ש': אתיקה של מחשבים: מי יחנך את המכונות הלומדות?
התפתחות כוח המחשוב בשנים האחרונות, לצד האלגוריתמים הלומדים למיניהם (machine learning, deep learning וכולי) וטכניקת רשתות הנוירונים, יצרו התפתחות עצומה בתחום האינטליגנציה המלאכותית (AI). יותר ויותר מכונות ״לומדות״ נכנסות לחיינו ומחליפות משימות שעד לאחרונה חשבנו שרק בני אדם יכולים לעשותן.
אליה וקוץ בה: אנו עלולים לאבד שליטה על המכונות משום שנתנו בידן את היכולת לשנות את התוכנה של עצמן.
דוגמה: מיקרוסופט השיקה לפני כשנה תוכנה לומדת בשם Tay שנועדה לעזור בשיחה למי שנתקל בבעיות עם התוכנות של מיקרוסופט. Tay הורדה מהרשת אחרי 24 שעות, לאחר שלמדה מבני שיחה לקלל, לנבל את הפה וכיוצא בזה.
גם אנחנו בני האדם הם סוג של ״מכונה לומדת״ וגם אנחנו (במיוחד ילדים) עלולים ללמוד דרכי התנהגות פסולה. אלא שמערכת החינוך, ההורים, המורים והחברה מלמדים אותנו לא להשתמש בהתנהגויות פסולות. לשם כך יש לנו ״ערכים״. אבל מהם הערכים של מחשבים עם תוכנות לומדות? מי ערב לנו שהן לא ישמידו אותנו יום אחד, אם ילמדו למשל שאנו יכולים לנתק אותן מהחשמל?
אסימוב ניסה לפתור את הבעיה ע״י שלושת חוקי הרובוטיקה הידועים אולם אלו קשים מאד (ואולי אף בלתי אפשריים) ליישום.
רצ״ב מאמר מהניו-יורק טיימס הבוקר, המבשר על המאמץ המדעי שעושים מדעני ה-AI כיום להתמודד עם בעיה זו:
https://drive.google.com/open?id=0BwJAdMjYRm7IMkFtUHNWSnVIRUU

מיכי: לדעתי מגזימים עם האפוקליפסות הללו. מה זה שונה מכל כלי טכנולוגי שמזיק בשליחות בני אדם?
יש באתר שלי התכתבות דומה על מכוניות אוטונומיות
ש': הדאגה היא מאבוד השליטה
מיכי: מה ההבדל בין מכונה שלך שאיבדת שליטה עליה לבין מכונה רגילה בשליטה מלאה של האויב שמנסה לחסל אותך? חוץ מהיסטריה לא רציונלית איני רואה שום הבדל בין המצבים אלא אולי דווקא לרעת ה-AI (כי במקרה השני יש מאמץ מכוון לחסל אותך ולא רק אבדן שליטה מקרי).
ש': מול מאמץ לחסל אותי יש לי שליטה על אמצעי התגוננות.
מיכי: וגם מול מאמץ של מכונה שלך לחסל אותך. או שלא לזה ולא לזה. בדיוק אותו דבר.
ש': החשש הוא מאבוד שליטה כך שלא נדע לאן
מיכי: בדיוק כמו שאינך יודע לאן יילכו אמצעי התקיפה של האוייב שלך.
ש': מול אויב יש לי מידע טוב על אמצעי התקיפה (וגם מודיעין לא רע על כונותיו) וכן שליטה על אמצעי התגוננות (ראה כפת ברזל כדוגמא) בעוד שלגבי הAI החשש הוא מאבוד שליטה על המידע לאן הוא מתפתח ומה הוא זומם ועל כן חוסר יכולת להתגונן
מיכי: ממש לא
גם האוייב יכול להשתמש ב-AI נגדך בלי לאבד עליו שליטה. ומודיעין יש לך גם על ה-AI שלך, שהרי אתה בנית אותו.
ש': זה בדיוק החשש שעל אף שבניתי אותו נאבד שליטה על המודיעין לאן הוא מתפתח
מיכי: כאמור, אני לא רואה ולו בדל הבדל.