על בינה מלאכותית

איני רואה כאן שום דבר חדש. מדובר באותן אי הבנות שדבריי בספר מצביעים עליהן. האיש פשוט לא מבין את משמעות הדוגמה של סירל.
הוא מתייחס בדבריו לשאלה של קלט-פלט, אבל סרל (וגם אני) מתייחס למה שאנחנו חשים באופן בלתי אמצעי בתוכנו (ולא אצל אחרים) כשאנחנו מנהלים את הליכי הקלט-פלט הללו. האם תחושת ההבנה בתוכנו שמלווה את התקשורת, קיימת לדעתו גם בתוך מחשבים? האם מחשב שיעבור את מבחן טיורינג וינהל קלט פלט כמו אדם, יחוש בתוכו את אותן תחושות הבנה כמו אצלנו? אם לדעתו כן – אז לדעתי הוא פשוט הזוי (או שהוא עצמו מחשב נוסח טיורינג).
 
מעבר לזה, ספרי לא בא להוכיח שיש לנו רצון חופשי או נשמה, אלא להסביר מדוע למדע אין מה לומר בעניין. כלומר שמי שחושב שכל אלו ישנם אצלנו יכול להמשיך לחשוב כך ללא חשש מהממצאים החדשים של מדעי המוח.
——————————————————————————————
שואל:
אם היית מחליף לפלוני את הניורונים במוח בניורונים מלאכותיים אחד-אחד  — הניורונים המלאכותיים היו מגיבים בדיוק כמו הניורונים האמיתיים, שומרים על אותו המתח ו"יורים" באותו הזמן — עד שכל הניורונים במוחו היו ניורונים מלאכותיים.  באיזה שלב בתהליך הזה "תחושת ההבנה שמלווה את התקשורת" של אותו פלוני היתה נעלמת?
יונתן לזרסון,
——————————————————————————————
הרב:
אין לי מושג.
ע"ע הספינה של תזאוס.
אבל אם אתה מנסה לטעון מכוח זה שמחשב חש גם הוא תחושות והבנות, אני חולק עליך. גם אדם מת יש לו את כל הנוירונים הללו, ועדיין להבנתי אין בהם תחושות ולא הבנות. כל עוד יש נשמה בגוף, אתה יכול להחליף נוירון בנוירון אחר בדיוק כמו בניתוח שמחליף בגופנו כל אבר אחר.
——————————————————————————————
שואל:
אני לא מעוניין להיכנס לדיון הפילוסופי על זהות, כי זו לא הנקודה. גם זה שלבן אדם מת אין תחושות או הבנות לא רלוונטי פה – לא טענתי אחרת.  

אבל אם אתה רואה ניורון כמכשיר קלט-פלט ביולוגי (ואני רואה אותו כך), אזי ניתן תיאורטית ליצור לו תחליף מלאכותי.  אם נחליף אחד אחד את הניורונים של פלוני בניורונים מלאכותיים אז לא עשינו שום דבר שישנה את החווייה שלו – אותו פלוני יחוש ויבין בדיוק כמו קודם, גם כשכל הניורונים שלו יהיו מלאכותיים (ולכשימות, הוא ימות גם עם ניורונים מלאכותיים, בדיוק כמו שאדם עם לב מלאכותי יכול למות). 

בהנחה שמקור כל התחושות והחוויות שלנו הוא בפעילותו של המוח, אני טוען מכוח זאת שניתן ליצור מכונה מעשה-ידי-אדם שתחוש בדיוק כמו בני אדם, ולו רק באמצעות סימולציה של כל הניורונים במוח אנושי אחד לאחד. רוצה לומר, עצם קיומו של מוח אנושי שחושב ומרגיש היא הוכחת הקיום לכך שגם ניתן לבנות מכונה כזו.

תפקידי כמהנדס ומדען היא להבין יותר לעומק איך עובד המוח ויוצר את החוויות שלנו, לאפיין זאת במודל ואז ליישם זאת במציאות בצורה היעילה ביותר – שלא בהכרח תהיה זהה לאופן שבו המוח עובד.  

אני אישית מאמין שבחיבור בין תהליך ההמשגה-הפשטה (שהיום אנחנו מתחילים ליצור לו אנלוגיה חישובית באמצעות רשתות ניורונים) לתודעה (שאין לנו היום מושג איך לבנות לה אנלוגיה חישובית) נוצרת גם החוויה.  תקרא לי הזוי, אבל אני משוכנע שמחשב שיוכל לנהל שיחה משמעותית "מלב אל לב" עם אדם באופן שהלה לא יוכל לנחש שדיבר עם מחשב, יהיה  מחשב שגם חווה וחש.
——————————————————————————————
הרב:
גם אני לא דיברתי על שאלת הזהות. דוגמת הספינה של תזאוס מדברת גם על השאלה שלך. עובדה היא שלמערכת נוירונית כזאת נוצר ממד מנטלי שמלווה אותה. שאלת מתי הוא נוצר (בנוירון השביעי, המאה או המיליון), ועל כך הבאתי את הדוגמה של תזאוס. איני יודע.
הדוגמה של המת גם היא באה לענות לשאלתך. למת יש אותה מערכת נוירונית אבל חסרה ה"נשמה" שמפעילה אותה (לשיטתי כמובן).
כך גם ההשוואה בין החלפת נוירון להחלפת איבר בניתוח. איני רואה הבדל מהותי. המוח הוא האיבר שבאמצעותו חושבים כמו שהרגל היא האיבר שבאמצעותו הולכים.

השאלה האם הרכבה של אדם יש מאין בהעתקה של נוירון נוירון מאד חי תיתן שכפול אנושי היא שאלה שאיני יודע לה תשובה. אולי לא, ורק החלפות נוירון על גוף פועם וחי יכולות לעבוד. ואולי זה יפעל, ואז זה רק אומר שבכל פעם שנוצר גוף כזה נכנסת לתוכו נשמה. כמו שכשנוטעים זרע באדמה נכנסת בו חיות ויטאלית (אני יודע שזה דיבור אנכרוניסטי, ובכוונה אני משתמש בו).
שאלת הספינה של תזאוס לגבי אדם היא שאלה מרתקת, שהייתי מאד רוצה לראות את התשובה אליה. אבל גם אם ייווצר אדם שחושב וחש, אין זה אומר שאתה צודק בתמונה המטריאליסטית שאתה מציג.

זה שאתה מאמין אחרת, זה בסדר גמור. אבל אמונה אינה טיעון. צדיק באמונתו יחיה.

לתהליך התודעה אין אנלוגיה חישובית, לא בגלל חולשה טכנולוגית. תודעה היא לא תהליך חישובי. רק תהליכי קלט-פלט הם חישוביים, ואין פלא שלזה מצליחים לעשות מודלים. ובגלל זה אתה סבור שמחשב משוכלל מספיק יוכל לנהל שיחה מלב אל לב עם אדם. בעיניי זה הזוי, אבל כאמור צדיק באמונתו יחיה.

רק הערה שלגביה ודאי שטעית. העובדה שלא נוכל להבדיל בין מחשב לאדם (מבחן טיורינג) אינה אומרת שזה יהיה מחשב שחווה וחש. זו טעות נפוצה של אנשי בינה מלאכותית שמזהים אם התופעה עם מה שהיא מבטאת (מכים את המקל במקום את מי שמחזיק בו). ודוק היטב, גם אם אתה צודק שכל מערכת כזאת חווה חוויות ותחושות, בכל אופן זו לא  תהיה ראיה לדבריך.
שמא תשאל, אז איך אני יודע שאנשים אחרים חשים וחווים (other minds problem), אולי אנחנו מכונות טיורינג? תשובתי היא שאני יודע שבתוכי פנימה יש חוויות ותחושות, ולכן אני משער שכך הוא גם לגבי אנשים אחרים.
——————————————————————————————
שואל:
אני מנסה לוודא שהבנתי את עמדתך. השאלה שעומדת לדיון היא האם נוכל אי פעם לעשות מחשב שחווה וחש באופן אנלוגי לאדם.

אתה אומר:
1. לגבי התחלה מגוף אנושי והחלפה של ניורונים אחד-אחד: "אולי זה יפעל". 
2. לגבי הרכבה יש מאין שתיצור שכפול אנושי מלאכותי: "איני יודע".  
3. לגבי האפשרות שמחשב משוכלל-מספיק יוכל לנהל שיחת לב אל לב עם בן אדם: "הזוי".

בעיני 2 נובע ישירות מ-1, ואילו 3 נובע ישירות מ-2.

הרי אם יכולתי להתחיל בגוף ביולוגי ולהגיע למצב שבו הכל מלאכותי, אין כל מניעה לבנות את המערכת באופן מלאכותי מראש.  ואם ניתן ליצור שכפול אנושי שכולו עשוי מרכיבים מלאכותיים, אז אותו כפיל יוכל לנהל שיחת לב-אל-לב בדיוק כמו עמיתו בן האנוש.

השאלה שנשאלת בפרדוקס לכאורה של תזאוס, "האם זה עדיין המוח של יוסי" לאחר החלפת כל הניורונים בו, לא באמת מעניינת. להיפך, הסיבה לכך שהדיון הפילוסופי על השאלה הזו מתקיים בכלל היא כי מכל בחינה מעשית לא ניתן להבדיל בין "המוח שלפני" ו"המוח שאחרי". אם המוח של יוסי הביולוגי חווה והרגיש, אז גם המוח המלאכותי שחיקה אותו עשה זאת.

גם לדיון על מטריאליזם או קיומה של "נשמה" אין נגיעה פה. אם המישור המטה-פיזי הזה קיים אין סיבה שלמוח מלאכותי לא תהיה גישה אליו.
"שמא תשאל, אז איך אני יודע שאנשים אחרים חשים וחווים (other minds problem), אולי אנחנו מכונות טיורינג? תשובתי היא שאני יודע שבתוכי פנימה יש חוויות ותחושות, ולכן אני משער שכך הוא גם לגבי אנשים אחרים."

אני מסכים איתך, ורוצה להמשיך ולשאול:  ואיך אתה יודע שה"אנשים האחרים" הם באמת
אנשים? אולי הם מכונות טיורינג שרק נראות כמו אנשים?  האם כל מה שנדרש כדי ש"תדע" שמכונות טיורינג חשות וחוות הוא שהן גם ייראו כמו אנשים? כי גם את זה אפשר לסדר.  

זה בדיוק ההגיון שהפעלתי כשאמרתי שאם אני אוכל לנהל שיחת לב אל לב עם מחשב, אני משוכנע שהוא יוכל לחוות ולהרגיש. נכון, אני לא בטוח, אבל אני אשער שכן, בדיוק מאותה סיבה שאתה משאר ש"כך הוא גם לגבי אנשים אחרים".
——————————————————————————————
הרב:
שלום יונתן.
ראשית, לא הייתי מגדיר את הדיון שלנו כפי שהצעת: האם נוכל אי פעם לעשות מחשב שחווה וחש באופן אנלוגי לאדם.
הסיבה לכך היא שעליך להגדיר מהו מחשב. אם הרכבת אדם נוירון נוירון גורמת להכנסת נשמה לתוכו אז גם אני מוכן לקבל שאנחנו יכולים לעשות זאת. אבל זה לא יהיה מחשב אלא אדם. הרי כשאתה לוקח זרע ומפרה ביצית זה בדיוק מה שאתה עושה, ואף אחד לא מתווכח על כך שהתוצר חווה וחש כמו אדם (כי הוא אדם).
כעת אני לא בטוח, אבל כפי שהבנתי את עמדתך אתה טוען שהפונקציות הללו לא זוקקות מאומה מלבד נוירונים וביולוגיה, כלומר מצדד במטריאליזם (תפיסה שאין בנו נשמה, סובסטנציה נוספת, אחרת מהחומר), ועל כך התווכחתי. אולי טעיתי בהבנת דבריך.

כעת נשוב לסיכום שהצעת לעמדתי:1. לגבי התחלה מגוף אנושי והחלפה של נוירונים אחד-אחד: "אולי זה יפעל". 2. לגבי הרכבה יש מאין שתיצור שכפול אנושי מלאכותי: "איני יודע".  3. לגבי האפשרות שמחשב משוכלל-מספיק יוכל לנהל שיחת לב אל לב עם בן אדם: "הזוי". אכן נכון. זו בדיוק עמדתי.

אבל בניגוד לדבריך לדעתי 2 לא נובע ישירות מ-1 (וגם כתבתי זאת), שהרי גם תכונה אמרגנטית (=מגיחה) יכולה להיות תלויה בגודל או כמות מסויימת ועד אליו היא לא תגיח. גם אתה מסכים שלמוח שלנו יש יכולות וכישורים שאין לבעלי מוחות אחרים, קטנים יותר. הרי לך שיש כישורים שמגיחים רק מגודל או עוצמה מינימלית כלשהי של המוח. כעת אם תתחיל להרכיב נוירונים מלאכותיים במוח קיים, הם ייטמעו בו ויצטרפו אליו. אבל מוח שכולו נוירונים מלאכותיים אולי לא יפעל מנטלית (ואולי כן. לא יודע).
תחשוב על ניסיון להרכיב אדם מאיבריו, אחד אחד. האם זה לא שונה מהחלפת איברים באדם חי אחד אחד? במכניזם השני ודאי שהאדם יכול להישאר חי ולהמשיך לתפקד, אבל בראשון אני בספק אם יש לנו יכולת לעשות זאת (או אולי רק חוסר ידע טכנולוגי שעתיד לחלוף). בכל אופן, ברור מכאן שהמסקנה שזה "נובע ישירות" מזה היא פזיזה.

עוד בניגוד לדבריך, 3 לא נובע ישירות מ-2. ראה הערת הפתיחה שלי, שמחשב הוא אוסף נוירונים בלי נשמה, ואילו צירוף הנוירונים שאתה מתאר יכול אולי להכיל גם נשמה.

הפרדוקס לכאורה של תזאוס לא עוסק בשאלה האם המוח יהיה של יוסי. הסברתי שגם אני לא עוסק בשאלת הזהות. אני הבאתי את זה כדוגמה לשאלת האמרגנטיות: ממתי נכנסת לאוסף הנוירונים הזה נשמה? אחרי נוירון אחד? שלושה? מיליון?

העובדה שמכל בחינה מעשית לא ניתן להבחין בין המוח הזה למוח של יוסי, לא ממש חשובה. הסברתי בהודעה הקודמת שהבחנה מעשית היא לא קריטריון (לכן חלקתי על מבחן טיורינג). זו לכל היותר בעיה טכנית שאני אתבלבל, אבל היא לא מלמדת על טבעם האמיתי של הדברים עצמם.
דוגמת החדר הסיני של ג'ון סרל (וראה גם את דוגמת החדר של מרי בויקיפדיה, בתוכנה היא ממש זהה לזו של סרל) באה להדגים בדיוק את זה: מכונת קלט פלט שנראית ופועלת ומתפקדת כאדם, ועדיין זה לא אדם כי היא לא מלווה ב"הבנה" של תהליכי הקלט-פלט שהיא מבצעת. אתה יכול כמובן לחלוק על סרל, אבל דומני שאינך יכול לומר שזה "נובע ישירות" מזה. אין כאן נביעה הכרחית אלא הנחת המבוקש.
גם מחשב עם תוכנת רשת נוירונים בתצורה שיש היום יכול לנהל שיחה אינטליגנטית ברמה כלשהי עם בני אדם שלא יבחינו בינו לבין אדם. האם לדעתך כבר כיום יש בו חוויות ותחושות? ואם ניתן להבחין בינו לבין אדם, אז תשווה אותו לקוף או עכבר. האם לדעתך יש בו תחושות כמו עכבר?
אתה יכול לדחות ולומר שלדעתך זה תלוי בצורה הביולוגית שלו ולא בתפקוד הלוגי (ומחשב הוא ברזל ולא ביולוגיה). אבל אם כך, אז שוב הגעת למסקנה שלא הקלט-פלט קובע בהכרח, כי מבחינת קלט-פלט הוא פועל כמו אדם/עכבר.

ומכאן שגם השאלה איך אני יודע לגבי אנשים אחרים, לא רלוונטית (גם את זה כבר כתבתי). זו לכל היותר בעיה דיאגנוסטית שלא אומרת הרבה על המציאות עצמה. אני חושב (אף שיש לי רתיעה ממיסטיקות) שיש לנו יכולת לחוש באופן בלתי אמצעי את תודעתו של מי שנמצא מולנו ומתקשר איתנו. זה לא נעשה רק בתהליכי קלט פלט חושיים (אולי גם זה בחושים אבל לא ניתן לעשות לזה רדוקציה למראה או שמע פשוטים. כמו תחושות "על חושיות" שאדם חש שמישהו עומד מאחוריו או שמישהו מסתכל עליו, או שמישהו קרוב אליו מת במקם רחוק. בכל זה אני רק מעלה אפשרויות. גם אני לא בטוח שהתחושות הללו אינן אשליות).
הרי גם אתה מסכים שיש לנו יכולת להסיק שלמי שעומד מולנו יש mind כמונו, וגם אותך אני יכול לשאול: איך אתה יודע זאת? הרי גם לך אין גישה ישירה לממד המנטלי של בן השיח שלך (גם אם הוא רק תוצר של הביולוגיה ולא קשור לסובסטנציה אחרת, ברור שהוא לא נגיש לאדם אחר), אז איך אתה עצמך מסיק את קיומו של other mind? אתה מסכים שהקלט פלט שאתה מנהל איתו רק מראה שהוא מחשב ואין לך ממנו שום אינדיקציה לקיומה של תודעה או ממד מנטלי בכלל. אתה מסיק זאת מעצמך. אז למה אני לא יכול להסיק מעצמי שזה נכון לבני אדם ולא למחשבים. זו רק שאלה של היקף האינדוקציה שאתה עושה, ודווקא אני שמרני יותר (פחות ספקולטיבי ממך) מבחינת היקף הקבוצה שלגביה אני מיישם את האינדוקציות שלי.

אין זה אומר כמובן שאני לא יכול לטעות בדיאגנוזה שלי, הן לאבחן other mind במקום שהוא איננו, והן לחשוב שהוא איננו במקום שהוא ישנו. כמו כל היסק אחר שאני עושה, אני בהחלט סקפטי ולוקח בחשבון את האפשרות שטעיתי. ועדיין, לטעון כלפיי שאני בהכרח טועה, או לא עקבי, נשמע לי פזיז מאד ולא מבוסס.

אם תרשה לי להעיר, דומני שזה כשל רווח אצל אנשי בינה  מלאכותית, שכן עניינם הוא ביצירת מודלים שמחקים התנהגות אנושית (בינה), ואז רק טבעי לזהות בין ההתנהגות ובעל ההתנהגות לבין המודל. אני בא מפיסיקה, ואני יודע משם עד כמה חשוב להיזהר ולא לשכוח שבמודל עסקינן ולא במציאות עצמה.
——————————————————————————————
שואל:
שלום מיכי,

שאלת איך מוגדר מחשב. אני מגדיר מכונה או מחשב (לצורך דיון זה מדובר באותו המושג) כישות שנוצרה "מוכנה לתפעול" בידי בני אדם ומורכבת מרכיבי קלט-פלט פיזיים (חיישנים, מעבד) ווירטואליים (תוכנה).
אתה אומר:"אם הרכבת אדם נוירון-נוירון גורמת להכנסת נשמה לתוכו אז גם אני מוכן לקבל שאנחנו יכולים לעשות זאת. אבל זה לא יהיה מחשב אלא אדם." וגם "מחשב הוא אוסף נוירונים בלי נשמה, ואילו צירוף הנוירונים שאתה מתאר יכול אולי להכיל גם נשמה." [תמוהה בעיני שההגדרה שלך של מחשב מכילה בתוכה את הקביעה שאין לו נשמה, לא שמעתי מעולם הגדרה כזו.] 

לאור הצלחתי בפעם הקודמת, נראה אם הבנתי נכון את עמדתך.  אתה אומר:
1. לפי הגדרה למכונה אין נשמה.
2. דרושה נשמה כדי לחוות ולהרגיש.
3. מכאן נובע שמכונה לא יכולה לחוות ולהרגיש.
4. מכאן נובע שאם הצלחנו לבנות מכונה שנכנסה אליה נשמה, באותו רגע היא מפסיקה להיות מכונה ומתחילה להיות אדם.
אבל, הדיון התחיל מזה שטענת שזה הזוי שמחשב משוכלל מספיק יוכל לחוות ולהרגיש. האם התכוונת לכך שזה הזוי שלמחשב משוכלל מספיק תיכנס נשמה?  כי את זה אני לא מצליח להבין.  
ניסית להסביר זאת באמצעות "שאלת האמרגנטיות" ("ממתי נכנסת לאוסף הנוירונים הזה נשמה? אחרי נוירון אחד? שלושה? מיליון?") ואני עדיין לא מבין איך היא קשורה. לא בגלל שאיני מאמין בקיומה של נשמה, אלא בגלל שמה שלא תהיה מידת המורכבות ש"מנביטה" נשמה, אין מניעה שלא נוכל להגיע למורכבות זו גם באופן מלאכותי, ומה שלא יהיה המימד המטפיזי שממנו יונקת החוויה האנושית, אין סיבה תיאורטית שמכונה לא תוכל לינוק ממנו גם כן. 
הרי אתה מקבל פה את האפשרות שאנחנו יכולים ליצור אדם יש מאין. כמובן שבתור מהנדס/מדען לא אכפת לי שתאמר שהמכונה שבניתי היא בעצם אדם, ואני מניח שתסכים שהאדם/מכונה הזה יוכל לנהל שיחה אמיתית, לחוות ולהרגיש. אז איפה פה נכנס ה"הזוי"?  להרכיב אדם מניורונים ביולוגים אחד-אחד זו אפשרות שמקובלת עליך אבל לעשות אותו דבר מניורונים מלאכותיים נהיה הזוי? ואם אפשר לעשות אדם מניורונים מלאכותיים, מדוע לא ניתן להרכיב אדם באמצעות סימולציה של אותם ניורונים באמצעות תוכנה?  המורכבות תהיה אותה המורכבות.  מתי זה מתחיל להיות "הזוי"? 
בנוסף יש את הדיון הפילוסופי על "טבעם האמיתי של הדברים", באותם המקרים שבהם טבעם האמיתי של הדברים הוא מושג שאין לי גישה אליו, ואין לו כל משמעות פרקטית. אם לחדד את הנקודה, אנחנו דנים במצב היפותטי, שבו יש לי את יוסי הביולוגי בחדר אחד, ויוסי שנבנה יש מאין על ידי רכיבים מלאכותיים בחדר השני, ובכל רזולוציה שלא תסתכל על החישוב שהם עושים אין הבדל בינהם – הניורונים שלהם יורים באותו אופן באותו זמן בתגובה לאותו אינפוט, והם עונים את אותן תשובות בתגובה לאותן שאלות.  ואתה עדיין תאמר שיוסי הביולוגי חווה ומרגיש, ויוסי המלאכותי לא חווה ומרגיש (כי אין לו נשמה): "העובדה שמכל בחינה מעשית לא ניתן להבחין בין המוח הזה למוח של יוסי, לא ממש חשובה… זו לכל היותר בעיה טכנית שאני אתבלבל, אבל היא לא מלמדת על טבעם האמיתי של הדברים עצמם."
"הרי גם אתה מסכים שיש לנו יכולת להסיק שלמי שעומד מולנו יש mind כמונו, וגם אותך אני יכול לשאול: איך אתה יודע זאת? הרי גם לך אין גישה ישירה לממד המנטלי של בן השיח שלך (גם אם הוא רק תוצר של הביולוגיה ולא קשור לסובסטנציה אחרת, ברור שהוא לא נגיש לאדם אחר), אז איך אתה עצמך מסיק את קיומו של other mind? אתה מסכים שהקלט פלט שאתה מנהל איתו רק מראה שהוא מחשב ואין לך ממנו שום אינדיקציה לקיומה של תודעה או ממד מנטלי בכלל. אתה מסיק זאת מעצמך. אז למה אני לא יכול להסיק מעצמי שזה נכון לבני אדם ולא למחשבים. זו רק שאלה של היקף האינדוקציה שאתה עושה, ודווקא אני שמרני יותר (פחות ספקולטיבי ממך) מבחינת היקף הקבוצה שלגביה אני מיישם את האינדוקציות שלי."
השקפת עולמי היא פרגמטיסטית. אני גורס שאם יש שני מושגים שאין דרך פרקטית להבדיל בינהם, יהא זה בזבוז זמן להתדיין על ההבדל בינהם (שבהכרח יהיה קיים רק במישור המטפיזי), ולכן יש להתייחס אליהם כאילו הם אותו הדבר. אני הולך עם הקביעה הזו עד הסוף בעוד שאתה עוצר באופן שרירותי בבני-אדם. לכן אני חושב שאתה לא עקבי.
לגבי תחושות "על חושיות" אני לא רוצה להתייחס משום שאיני מאמין שהן קיימות.
את משל החדר הסיני של סירל אף פעם לא הבנתי. ברמת ההפשטה הגבוהה בני אדם חושבים, מרגישים, ומבינים, אבל כשעושים זום-אין לרמת הניורונים כולנו מושבות נמלים שמתרוצצות אנא ואנא בחדר של סירל. אין סתירה.
——————————————————————————————
הרב:
שלום יונתן.

הגדרתי מחשב כיצור בלי נשמה, מפני שאחרת אי אפשר לבדל אותו מאדם, ואז אני לא יכול לטעון את טענתי, וגם אתה שמזהה ביניהם הופך את טענתך להגדרה גרידא (במקום טענה).

אתה מציע את ההגדרה הבאה: ישות שנוצרה "מוכנה לתפעול" בידי בני אדם ומורכבת מרכיבי קלט-פלט פיזיים (חיישנים, מעבד) ווירטואליים (תוכנה).
אבל למרות שזו נראית נוקדנות מופרזת יש לשים לב לכך שכמה מושגים כאן טעונים בעצמם הגדרה: מה פירוש "מוכנה לתפעול"? מה פירוש "נוצרה בידי בני אדם"? הרי הפריית ביצית על ידי זרע היא פעולה שנעשית על ידי בני אדם (לפעמים ברחם ולפעמים בחוץ), ולכן מה שנוצר הוא ישות שנוצרה בידי בני אדם. היישות הזאת גם מוכנה לגמרי לתפעול (פרט לצורך להאכיל אותה, כמו ניקוי ושימון או תכנות של המכונה שלך, כל אלו נעשים גם הם בידי אדם כמובן). ה"תוכנה" מתעדכנת (עם התקדמות התינוק ולימודיו) וכך גם החומרה משנה את ממדיה (התינוק גדל), וזאת כמו כל מחשב ראוי לשמו שמכניסים אליו תוכנות ומוסיפים לו חומרה. לכן הגדרתך בעצם שוב מכניסה בדלת האחורית זהות בין אדם למכונה מעצם ההגדרה (ולא כטענה), ולכן סובלת מאותן בעיות שציינתי למעלה.

התיאור שלך את עמדתי שוב נראה לי נכון. וכך גם מסקנתך: אני באמת טוען שזה הזוי שלמחשב (עשוי ברזל) מספיק משוכלל תיכנס נשמה, זאת שלא כמו ה"מכונה" שנוצרת מזרע וביצית או מחיקוי מדויק שלה שמסונתז במעבדה (שם אמרתי שאיני בטוח מה יקרה. האם תיכנס נשמה או לא).
ה"הזוי" הוא על המכונה עשויית הברזל ולא עשויה בידי אדם, שהרי כאמור גם זרע וביצית עשויים בידי אדם.

לא ברור לי למה אתה קורא "נוירונים מלאכותיים". ביולוגיה יצירת ידינו, או ברזלים שמסמלצים את הקלט-פלט של נוירון? כך גם לגבי הביטוי "יורים", האם כוונתך לפועלה ביולוגית אלא שמי שמחולל אותה נוצר על ידינו או לפעולה אלקטרונית שמסמלצת את הראשונה? הראשון כבר אמרתי שאני מוכן לקבל את האפשרות (לא יודע), ורק לגבי השני טענתי שזה הזוי כי זה לא אדם אלא מודל לקלט-פלט של אדם (המקל והכלב). ולגבי "יורים", הרי נוירון ביולוגי שנוצר על ידינו הוא ביולוגיה רגילה ואין בהכרח הבדל בינו לבין נוירון רגיל.

אני חוזר ואומר שלדיון על טבעם האמיתי של הדברים יש משמעות לדעתי, גם אם לא "פרקטית" כהגדרתך (כלומר לא ניתנת למימוש על ידי מכונת טיורינג שתקבל קלט כלשהו מיצור כלשהו ותקבע האם היצור הזה הוא אדם או לא). הרי זה גופא מה שאני טוען שיש להבחין בין חוסר היכולת לעשות דיאגנוזה (האם זה  אדם או לא) באופן אלגוריתמי לבין חוסר ההבחנה בין אדם ומכונה.

כפי שאני חוזר ואומר כל העת, הוויכוח בינינו נעוץ כולו בפיסקה האחרונה שלך בהודעה זו. אתה פוזיטיביסט ואני מתנגד לפוזיטיביזם. כפי שאני חוזר ואומר מבחינתי הדיאגנוזה אינה זהה להבחנה עצמה. שני דברים שאני לא יכול להבדיל ביניהם עדיין יכולים להיות שונים זה מזה. ובוודאי שזה כך אם אני כן יכול להבדיל ביניהם, רק לא במונחי קלט פלט אלא בתחושה ישירה (כפי שכתבתי זה לאו דווקא "על חושי", אבל זה לא חשוב לי). כלב חש בתדרים גבוהים יותר מאיתנו, האם בגלל זה מבחינתנו מקור הקול ההוא לא קיים? אולי אני לא יכול להבחין בקיומו אבל הוא קיים. ואם יש לי יכולת לחוש שהוא קיים לא בדרך של שמיעה (כי האוזן שלי לא רגישה לתדרים הללו), אז אני יכול גם לדעת על קיומו. דוגמה נוספת, כשמגרים את מוחך ואתה רואה מולך את סבתא צילה (או סתם כשאתה נזכר בה) עדיין לא עומדת מולך סבתא צילה, למרות שאתה לא יכול להבדיל בין שני המצבים. אם אתה כן מבדיל ביניהם זה לא בהכרח בגלל שאתה רואה הבדל בקלט בפרט זה או אחר (כלומר שהשחזור שלה לא מושלם) אלא מפני שיש לך תחושה ("על חושית"? לא בהכרח) שמדובר בזיכרון ולא בדבר האמיתי. זו התחושה שיש לי כשאני עומד מול ברזל עם קלט-פלט לעומת עמידה מול אדם עם אותו קלט-פלט (מבחן טיורינג). גם אם אין הבדל בקלט-פלט אבל זה דבר אחר.

המשפט המסיים שלך מחדד את הבעייתיות בתפיסתך. אתה מבין היטב את הדוגמה של החדר הסיני, כפי שתיארת זאת היטב בדבריך. אתה אומר ש"ברמת ההפשטה הגבוהה" יש הבדל בין מצב שבו פעולות הקלט-פלט של האדם בחדר הסיני מלוות בתהליכים מנטליים (הבנה וחישה) לבין מצב שהן נעשות בלי התחושות המלוות הללו. אבל כשעושים זום לרמת הנוירונים לא רואים הבדל. הרי לך שאתה עצמך רואה שהזהות ברמת הנוירונים לא אומרת זהות ברמת ההפשטה הגבוהה. כלומר שברמה הגבוהה יש עוד משהו מעבר לקלט-פלט של הנוירונים. 
או שמא אתה מכחיש את עצם אפשרותו של מצב שבו אדם ישב בחדר הסיני ויעשה פעולות קלט-פלט כמו דובר סינית, אבל לא תהיה בתוכו ה"הבנה"? כלומר אם הוא עושה פעולות כאלה אז בהכרח הוא גם חש הבנה? אם כן, אז למיטב שיפוטי חזרנו שוב למחוזות ה"הזויים".
אגב, לשיטתך לא ברור לי מה פירוש שאדם "חש הבנה"? הרי אתה רואה רק נוירונים פועלים אצלו, ולשיטתך מה שלא ניתן לדיאגנוזה אמפירית לא קיים. אז לדעתך המנטלי (במובחן מפעולות הקלט-פלט) קיים או לא? חזרנו לשאלת ה-other minds שלא ענית לי עליה לשיטתך.

כדי לחדד, אוסיף דוגמה לגבי היבט אחר של האנושיות (=אינטליגנציה) שדומני שנוגעת גם היא לדיון.
לדעתי אנשי בינה מלאכותית שמדברים על אינטליגנציה של ציפור (למשל היכולת שלה לנווט) או של מחשב (היכולת שלו לעשות חישובים מסובכים) – טועים. זאת מפני שלדוממים ומערכות דטרמיניסטיות אין אינטליגנציה (אלא יכולת חישוב). לשיטתם (שיטתכם?) גם למים יש אינטליגנציה כי הם עושים חישובים מסובכים הרבה יותר מאלו של הציפור (משוואות נוויר סטוקס). וכך גם לאלקטרון ש"פותר" כל העת את משוואת שרדינגר.
אינטליגנציה יסודה בשיקול דעת והפעלת בחירה בטכניקה או באופציה אחת מבין כמה באופן לא דטרמיניסטי. כשזה דטרמיניסטי אין שום משמעות לאינטליגנציה. אני מניח שלשיטתך גם למים ולאלקטרון יש אינטליגנציה, כמו מחשב וכמו אדם. אין הבדל אמיתי בין מה שהם עושים לבין מה שהאדם-מכונה להגדרתך עושה. אז אין צורך לחכות להיווצרות מה שאתה מכנה אינטליגנציה מלאכותית. באופן עקרוני אפשר להתאהב במים (אם כי לשוחח איתם קצת קשה, אבל עם מימשק מתאים אפשר לסדר גם את זה).