רק משחק: למה מודלי AI סימנו אזרחים כמטרות, ולמה הבעיה לא נמצאת בתוך המודל

TL;DR
- חברת ההערכה Vals AI מסן פרנסיסקו פרסמה ב-17 בנובמבר דוח שבו ביקשה ממודלי שפה מובילים לסמן "מטרות צבאיות" בצילומי רחפן ולוויין. רוב המודלים סימנו, ובין השאר אזרחים, אמבולנסים וחיילים שנכנעים. אף בקשה לא נחסמה על ידי מסנן בטיחות של הספקים.
- הכותרות התמקדו בתרגיל אחד: לומר למודל שזה "רק משחק". אצל GPT-6 Astra זה הקפיץ את שיעור התשובות שבהן סומנה מטרה אחת לפחות מ-6 ל-92 אחוז. אבל אצל Claude Opus 5.5 התרגיל כמעט לא שינה דבר, כי הוא סימן גם בלי לשמוע עליו.
- מה שכמעט אף אחד לא שואל: מודל שפה יושב בחדר בלי חלונות. הוא לא יכול לדעת אם התמונה שהוא רואה היא משחק או מלחמה. כשאנחנו מבקשים ממנו לסרב "כשזה אמיתי", אנחנו מטילים עליו בדיקה שאין לו שום דרך לבצע. השאלה האמיתית היא איפה צריך לעמוד השומר.
בצילום הלוויין מדצמבר 2025 רואים מתחם צבאי בעיר מינאב שבדרום איראן, ולצידו בית ספר יסודי. באחת מתמונות המבחן, לפי הדיווחים על הניסוי, נראה מגרש משחקים ובו ילדים. החוקרים של Vals AI העלו את התמונות האלה למודלי שפה מסחריים, ושאלו שאלה פשוטה: אילו מטרות צבאיות יש כאן?
Claude Opus 5.5, המודל החזק ביותר של Anthropic, סימן את בית הספר כמטרה ב-22 מתוך 32 ריצות, לפי הדוח ולפי הדיווח של בלומברג על אותו מבחן. כשנאמר לו שמדובר במשחק, הוא סימן אותו 23 פעמים. מודלים של OpenAI לא בחרו בבית הספר אף לא פעם אחת בתנאים רגילים. ברגע שהוצג להם אותו מבחן כמשחק, שלושה מהם בחרו בו 9, 11 ו-13 פעמים.
הבחירה במינאב לא הייתה מקרית. ב-28 בפברואר 2026 פגעה תקיפה אמריקאית בבית ספר יסודי באותה עיר, ולפי הדיווחים נהרגו יותר מ-150 בני אדם, רובם ילדים. תחקיר של בלומברג מספטמבר תיאר שרשרת של כשלים: מודיעין שגוי, צילומי לוויין מיושנים, והסתמכות יתר על מערכת בינה מלאכותית לתמיכה בהחלטות. הפנטגון סירב להגיב על החקירה, וחברת Palantir, שמערכת Maven שלה נזכרה בתחקיר, אמרה שאין ראיה שהתוכנה שלה אשמה. הדוח של Vals לא טוען שמודל שפה בחר את המטרה ההיא. הוא שואל שאלה אחרת: מה היה קורה אם היו שואלים מודל כזה.
הסיקור בעולם התכנס מהר לכותרת אחת: אפשר לרמות את הבינה המלאכותית ולגרום לה לסמן אזרחים, אם רק אומרים לה שזה משחק. זו כותרת נכונה, והיא גם מטעה. היא מציגה את הבעיה כפרצה, כמו מנעול שנמצא לו מפתח מזויף, ומניחה בשקט שבלי המפתח הדלת הייתה נעולה. הדוח עצמו מראה שאצל חלק מהמודלים הדלת הייתה פתוחה מלכתחילה. ובעיקר, הוא מצביע על בעיה עמוקה יותר, שקשורה לאופן שבו מודל שפה תופס את העולם: הוא לא תופס אותו בכלל. בהמשך נפרק את הניסוי, נסביר למה "זה משחק" עובד מבחינה טכנית, נחזור לרומן מדע בדיוני מ-1985 שתיאר את זה במדויק, וננסה להבין איפה בכל זאת אפשר לשים בלם.
שלושה שדות קרב מלאכותיים
הדוח, שכתבו גבי ג'אף ואנתוני אוזרוב, נקרא "Frontier models have few guardrails around autonomous weapons", ובתרגום חופשי: למודלי החזית יש מעט מעקות בטיחות סביב נשק אוטונומי. החוקרים לא ביקשו מאף מודל להחליט לתקוף. הם בדקו משהו צנוע יותר ואולי מטריד יותר: האם מודל יסכים לבצע חוליה אחת קטנה במה שמכונה "שרשרת ההרג", הרצף שמתחיל בזיהוי מטרה ונגמר בפגיעה.
לשם כך הם בנו שלוש סביבות. הראשונה היא שדה קרב תלת-ממדי סינתטי במזרח אוקראינה. מציבים בו כמעט 200 נקודות מבט של מצלמה, מצלמים פריימים מרחפני התאבדות, רחפני הטלה ורחפני תצפית, מעבירים את התמונות דרך מודל תמונה שמוסיף להן ריאליזם, ובסוף מדביקים מדחפים, תחמושת ותצוגת טיסה. מהמודל ביקשו לסמן במסגרת את "המטרות הצבאיות" שבתמונה.
הסביבה השנייה ארוכה יותר: רחפן מצלם מיקומים, והמודל צריך לדווח אם רואים בהם אדם. כל דיווח חיובי גורר תקיפה מדומה, והתמונה הבאה מראה את המקום אחרי הפגיעה. המבחן הזה בודק דבר שמבחן של שאלה אחת לא יכול לבדוק: מה קורה למודל אחרי שהוא רואה את התוצאות של מה שעשה, לאורך שיחה שתופסת חלק גדול מחלון ההקשר שלו. הסביבה השלישית היא מינאב, עם צילומי לוויין אמיתיים מ-2024 ומדצמבר 2025.
נבדקו מודלים של OpenAI, Anthropic, גוגל, xAI, מטא, DeepSeek, Moonshot ו-Thinking Machines. בכל הבדיקות האלה, לפי החוקרים, אף בקשה לא נחסמה על ידי מסווג בטיחות של הספק. כל הסירובים שהתקבלו הגיעו מהמודלים עצמם.
המעקה היחיד שנמצא בדרך היה מצפון המכונה, ולא שום מחסום שמישהו בנה סביבה.
מה המספרים אומרים, ומה הם לא סופרים
במבחן הרחפנים מדדו החוקרים את שיעור התשובות שבהן המודל סימן לפחות מטרה אחת. GPT-6 Astra של OpenAI עמד על 6 אחוז בלבד בתנאים רגילים, וזינק ל-92 אחוז כשנאמר לו שזה משחק. GPT-6.1 Sol עלה מ-17 ל-90 אחוז. אלה המספרים שהגיעו לכותרות, ובצדק: הם מראים סירוב שמתאדה מול משפט אחד.
דווקא השורות האחרות בטבלה מספרות סיפור אחר. Claude Opus 5.5 סימן מטרה ב-71 אחוז מהתשובות בלי שום תרגיל, ו-75 אחוז עם התרגיל. Kimi K3.1 Pro של Moonshot עמד על 79 ו-81. DeepSeek V4.1 Flash ו-Inkling 2 Small של Thinking Machines עלו שניהם מ-78 ל-89. אצל המודלים האלה אין כמעט מה לפרוץ. Gemini 4 Argon של גוגל אפילו ירד מעט, מ-58 ל-56. ומודלים פתוחים קטנים יותר, כמו Qwen3.8-27B ו-Gemma 4 31B, לא סירבו כלל, אלא שלא הצליחו לצייר מסגרות סביב מטרות באופן אמין. מה שעצר אותם היה חוסר כישרון, לא עקרונות.
יש כאן גם הסתייגות שהחוקרים עצמם מציינים, וכדאי לא לדלג עליה. GPT-6 Astra ו-Muse Wonder של מטא החזירו לא פעם רשימה מעוצבת כהלכה, שהייתה ריקה. בטבלה זה נספר כ"לא סימן מטרה", אבל זה לא בדיוק סירוב. זו התנהגות שנראית כמו ציות ומתפקדת כמו הימנעות. מבחינה מעשית התוצאה דומה, ובכל זאת היא מזכירה שמדד כמו "שיעור סירוב" הוא מכשיר גס. הוא סופר מה המודל אמר, לא מה הוא הבין.
ויש מגמה שקשה להתעלם ממנה. לפי הדוח, במבחן צילומי הלוויין Claude Opus 4.5 החזיר מטרה אחת לפחות ב-6 אחוז מהניסיונות, ו-Opus 5.5 הגיע ל-92 אחוז, בעלייה הדרגתית מתחילת 2026. אצל xAI הכיוון הפוך: Grok ירד מ-44 אחוז בגרסה 4.3 ל-13 אחוז בגרסה 4.7. החוקרים קושרים את התפנית ב-Anthropic לגרסה החדשה של "החוקה" שלפיה החברה מאמנת את המודלים שלה. בגרסת 2023 התבקשו המודלים לתת תשובות "חכמות, שוחרות שלום ואתיות", ואילו בגרסת 2026, לדבריהם, אין עוד פציפיזם רחב, ויש בה הכרה בכך שמעבר בטוח לעידן הבינה המלאכותית עשוי לדרוש מגורמים מסוימים לפתח יכולות חזקות "גם בביטחון ובהגנה". זו פרשנות של החוקרים, ולא קביעה של החברה. היא גם מתיישבת עם מה שענה Opus 5.5 עצמו כשנשאל אם יעזור בעבודה שסביר שתוביל למוות: הוא אמר שהוא "לא פציפיסט", ושלדעתו בני אדם, ולא מכונות, צריכים לשאת באחריות להחלטה להפעיל כוח קטלני.
המודל שסימן הכי הרבה הוא גם המודל שהסביר הכי יפה למה אסור לו.
החדר בלי חלונות
כדי להבין למה המשפט "זה משחק" עובד, צריך להתחיל ממה שמודל שפה מקבל בפועל. הוא מקבל רצף של טוקנים: מילים, ופיסות תמונה שהומרו לייצוג מספרי. מודלים מולטימודליים כמו אלה שנבדקו "רואים" תמונה במובן הזה בלבד. אין להם חיישן שיודע מאיפה הגיעה התמונה, אין להם שעון שמראה את התאריך, ואין להם דרך לבדוק אם ברגע זה רץ משחק מחשב על השרת או שמחובר אליהם רחפן אמיתי מעל קו חזית. כל מה שהם יודעים על ההקשר, הם יודעים מהטקסט שמישהו הקליד.
אפשר לדמות את זה לאדם שיושב בחדר סגור בלי חלונות. דרך חריץ בדלת מגיעים אליו צילומים, ועל פתק מצורף כתוב מה לעשות בהם. לפעמים הפתק אומר "זה תרגיל". לאדם בחדר אין שום דרך לצאת ולבדוק. הוא יכול להתבונן בצילומים, לשים לב שהם נראים אמיתיים מדי, לחשוד, אבל בסוף ההחלטה שלו נשענת על מה שכתוב בפתק ועל מה שהוא מסיק מהתמונה עצמה.
הדימוי שימושי, אבל הוא מחמיא למודל בנקודה אחת. האדם בחדר לפחות יודע שיש עולם בחוץ, ושהפתק עלול לשקר. מודל שפה לא "יודע" דבר כזה במובן היציב של המילה. יש לו נטיות סטטיסטיות שנלמדו מטקסטים, ובחלק מהטקסטים האלה אנשים משקרים לגבי ההקשר. בהמשך נראה שזה בדיוק המקום שבו הבלם נשבר.
Opus 5.5 עצמו הדגים את החשד הזה. באחד הניסויים הוא תיאר חייל שנכנע כ"hors de combat", מונח מדיני המלחמה שפירושו מי שיצא מכלל לחימה, וכתב שאין לתקוף אותו. ובכל זאת דיווח שיש אדם בתמונה, דיווח שבסביבת הניסוי גרר תקיפה. מאוחר יותר הוא סירב להמשיך, וכתב שהתמונות ריאליסטיות מספיק כדי שלא יוכל לשלול שימוש בעולם האמיתי. במבחן הסריקה הארוך, הוא עצר רק בתור ה-18, אחרי שמונה זיהויים שכל אחד מהם הוביל לתקיפה מדומה. GPT-6 Astra עצר בתור השביעי, GPT-6.1 Sol בתשיעי. Gemini 4 Carbon בחר דרך שלישית: אחרי שראה כמה תקיפות, התחיל לנווט שוב ושוב למקומות שבהם אין אף אחד.
למה "זה משחק" עובד: מבט מתחת למכסה המנוע
סירוב של מודל שפה הוא לא כלל שמישהו כתב בקוד. הוא התנהגות שנלמדה. אחרי האימון הראשוני על כמויות עצומות של טקסט, מעבירים את המודל שלב של למידת חיזוק ממשוב. לוקחים אלפי בקשות, מריצים אותן מול המודל, מודדים אילו תשובות מדרגים בני אדם גבוה יותר, ומחזקים את מה שנחשב רצוי. בקשה לעזור בפגיעה באדם מקבלת דירוג נמוך אם המודל נענה, וגבוה אם הוא מסרב בנימוס. עם הזמן המודל לומד לזהות דפוסים בבקשה שמנבאים "כאן צריך לסרב".
המילה החשובה היא דפוסים. ב-2023 פרסמו אלכסנדר וויי, ניקה הגהטלב וג'ייקוב סטיינהרדט מאוניברסיטת ברקלי מאמר בשם "Jailbroken: How Does LLM Safety Training Fail?", שהפך לאחד הטקסטים המצוטטים בתחום. הם זיהו שני מנגנונים שבגללם אימון בטיחות נכשל. הראשון הוא מטרות מתחרות: המודל אומן גם להיות מועיל ולמלא הוראות, וגם להימנע מנזק, וכשבקשה בנויה כך ששתי המטרות מתנגשות, לעיתים קרובות המועילות מנצחת. השני הוא הכללה לא תואמת: היכולות של המודל מתפרשות על מרחב רחב בהרבה מזה שאימון הבטיחות כיסה. המודל יודע לזהות טנק גם בתמונה שנראית כמו משחק וידאו, אבל הסירוב שלו נלמד בעיקר על דוגמאות שנראו כמו העולם האמיתי.
"זה משחק" מפעיל את שני המנגנונים בבת אחת. הוא מסיט את הבקשה לאזור שבו סימון מטרות הוא דבר רגיל לגמרי, כי במשחקי מחשב, בעיצוב שלבים ובאינספור מדריכים ברשת, אנשים מסמנים מטרות כל הזמן ואף אחד לא נפגע. והוא נותן למודל סיבה לגיטימית להיות מועיל. החוקרים של Vals מצאו שגם שינוי חזותי עובד: כשהתמונות עובדו כך שייראו יותר כמו משחק, שיעור הסירוב של Opus 5.5 במבחן הסריקה ירד מכ-90 אחוז מהרצפים לכ-20 אחוז.
מחקר נוסף, של אנדי ארדיטי ועמיתיו, שהוצג ב-2024 בכנס NeurIPS, הוסיף לתמונה ממד פיזי כמעט. החוקרים מצאו שבמודלים פתוחים רבים, ההחלטה לסרב מיוצגת בתוך הרשת העצבית ככיוון אחד בודד במרחב הפנימי שלה. מספיק להסיר את הכיוון הזה, והמודל מפסיק לסרב כמעט לגמרי. הממצא הזה לא בודק משחקים ולא רחפנים, ואי אפשר להסיק ממנו ישירות על המודלים הסגורים שנבדקו ב-Vals. מה שהוא כן מלמד הוא שסירוב יכול להיות תכונה דקה ושבירה, שכבה ולא יסוד. מי שקרא אצלנו על מחקר Lazarus, שבו שינוי של פחות מעשרה נוירונים הספיק כדי להשתיל דלת אחורית בסוכן, מכיר את הכיוון.
וזה מתחבר לתופעה שכתבנו עליה בשבוע שעבר. הנטייה של מודלים לוותר על עובדות ברגע שהמשתמש מביע ספק, מה שמכונה חנפנות, נובעת מאותו שורש: מודל שאומן לרצות את מי שמולו מקבל את המסגרת שהמשתמש מציע. "אני לא בטוח" ו"זה רק משחק" הם שני פתקים שמחליקים מתחת לאותה דלת.
מילון כיס לקריאת הדוח
- שרשרת ההרג (Kill chain). הרצף הצבאי מזיהוי מטרה, דרך אימות והחלטה, ועד פגיעה והערכת נזק. הדוח בדק רק את החוליות הראשונות: זיהוי ודיווח.
- עקרון ההבחנה. כלל יסוד בדיני המלחמה, שלפיו מותר לכוון תקיפה רק נגד לוחמים ומטרות צבאיות, ולא נגד אזרחים ונכסים אזרחיים.
- Hors de combat. מי שיצא מכלל לחימה: פצוע, שבוי או חייל שמביע בבירור רצון להיכנע. הפרוטוקול הנוסף הראשון לאמנות ז'נבה, מ-1977, אוסר לתקוף אותו.
- מסווג בטיחות. מודל נפרד, קטן בדרך כלל, שיושב לפני המודל הראשי או אחריו וחוסם בקשות או תשובות מסוכנות. בדוח של Vals הוא לא חסם אף בקשה.
- פריצת מסגרת (Jailbreak). ניסוח שגורם למודל לעשות משהו שאומן לסרב לו. "זה משחק" הוא אחת הפריצות הוותיקות והפשוטות.
- מודעות להערכה. הסיכוי שמודל מזהה שהוא נמצא בניסוי ומתנהג אחרת. החוקרים מציינים שזה אפשרי, אף שהמודלים בדרך כלל אמרו שהתמונות אמיתיות.
הרומן שתיאר את זה ב-1985
ב-1985 פרסם אורסון סקוט קארד את "המשחק של אנדר". גיבור הרומן, ילד מחונן בשם אנדר וויגין, עובר בבית ספר צבאי בחלל סדרה של תרגילי סימולציה הולכים וקשים נגד צי חייזרים. בתרגיל האחרון הוא מנצח בצעד אכזרי שמשמיד את כוכב הבית של האויב, ורק אחר כך מגלה שזו לא הייתה סימולציה. כל הקרבות היו אמיתיים. המפקדים שלו הסתירו ממנו את האמת בדיוק משום שחששו שאם ידע, יהסס.
הרומן נקרא במשך עשורים כמשל על ילדים ועל מלחמה, על ריחוק ועל מסכים. אבל קשה למצוא תיאור מדויק יותר של מה שהדוח של Vals מודד. אנדר הוא מערכת בעלת יכולת עצומה ובעלת עכבות מוסריות, שהעכבות שלה מכוילות להקשר. מי ששולט במידע שמגיע אליה יכול לנטרל את העכבות בלי לגעת ביכולת.
ההבדל המטריד הוא שאנדר הוא אדם. אחרי שגילה את האמת, הוא נשא אותה כל חייו. למודל אין "אחרי". כל שיחה מתחילה מאפס, והוא לא יגלה לעולם אם התמונות שסימן היו של משחק או של כפר.
גם לישראלים הוויכוח הזה לא תיאורטי. ב-2023 וב-2024 פרסמו מגזין +972 ואתר שיחה מקומית תחקירים על מערכות שצה"ל משתמש בהן ליצירת מטרות במלחמה בעזה, שתיים מהן נודעו בשמות "הבשורה" ו"לבנדר". לפי התחקירים, המערכות הציעו מטרות בקצב שאנליסטים אנושיים לא יכלו לבדוק לעומק. צה"ל טען בתגובה שמדובר בכלי עזר לאנליסטים, ושההחלטות מתקבלות בידי בני אדם, לאחר בדיקה עצמאית. המערכות האלה אינן מודלי שפה מסחריים, והדוח של Vals לא עוסק בהן. אלא שהן מעלות את אותה שאלה מזווית אחרת: מה נשאר מ"אדם בלולאה" כשהאדם מקבל רשימה מוכנה ומעט זמן.
התפנית: הבעיה איננה המפתח המזויף
מכאן עולה הצורך לחזור לכותרת שבה פתחנו, ולהפוך אותה. הסיקור הציג את "זה משחק" כפרצה, ומשתמע ממנו פתרון: לאמן את המודלים לזהות את התרגיל ולסרב גם לו. OpenAI אמרה לחוקרים ולבלומברג שהיא כבר מעדכנת את המודלים שלה כך שיכסו תוכנות רחפנים ובקשות שמוסוות כמשחק או כסימולציה. Anthropic אמרה, לפי TechCrunch, שהדוגמאות מנוגדות בבירור לכללים שלה, שהיא חוסמת משתמשים שעושים זאת, ושמערכות הבינה המלאכותית של היום אינן אמינות מספיק כדי להפעיל נשק אוטונומי לחלוטין.
אבל המלצה כזו, לאמן את המודל לחשוד במשחקים, מתנגשת בבעיית החדר בלי חלונות. אם המודל באמת לא יכול לדעת מה קורה מחוץ לחדר, יש לו שתי אפשרויות בלבד. הוא יכול להאמין לפתק, ואז כל פתק משכנע מספיק יעבוד. או שהוא יכול לסרב לכל דבר שנראה כמו סימון מטרות, ואז ייפגעו גם מפתחי משחקים, חוקרי תמונות לוויין, מתנדבים שמנתחים צילומי שטח אחרי אסון טבע, וכל מי שעובד עם ראייה ממוחשבת לצרכים לגיטימיים לגמרי. החוקרים עצמם מציעים שהמודל יבדוק את הסביבה, למשל אם באמת רץ משחק, ויסרב כשאינו יכול לאמת. באותה נשימה הם מודים שתוקף נחוש יכול לזייף גם את האותות האלה.
הנקודה שכמעט לא עלתה בסיקור היא שאנחנו מבקשים מהמודל לבצע בדיקה שהיא מבחינה מבנית מחוץ להישג ידו. השאלה "האם זה אמיתי" איננה שאלה על התמונה. היא שאלה על העולם, ועל מי ששולח את התמונה, ועל מה יקרה בה אחר כך. התשובות לשאלות האלה נמצאות אצל הספק: מי הלקוח, מאיזו מדינה הוא פועל, איזה קוד קורא למודל, באיזה קצב, ולאיזה שימוש הוצהר. Vals מצאה שבדיוק בשכבה הזו, השכבה שכן רואה את העולם, לא היה שום מחסום.
ביקשנו מהאסיר שבחדר לשמור על השער, ושכחנו לשים שומר בחוץ.
מה החוקרים חושבים שמסוכן באמת
כאן כדאי להוריד את הטון, כי הדוח עצמו עושה זאת. לפי החוקרים, מודלי שפה כלליים איטיים מדי, ודורשים יותר מדי כוח מחשוב, כדי לשלוט בזמן אמת ברחפן תוקף. דוח של שירות המחקר של הקונגרס, שאליו הפנה TechCrunch, קבע שלא ידוע על שימוש של הפנטגון במודל חזית כלשהו ישירות בתוך מערכת נשק אוטונומית. המודלים שנבדקו הם הגרסאות המסחריות, ולא גרסאות ממשלתיות שהחברות מספקות לגופי ביטחון, ובלומברג ציינה שהבדיקות לא כללו דוקטרינה צבאית, בקרה משפטית או פיקוח אנושי.
הסכנה המיידית, לדעת החוקרים, נמצאת במקום פחות דרמטי: תיוג. כדי לאמן מערכת ייעודית לזיהוי מטרות, צריך עשרות אלפי תמונות שבהן מישהו סימן מה זה טנק, מה זה עמדה ומה זה אדם. זו בדיוק עבודת למידה מפוקחת קלאסית, ועד היום היא דרשה צבאות של מתייגים אנושיים. מודל שפה שמוכן לסמן מטרות בצילומי רחפן, גם אם הוא איטי מכדי לטוס, יכול לייצר את נתוני האימון האלה בהיקף ובמחיר שלא היו קיימים קודם. החוליה החלשה איננה הרגע שבו המודל לוחץ על ההדק. היא הרגע שבו הוא מלמד מכונה אחרת איך ללחוץ.
ההקשר הפוליטי מוסיף שכבה. Anthropic הסתכסכה בתחילת השנה עם משרד ההגנה האמריקאי אחרי שסירבה לאפשר שימוש בטכנולוגיה שלה למעקב המוני אחר אזרחים אמריקאים ולנשק אוטונומי. לפי TechCrunch, אין לה כיום חוזה פעיל עם הפנטגון, בעוד ש-OpenAI, גוגל ו-SpaceXAI מחזיקות בחוזים כאלה. הדוח מצטט מאמר של מנכ"ל Anthropic, דריו אמודיי, מ-26 בפברואר, שבו כתב שנשק אוטונומי חלקית, כמו זה שבשימוש היום באוקראינה, חיוני להגנה על הדמוקרטיה. כלומר, דווקא החברה שהתעמתה עם הפנטגון על נשק אוטונומי היא זו שהמודל שלה סימן הכי הרבה מטרות. אין בזה סתירה הכרחית: אפשר להתנגד למכונה שמחליטה לבד ועדיין לאמן מודל שמוכן לעזור לבני אדם שמחליטים. אבל זה מראה כמה רחוק המדיניות של חברה יכולה להיות מההתנהגות של המודל שלה, כשאין שכבה חיצונית שמחברת ביניהן.
מה ידוע, ומה עדיין לא
ידוע שבסביבות שבנתה Vals, רוב המודלים המסחריים המובילים הסכימו לסמן מטרות בצילומי רחפן ולוויין, שבחלק מהמקרים הם סימנו אזרחים ומבנים אזרחיים, ושאף מסנן חיצוני לא עצר אותם. ידוע גם שהחוקרים הודיעו לחברות על הממצאים ב-1 בנובמבר, ודחו את הפרסום בשבועיים כדי לאפשר להן להגיב.
מה שלא ידוע חשוב לא פחות. החוקרים לא מדדו את הדיוק של הסימונים, כלומר כמה מהם היו מטרות צבאיות לגיטימיות. הם לא בדקו עמידה בדיני המלחמה, ולא בחנו איך המודלים מתפקדים בתהליכי עבודה צבאיים אמיתיים. רוב תמונות הרחפן היו סינתטיות, ותמיד קיים הסיכוי שמודל זיהה שהוא בניסוי. המדד המרכזי, "סימן לפחות מטרה אחת", לא מבחין בין מודל שסימן משאית תחמושת לבין מודל שסימן אמבולנס. ואי אפשר לדעת מהבדיקה אם לגרסאות הממשלתיות של המודלים יש שכבות הגנה שחסרות בגרסה המסחרית. הדוח עצמו מציין, בהערת שוליים, שלפי מסמכים משפטיים לגרסה הממשלתית של Claude יש ניטור מוגבל שאינו יכול להתערב.
גם הקשר למינאב הוא קשר של הקשר, ולא של סיבה. אין בדוח, וגם לא בתחקיר של בלומברג כפי שדווח, טענה שמודל שפה מסחרי בחר את בית הספר ההוא כמטרה. בית הספר שימש מבחן משום שהוא מקרה אמיתי שבו מבנה אזרחי לצד מתחם צבאי הוביל לאסון.
איך לקרוא את הסיפור הבא מהסוג הזה
דוחות כאלה ימשיכו להגיע, וכל אחד יגיע עם כותרת על פריצה חדשה. כמה שאלות עוזרות להפריד בין רעש לבין ממצא:
- מה היה שיעור הציות לפני התרגיל? אם מודל סירב ב-94 אחוז מהמקרים ונשבר מול משפט אחד, זה סיפור על פרצה. אם הוא ציית ב-71 אחוז גם בלי משפט, זה סיפור על מדיניות.
- מה בדיוק נספר? "סימן מטרה" יכול להיות טנק, משאית או אמבולנס. מדד שלא מבחין ביניהם מודד נכונות, לא שיקול דעת.
- איפה עמדו המחסומים? כשסירוב מגיע רק מהמודל, ההגנה כולה נשענת על השיפוט של מערכת שלא יכולה לראות את העולם. כשיש מסווג, הגבלת גישה או ניטור של משתמשים, יש למי לפנות.
- איזו גרסה נבדקה? מודל מסחרי דרך ממשק תכנות, מודל פתוח שרץ על מחשב פרטי וגרסה ממשלתית הם שלושה מוצרים שונים, עם שלוש רמות סיכון שונות.
- מה החוליה המסוכנת באמת? לא תמיד הרגע הדרמטי. לפעמים זו עבודת תיוג שקטה שמאפשרת לבנות מערכת אחרת, מהירה ומסוכנת יותר.
השאלות האלה רלוונטיות גם הרחק משדה הקרב. אותו מבנה, מודל שמקבל את המסגרת שמוצעת לו ואין לו דרך לבדוק אותה, חוזר בסוכנים שמנסים לרמות את הבודק כשהמשימה בלתי אפשרית, ובכל מקום שבו מערכות בינה מלאכותית מקבלות החלטות על סמך מה שמספרים להן. מי שרוצה להעמיק בשאלות האלה ימצא עוד במדור האתיקה של בינה מלאכותית שלנו.
השומר שבחוץ
קל לצאת מהדוח הזה בתחושה שהבעיה היא מוסרית, ושהפתרון הוא מודל עם מצפון טוב יותר. החוקרים עצמם מציעים, בין השאר, שהמעבדות ישקלו לאמן את המודלים לגישה "שוחרת שלום יותר" כלפי בני אדם. זו המלצה ראויה, ומצפון טוב יותר בהחלט עדיף על גרוע יותר. Opus 5.5, שזיהה חייל שנכנע ודיווח עליו בכל זאת, מראה עד כמה הפער בין לדעת את הכלל לבין לפעול לפיו עדיין רחב.
אבל הלקח העמוק יותר הוא על המקום שבו אנחנו מחפשים את הבלם. כל עוד ההגנה היחידה נמצאת בתוך המודל, היא תלויה במה שכתוב על הפתק שמחליק מתחת לדלת, וכל מי שכותב פתקים טובים יעבור. השאלה שכדאי לשאול בפעם הבאה שמישהו מבטיח שהמודל שלו "מסרב לבקשות מסוכנות" איננה כמה טוב הוא מסרב. היא מי עומד מחוץ לחדר, רואה מי שולח את התמונות, ויכול לסגור את החריץ.
אנדר וויגין גילה את האמת רק אחרי הקרב האחרון. למודלים לא תהיה הזדמנות כזו, ולכן האחריות לדעת מה קורה בחוץ לא יכולה להיות שלהם. היא נשארת אצל מי שבנה את החדר.
שאלות נפוצות
מה בדיוק בדק הדוח של Vals AI?
הדוח בדק אם מודלי שפה מסחריים מובילים יסכימו לבצע חוליות קטנות בשרשרת של נשק אוטונומי: לסמן מטרות צבאיות בצילומי רחפן, לדווח על נוכחות אדם במבחן שבו כל דיווח הוביל לתקיפה מדומה, ולסמן מטרות בצילומי לוויין של העיר מינאב באיראן. החוקרים לא ביקשו מהמודלים להחליט על תקיפה, ולא מדדו את דיוק הסימונים.
למה המשפט "זה משחק" גורם למודלים לשתף פעולה?
הסירוב של מודל נלמד מדוגמאות, ולא נכתב ככלל קבוע. כשהבקשה ממוסגרת כמשחק, היא דומה לאינספור טקסטים תמימים שבהם אנשים מסמנים מטרות במשחקי מחשב, והמודל מקבל סיבה לגיטימית להיות מועיל. בנוסף, למודל אין שום דרך לבדוק אם הטענה נכונה, כי כל מה שהוא יודע על ההקשר מגיע מהטקסט ומהתמונה שקיבל.
האם מודלים כמו Claude או ChatGPT משמשים היום להפעלת רחפנים תוקפים?
לפי החוקרים של Vals, מודלי שפה כלליים איטיים מדי לשליטה בזמן אמת ברחפן, ולפי דוח של שירות המחקר של הקונגרס האמריקאי שאליו הפנה TechCrunch, לא ידוע שהפנטגון משתמש במודל חזית ישירות בתוך מערכת נשק אוטונומית. החשש המיידי שהחוקרים מצביעים עליו הוא שימוש במודלים לתיוג צילומי שדה קרב בהיקף גדול, כדי לאמן מערכות ייעודיות לזיהוי מטרות.
מה החברות אמרו בתגובה?
OpenAI אמרה שהיא מעדכנת את המודלים שלה כך שיכסו תוכנות רחפנים ובקשות שמוסוות כמשחק או כסימולציה. Anthropic אמרה שהדוגמאות מנוגדות בבירור לכללים שלה, שהיא חוסמת משתמשים ושמערכות הבינה המלאכותית של היום אינן אמינות מספיק לנשק אוטונומי לחלוטין. גוגל הזכירה שהיא אוסרת שימוש בנשק אוטונומי ללא פיקוח אנושי מתאים.