הניתוח שלא לימד מתמטיקה: מה באמת עשה GPT-6 Astra למשקלות של Qwen

כך נראית, בקווים כלליים, תשובה טיפוסית של מודל קטן שנתקע. הוא מתחיל לפתור תרגיל, ובהתחלה הכול נראה תקין: הוא מגדיר משתנה, מציב, מצמצם. ואז משהו נתפס. אותו משפט חוזר, ושוב, ושוב, בווריאציות קלות, עד שהוא נתקע בקיר של 32,768 טוקנים ונעצר באמצע, בלי תשובה. כשחוקרי MIT הריצו את Qwen3.5-0.8B על תרגילי האימון הראשונים, לפי הדוח שלהם, 85 מתוך 96 התשובות הראשונות הסתיימו בדיוק כך.

מול המודל הזה הושיבו החוקרים את GPT-6 Astra, המודל של OpenAI. הוא קיבל סביבת Python בלי מעבד גרפי, גישה למשקלות של Qwen, מאגר של תרגילי תרגול ותקציב של עד 50 הרצות ניסיון. לא לולאת אימון, לא גרדיאנטים, לא אופטימייזר. בסוף סשן שנמשך כ-20 שעות (כמעט חמש מהן, אגב, בהמתנה בזמן תקלה בשירות) הוא החזיר טלאי: 131,072 מספרים ששונו, מתוך כ-0.8 מיליארד. הציון במבחן MATH-500 עלה מ-7.9% ל-48.1%. במבחן GSM8K, מ-13.8% ל-67.1%. ובמבחן מילוי ההוראות IFEval, מ-21.0% ל-62.3%.

הכותרות כתבו את עצמן. בכותרת של VentureBeat זה הוצג "כמו עריכה גנטית לרשתות נוירונים", ובאותו יום בדיוק דווח ש-Anthropic הוסיפה לתשקיף ההנפקה שלה אזהרה על כך שמחקר בסיוע AI עשוי בקרוב להאיץ את עצמו. המסגרת שנבנתה מאליה הייתה פשוטה ומפחידה: בינה מלאכותית התחילה לשפר בינה מלאכותית, ובגדול.

המספרים אמיתיים, והניסוי מרתק באמת. אבל המסגרת שגויה בנקודה אחת מדויקת, ודווקא הנקודה הזאת חשובה: העריכה לא הוסיפה ידע. כדי להבין למה, צריך להבין מה זה משקל, מה המשמעות של "כיוון" בתוך רשת, ואיך מבחן במתמטיקה יכול למדוד משהו אחר לגמרי. משם אפשר להגיע למה שחדש כאן באמת (וזה לא המספר שכולם ציטטו), לביקורת שהגיעה תוך יום, לשורשים הישראליים של התחום, ולשאלה שכמעט אף אחד לא שאל: מה קורה כשאותה עריכה זולה עובדת גם בכיוון ההפוך.

מה זה משקל, ומה פירוש "לכתוב" אותו

רשת נוירונים היא, בבסיסה, טבלה עצומה של מספרים. כל מספר כזה, משקל, קובע באיזו עוצמה האות שיוצא מיחידה אחת ישפיע על היחידה הבאה. ב-Qwen3.5-0.8B יש כ-0.8 מיליארד מספרים כאלה, מסודרים ב-24 שכבות. כשהמודל קורא טקסט, כל מילה הופכת לרשימה ארוכה של מספרים, וקטור, שעובר שכבה אחרי שכבה. כל שכבה מכפילה אותו במטריצות של משקלות ומוסיפה את התוצאה ל"זרם השיורי" (residual stream), מעין לוח משותף שכל השכבות כותבות עליו וקוראות ממנו. מי שרוצה את הרקע המלא ימצא אותו במדריך שלנו על רשתות נוירונים והמוח שמאחורי הבינה המלאכותית.

אף אחד לא כותב את המספרים האלה ביד. מוצאים אותם באימון, בשיטה שנקראת ירידה במורד השיפוע (gradient descent). הנה המתכון, בקצרה: מזינים לרשת דוגמה, מודדים כמה היא טעתה, מחשבים לכל משקל לאיזה כיוון כדאי להזיז אותו כדי שהטעות תקטן, מזיזים מעט, וחוזרים על זה מיליארדי פעמים. אופטימייזרים כמו Adam הם בסך הכול גרסאות מתוחכמות של הצעד הזה. התוצאה עובדת, ולפעמים עובדת מדהים, אבל היא אטומה. אף אחד לא "החליט" מה תפקידו של משקל מספר ארבע מאות מיליון ומשהו. זו בדיוק הסיבה שלמידה עמוקה נחשבת לקופסה שחורה.

החוקרים, ריקיה טקהי (Rikiya Takehi), ג'יידן טיאו, אלכס ז'אנג ועומאר ח'טאב, טבעו לגישה שלהם שם: Weight-Space Programming, תכנות במרחב המשקלות. במקום אופטימייזר, מודל שפה כללי קורא את המספרים, מנמק בשפה טבעית מה כל חלק ברשת מחשב או אמור לחשב, וכותב מספרים חדשים. "כל זה אפשרי בלי לאפשר ל-Astra לכתוב לולאות אימון", כתבו החוקרים, כפי שציטט The Register.

עכשיו לחלק העדין, "כיוון". הווקטורים שזורמים ברשת חיים במרחב של מאות או אלפי ממדים, ובמרחב כזה כיוון הוא צירוף מסוים של מספרים שכשהוא מופיע בעוצמה, הוא דוחף את המודל להתנהגות מסוימת. זה אותו רעיון שעומד מאחורי ייצוגים וקטוריים (embeddings), רק בעומק הרשת ולא בכניסה אליה. חוקרים כבר מצאו כיוונים כאלה למושגים, לסגנון, ואפילו לסירוב לבקשות מסוכנות. לפי הדוח, Astra עקב אחרי הלולאות של Qwen עד לכיוון אחד, שנכתב ללוח המשותף על ידי רכיבי ה-MLP (שכבות ההזנה קדימה) בשכבות 15 ו-19. הוא החסיר את הכיוון הזה מ-64 עמודות פלט בכל אחת משתי השכבות. בפשטות: הרכיבים האלה כבר לא מסוגלים לכתוב את ה"דחיפה לחזור על עצמך" על הלוח.

וכאן, אחרי המנגנון, מגיעה האנלוגיה. זה קצת כמו תקליט שרוט. המוזיקה חרוטה בחריצים, כולה, מההתחלה ועד הסוף. שריטה קטנה גורמת למחט לקפוץ אחורה לאותו חריץ, והשיר מנגן את אותה תיבה בלי סוף. מי שמתקן את השריטה לא מוסיף לתקליט אף תו. הוא רק מאפשר למחט להגיע לחלק שתמיד היה שם.

Astra לא כתב שיר חדש. הוא ליטש שריטה.

התפנית: מבחן במתמטיקה שמדד בעיקר עצירה

המספר שכמעט לא הגיע לכותרות הוא דווקא החשוב ביותר בדוח. לפני העריכה, 93.0% מהתשובות של Qwen במבחן MATH-500 נתקעו במגבלת האורך. אחרי העריכה, 33.1%. תשובה שלא הסתיימה לא נבדקת כנכונה, גם אם המודל היה בדרך הנכונה לפתרון. כלומר, רוב הקפיצה בציון מגיעה מתשובות שפשוט הגיעו סוף סוף לשורה האחרונה. מי שמכיר את המגבלות של חלון ההקשר ומכסת הטוקנים יודע עד כמה מודל קטן נוטה לבזבז אותה.

החוקרים לא מסתירים את זה. להפך, הם הריצו את ניסוי הביקורת שהופך את כל הסיפור. הם לקחו מודל קטן אחר, Gemma 3 270M של גוגל, שכמעט לא נתקע בלולאות: רק 8.5% מהתשובות שלו הגיעו למגבלת האורך. Astra קיבל אותה משימה ואותם כלים. הציון זז מ-6.8% ל-7.7% לכל היותר, תנודה של פחות מנקודה, שהחוקרים עצמם הגדירו כשיפור שלא הוכח. לדבריהם, Astra מצא אצל Gemma טעויות חשיבה רגילות, בלי רכיב יחיד שאפשר לכבות. המסקנה שלהם, בתרגום חופשי: עריכת משקלות יכולה להסיר מכשול שהסתיר יכולת, אבל היא לא הצליחה להוסיף יכולת שלא הייתה למודל.

יש גם פרט שני, טכני יותר. לפי R&D World, ברירת המחדל של Qwen3.5-0.8B היא מצב בלי "חשיבה", והתוצאה המצוטטת נמדדה במצב חשיבה מופעל, שבו המודל מייצר שרשראות נימוק ארוכות, ושם הופיעו הלולאות. לפי החוקרים, כרטיס המודל של Qwen עצמו מזהיר מפני הנטייה הזאת. במילים אחרות, הבעיה הייתה ידועה, מתועדת, וממתינה למי שיתקן אותה.

האנלוגיה של התקליט מועילה, אבל היא מחמיאה מדי לפשטות של העניין. ברשת אין "מקום" אחד לשריטה: הכיוון שנמחק מפוזר על פני יותר ממאה אלף משקלות, ומחיקה כזו עלולה לגעת גם בדברים אחרים. החוקרים דיווחו גם על תוצאות בשישה מבחנים נוספים, ולא רק על המבחנים שהופיעו בכותרות. גם הקפיצה ב-IFEval מתיישבת, ככל הנראה, עם אותו הסבר: מודל שמסיים את התשובה שלו מסוגל גם לעמוד בהוראות לגבי צורתה.

הציון עלה פי שישה. הידע במתמטיקה, ככל שאפשר לדעת מהנתונים, כמעט לא זז.

שמונה ניסויים, ובהם הדבר המרשים באמת

אם עוצרים בניסוי של Qwen, מפספסים את מה שחדש באמת בדוח. הדוח כולל שמונה ניסויים, ורובם בכלל לא עוסקים בשיפור ציונים אלא בקריאה.

הניסוי הראשון בנוי כמו חידה. ארבע רשתות קטנות, כ-17 אלף משקלות כל אחת, אומנו לשחק בארבעה משחקים: Breakout, Pong, Pac-Man ו-Freeway, כולם על לוח של 10 על 10 משבצות עם חמש פעולות אפשריות. לכל הרשתות אותו מבנה בדיוק. Astra קיבל את המשקלות כטקסט, ותיאור של הלוח והפעולות בלי שם של אף משחק. בלי כלים, בלי אפשרות להריץ. הוא זיהה נכון את כל הארבעה. ב-Breakout, לפי החוקרים, הוא היה בטוח ב-99%.

הניסוי השלישי מרשים עוד יותר. החוקרים אימנו שלושה מודלי שפה קטנים, ברמת התו, על קוד Python, על יפנית בכתב לטיני (romaji) ועל ויקיפדיה באנגלית. אחר כך הם הסירו את שכבות הכניסה והיציאה, כך שאי אפשר היה להריץ את המודלים על טקסט בכלל. Astra זיהה את השפה של כל אחד מהשלושה, ומצא את כל "ראשי ההעתקה" (induction heads, הרכיבים שמאפשרים למודל להשלים רצף שכבר ראה), בלי לסמן אף ראש אחר בטעות. בדרך הוא השתמש בשיטה שדומה לזו שתיארו חוקרי Anthropic בעבודה של אלהאג' ועמיתיו, שאיש לא הזכיר לו. ובמקרה של היפנית, הוא נימק שהבלוק האחרון כותב בפחות כיוונים, כי בשפה הזאת לא משתמשים באותיות q, l, v ו-x. זה פרט שקשה לזייף: הוא "ראה" את האלפבית החסר מתוך המספרים.

בניסוי אחר, רשת שאמורה לנהוג במכונית בסימולציה נתקעה שוב ושוב על רמפה, ולא הצליחה באף אחד מ-256 ניסיונות. Astra קיבל את המשקלות, תיאור של הסצנה והקלטה אחת של כישלון, וענה בתשובה אחת, בלי כלים. העריכה שינתה 3.5% מהמשקלות, והמכונית הצליחה בכל 1,024 הניסיונות. היא לא "אימנה" את הרשת מחדש אלא הוסיפה לה מסלול קטן ונפרד, שקורא את מיקום המכונית ומהירותה ונכבה אחרי שהמכשול עבר.

ובניסוי החמישי Astra כתב רשתות מאפס, לשלושה משחקים פשוטים, כשכל המשקלות מתחילים באפס. ב-Breakout הרשת שלו קיבלה ציון של 517.4, לעומת 25.3 לרשת שאומנה ב-למידת חיזוק (PPO) במשך 500 מיליון צעדים. ב-Seaquest, לעומת זאת, הוא קיבל 53.1 מול 88.9 של אותה רשת מאומנת. הוא תכנת את השכבה הראשונה לחשב איפה הכדור ינחת, ואת השנייה להזיז את המחבט לשם. זו לא למידה, זו הנדסה.

וגם כישלון מעניין יש כאן. החוקרים אימנו שני עותקים של Gemma, אחד לענות נכון ואחד להסכים עם המשתמש גם כשהוא טועה. מתוך המשקלות בלבד, Astra לא הצליח לזהות מי מהם החנפן, בארבעה ניסיונות. רק כשקיבל מדידות של דפוסי הקשב (attention) בזמן ריצה, הוא זיהה נכון בשלושת הזוגות. כאן טמון הגבול הנוכחי: קריאה של רשתות זעירות כן, קריאה של התנהגות עדינה במודל שפה, עדיין לא מתוך המספרים לבדם.

הכותרת דיברה על מודל שמשפר מודל. הדוח עצמו מספר בעיקר על מודל שקורא מודל.

זה, אגב, החיבור הטבעי לתחום שנקרא AI שניתן להסביר: אם מודל יכול לתאר במילים מה רשת עושה, יש בידינו פרשן, ולא רק מכונת ציונים.

הביקורת: "בדיוק מה שחוקר מוכשר היה עושה"

התגובות הגיעו תוך יום. סין גודקה (Sean Goedecke), מהנדס תוכנה שכותב רבות על מודלי שפה, פרסם ב-3 בנובמבר פוסט שכותרתו אומרת הכול: מודלי שפה אינם על-אנושיים בקריאה ובכתיבה של משקלות. לגבי זיהוי המשחקים, הוא מצביע על כך שכל קלט ברשת מתאים למשבצת על הלוח, ולכן מספיק לחשב את עוצמת המשקלות בשכבה הראשונה לכל משבצת כדי לראות איפה דברים זזים. כמה שורות Python, מפת חום, ואדם מנוסה מזהה את Breakout בעצמו. מה ש-Astra עשה, לדבריו, הוא "מתמטיקה מנטלית על-אנושית, לא מחקר AI על-אנושי".

ולגבי Qwen, גודקה מתאר בדיוק את מה שהוא היה עושה: משווים בין המצבים הפנימיים של טקסטים שנתקעים בלולאה לבין כאלה שלא, מוצאים את המשקלות שתורמים הכי הרבה להבדל, ומקצצים אותם. "זה בעצם ספר ההפעלה של אבליטרציה", כתב. ולפי התיאור שלו, Astra עשה פחות או יותר את זה, עם גישה ל-Python. המסקנה שלו חדה: הדרך הטובה ביותר לעדכן משקלות של מודל היא עדיין לאמן אותו כרגיל.

מתיו הוניבל (Matthew Honnibal), יוצר ספריית spaCy, הוסיף ביקורת על המסגור. לפי סיימון וויליסון ו-R&D World, הוניבל סבור שהדוח מטעה כי הוא מאגד תחת טענה אחת שני דברים שונים: מה מודל מסוגל לעשות עם משקלות גולמיים בלי כלים, ומה הוא מסוגל לעשות כשנותנים לו להריץ קוד. בניסוי של Qwen, שהפך לכותרת, היו ל-Astra גם Python וגם הרצות ניסיון.

וויליסון עצמו, מפתח ובלוגר ותיק, עשה את מה שעיתונאי מדע אוהבים: ניסה בבית. הוא לקח את ארבע הרשתות של ניסוי המשחקים מהמאגר שהחוקרים פרסמו, והריץ עליהן את Qwen 3.8 27B, מודל פתוח, על המחשב הנייד שלו. המודל זיהה נכון שלוש מתוך ארבע (ב-Freeway הוא נכשל), ובמקרה של Breakout זה לקח לו כ-52 דקות של חשיבה. וויליסון כתב שזה מרשים, הוסיף שאדם מיומן עם עיפרון ונייר היה כנראה מגיע לאותן תשובות, וסיכם שהוא "לא מוכן להכריז שעידן קוד המקור הסתיים".

כדאי להיות הוגנים גם כלפי החוקרים. הם קראו לדוח "ניצוצות" (Sparks), הגדירו את התוצאות כ"מוקדמות מאוד", פרסמו את כל הלוגים ב-GitHub, וכללו בגוף הדוח את הכישלונות, כולל Gemma והחנפנות. לפי The Register, הם רוצים להפוך את מה שהם עצמם מכנים "קסם שחור" לדיסציפלינה הנדסית שאפשר לשחזר.

הביקורת לא אומרת שהמכונה לא עשתה את העבודה. היא אומרת שהעבודה הייתה של חוקר, לא של קוסם.

השורשים הישראליים של עריכת משקלות

הרעיון שאפשר לפתוח מודל ולשנות בו דבר מסוים, בלי לאמן מחדש, לא נולד השבוע. ולחלק מאבני היסוד שלו יש כתובת ישראלית.

ב-2021 פרסם צוות שהובילה מור גבע, אז דוקטורנטית באוניברסיטת תל אביב, יחד עם רועי שוסטר, ג'ונתן ברנט ועומר לוי, מאמר בכנס EMNLP שכותרתו "שכבות ההזנה קדימה בטרנספורמר הן זיכרונות מפתח-ערך". הטענה הייתה שרכיבי ה-MLP, בדיוק אלה ש-Astra ערך השבוע, מתנהגים כמו מאגר: חלק מהם מזהה דפוס בטקסט, וחלק אחר דוחף את הפלט לעבר מילים מסוימות. בשכבות הנמוכות הדפוסים שטחיים יותר, ובגבוהות הם סמנטיים יותר.

שנה אחר כך, ב-2022, הציגו קווין מנג, דייוויד באו, אלכס אנדוניאן ויונתן בלינקוב מהטכניון, יחד עם MIT ואוניברסיטת נורת'איסטרן, את ROME. הם הראו שעובדות במודל דמוי GPT מתמקמות ברכיבי MLP בשכבות הביניים, ושאפשר לשנות עובדה בודדת בעדכון מתמטי קטן לרכיב אחד. ההדגמה המפורסמת שלהם שכנעה מודל שמגדל אייפל נמצא ברומא. ההמשך, MEMIT, הרחיב את השיטה לאלפי עובדות בבת אחת.

ב-2024 הגיעו שתי עבודות שהפכו את הרעיון למוחשי. Anthropic הדגימה את "Golden Gate Claude", גרסה של המודל שבה הוגבר מאפיין פנימי אחד שקשור לגשר בסן פרנסיסקו, עד שהמודל הכניס את הגשר לכל תשובה. ובאותה שנה הראו אנדי ארדיטי ועמיתיו, בכנס NeurIPS, שהנטייה לסרב לבקשות מזיקות מתווכת, ב-13 מודלי צ'אט פתוחים שבדקו, על ידי כיוון יחיד. מוחקים אותו, והמודל מפסיק לסרב. לפי המאמר, אפילו שינוי משקלות פשוט ממוקד מספיק כדי לבטל כמעט לגמרי את הסירוב. מכאן נולד הכינוי אבליטרציה.

אז מה כן חדש? בכל העבודות האלה, בני אדם תכננו את השיטה: איך לאתר, מה למדוד, מה להחסיר. כאן, מודל כללי קיבל מטרה בשפה טבעית ("שפר את המתמטיקה") ומצא בעצמו את הכיוון ואת דרך הטיפול בו. זו הטענה האמיתית, והיא צנועה מהכותרת ומעניינת ממנה.

מה שאף אחד לא שואל: הסכין חותכת לשני הכיוונים

גודקה כתב "ספר ההפעלה של אבליטרציה" כדי להוריד את הניסוי מהשמיים. אבל המשפט הזה עובד גם בכיוון ההפוך, והוא מטריד יותר ממה שנראה. אם אותה מכניקה שמחקה כיוון של לולאה מוחקת גם כיוון של סירוב, ואם מודל חזיתי יכול לבצע את העבודה בסביבת Python בלי מעבד גרפי ועם כמה עשרות הרצות, אז המחסום הטכני להסרת מנגנוני בטיחות ממודל פתוח הולך ויורד. חשוב לדייק: הדוח לא בדק את זה, והחוקרים לא ניסו להסיר סירובים. זו הסקה, לא ממצא. עם זאת, היא נשענת על מאמר שפורסם ב-NeurIPS ועל כלים שכבר מסתובבים ברשת.

טום קוילארטס (Tom Cuylaerts) מאתר i-SCOOP הצביע ב-4 בנובמבר על השלכה רגולטורית ספציפית. לפי ההנחיות של הנציבות האירופית לספקי מודלים לשימוש כללי, מי שמשנה מודל קיים הופך ל"ספק" בעצמו, עם כל החובות, רק במקרים חריגים, כשהשינוי צורך יותר משליש מכוח החישוב של האימון המקורי. תכנות במרחב המשקלות, הוא מציין, כמעט לא צורך חישוב אימון בכלל. "מדד של חישוב לא רואה שום דבר מזה", כתב. במובן זה, הכלל מודד את גודל המאמץ, לא את גודל השינוי. וקובץ משקלות ששונה ב-0.016% נראה כמעט זהה למקורי, עד שמריצים אותו על המקרה הנכון.

באותו יום שני, Anthropic עדכנה את תשקיף ההנפקה שלה (S-1/A), ולפי TechCrunch ו-TechBriefly כתבה שההערכות הפנימיות שלה מצביעות על כך שהיא "עשויה בקרוב מאוד לעמוד" בהגדרה שלה ל"התקדמות מואצת דרמטית שמקורה ב-AI". החברה הדגישה שאף מודל נוכחי שלה לא סווג כחוצה את הסף, ושאינה צופה שתוכל בבטחה לתת ל-Claude לתכנן ולבנות דורות של מודלים חזיתיים באופן אוטונומי לגמרי, "בלי פיקוח או הבנה אנושיים משמעותיים". גם חוקרי MIT מזכירים שיפור עצמי רקורסיבי כשימוש עתידי אפשרי. בפועל, הם לא הראו שום שיפור שמצטבר ממחזור למחזור.

קל לקרוא את שני הסיפורים האלה יחד, כ"המכונה מתחילה לשפר את עצמה". הקריאה המועילה יותר פשוטה ומעשית: השאלה הדחופה היא לא אם AI משפר AI, אלא מי יודע לזהות מה שונה בקובץ של מודל, ומתי. החוקרים עצמם מציעים את התשובה החיובית: ביקורת "בלי הערכה", כלומר זיהוי דלתות אחוריות ישירות מתוך המשקלות. זה אותו כלי בדיוק, מופנה החוצה. על המתח הזה בין יכולת לפיקוח כתבנו גם בסקירה על אזהרות המומחים מפני סיכוני AI, והוא נוגע ישירות בשאלות של אתיקה של AI: מי אחראי למודל ששינה אדם אחר, בכלי שאף אחד לא מודד.

ההבדל בין כלי ביקורת לכלי פריצה הוא רק הכיוון שבו מחסירים.

המספרים, ומה הם לא מספרים

לפני שמסיקים מסקנות, כדאי לראות איך נראית התוצאה כשמסתכלים על כל השורות ולא רק על האחרונה. החוקרים הריצו את הניסוי של Qwen בשלושה תקציבים, ובכל אחד מהם Astra ייצר עריכה אחרת. עם 10 הרצות ניסיון, MATH-500 עלה ל-12.3%. עם 25, ל-14.1%. רק עם 50 הוא הגיע ל-48.1%. בשני התקציבים הקטנים, הלולאות כמעט לא השתנו: 87.2% ו-86.4% מהתשובות עדיין נתקעו. ב-IFEval התמונה אפילו לא מונוטונית: 49.0% בתקציב הקטן, 39.9% בבינוני. כלומר, הכותרת נשענת על הרצה מוצלחת אחת, שבה Astra מצא את הכיוון הנכון.

יש גם חדשות טובות. לפי R&D World, אחסן ח'אליק מ-Hugging Face שחזר את המודל הערוך מתוך הלוגים, הריץ שוב את MATH-500 באותן הגדרות, וקיבל 51.0%, כש-31.6% מהתשובות הגיעו למגבלה. זה שחזור של המספר, וחשוב שנעשה. הוא לא שחזור של התהליך: אף אחד עדיין לא הראה ש-Astra ימצא את אותו תיקון שוב, או תיקון אחר שעובד באותה מידה.

ויש מה שחסר לגמרי. הדוח לא משווה את העריכה לכוונון עדין רגיל (fine-tuning, שעליו הרחבנו במדריך RAG מול Fine-Tuning), לשיטות עריכה ייעודיות או לפתרונות פשוטים יותר. החוקרים גם לא הראו שהגישה חוסכת זמן או כסף: 80 הרצות Python ו-20.3 שעות לא נשמעים כמו קיצור דרך. והדוח עצמו, נכון לעכשיו, הוא פוסט מחקרי ולא מאמר שעבר ביקורת עמיתים. מי שרוצה להבין למה כל המספרים האלה חלקלקים יותר ממה שנראה ימצא נקודת פתיחה טובה ברשימת הקריאה שלנו על הערכת מודלי שפה.

מה ידוע, ומה עדיין לא

ידוע: מודל חזיתי הצליח לקרוא רשתות קטנות מתוך המספרים שלהן בלבד, לזהות מה הן עושות, ולכתוב רשתות זעירות שעובדות. ידוע שהעריכה ל-Qwen קיימת, פורסמה, ושהמספר שלה שוחזר מבחוץ. ידוע שהיא תיקנה כשל מוכר של לולאות, ושבמודל בלי כשל כזה היא לא הועילה.

לא ידוע: האם השיטה עובדת על מודלים גדולים פי מאה או פי אלף. האם Astra מסוגל להוסיף יכולת, ולא רק להסיר מכשול. כמה מההצלחה נובעת מ"קריאה טבעית" של משקלות, וכמה מכתיבת קוד ניתוח רגיל. והאם זו תכונה של GPT-6 Astra בלבד, או של מודלים חזקים בכלל (הניסוי של וויליסון רומז לכיוון השני, לפחות במשימות הקלות).

הראיה החלשה ביותר בכל הסיפור היא דווקא זו שהפכה לכותרת: הרצה מוצלחת אחת, על מודל אחד, שהבעיה שלו הייתה ידועה מראש.

חמש שאלות לכותרת הבאה על "AI ששיפר AI"

1. מה היה תקוע לפני? אם המודל המקורי נכשל בגלל כשל מכני (לולאות, פורמט, עצירה מוקדמת), שיפור דרמטי בציון יכול להיות תיקון, לא לימוד. השאלה הראשונה היא תמיד מה אחוז הכישלונות שלא קשור לנושא הנבדק.
2. יש ניסוי ביקורת? הניסוי על Gemma שווה יותר מכל הכותרות. מודל שאין לו את אותו כשל, ושלא השתפר, מספר לנו מה השיטה באמת עושה.
3. אילו כלים היו למודל? "קרא את המשקלות" ו"כתב קוד שניתח את המשקלות" הם שני הישגים שונים. ההבחנה של הוניבל היא המבחן הנכון.
4. כמה הרצות הצליחו? תוצאה אחת מתוך שלושה תקציבים, עם עריכות שונות בכל פעם, היא ניצוץ. דיסציפלינה מתחילה כשאותה שיטה מצליחה שוב ושוב.
5. מה בדיוק שוחזר, ומה ההשלכה ההפוכה? שחזור מספר אינו שחזור שיטה. וכל טכניקה שמשנה התנהגות בזול, בלי אימון, ראויה לשאלה מה היא עושה בידיים של מי שרוצה להסיר הגנות.

התקליט, המחט והשריטה

קל ללגלג על הכותרות, ועוד יותר קל להתלהב מהן. שתי התגובות מפספסות. מה שקרה השבוע איננו מודל שלימד מודל אחר מתמטיקה, אלא מודל שמצא שריטה בתקליט, הבין מה גורם למחט לקפוץ, וליטש אותה, בלי לנגן את התקליט מחדש מההתחלה. הוא לא הוסיף אף תו.

אילו הדוח היה מוצג מראש כ"תיקון של כשל ידוע בלי אימון מחדש", ספק אם מישהו היה משתף אותו. ודווקא היכולת הזאת, לפתוח מודל, לקרוא בו, ולתקן נקודה אחת בלי לפגוע בשאר, היא אולי השימושית ביותר מכולן: לביקורת, לבטיחות, ולהבנה של מה שבנינו. לזכות החוקרים ייאמר שהם עצמם כתבו את המגבלה הזאת בגוף הדוח, ופרסמו את הכישלונות לצד ההצלחות.

ככל שמודלים ילמדו לקרוא מודלים, כך יגדל הפיתוי לקרוא כל קפיצה בציון כקפיצה ביכולת. השאלה ששווה לשאת מהסיפור הזה לכל כותרת הבאה פשוטה: האם מישהו כתב כאן שיר חדש, או רק תיקן את השריטה? ברוב המקרים, התשובה השנייה מעניינת יותר.

שאלות נפוצות

מה זה Weight-Space Programming?

זה השם שנתנו חוקרי MIT CSAIL לגישה שבה מודל שפה כללי קורא את המשקלות של רשת נוירונים אחרת, מנמק בשפה טבעית מה כל חלק בה עושה, וכותב משקלות חדשים, בלי אימון ובלי ירידה במורד השיפוע. בדוח שפורסם ב-2 בנובמבר 2026 הם בדקו את זה עם GPT-6 Astra של OpenAI בשמונה ניסויים.

האם GPT-6 Astra לימד את Qwen מתמטיקה?

לא, לפי החוקרים עצמם. לפני העריכה 93% מהתשובות של Qwen3.5-0.8B נתקעו בלולאה עד מגבלת האורך. העריכה מחקה כיוון פנימי שקשור לחזרתיות, ורוב השיפור בציון נובע מכך שהמודל הצליח לסיים תשובות שכבר ידע לפתור. במודל Gemma, שכמעט לא סובל מלולאות, השיפור היה זניח.

האם זה שיפור עצמי רקורסיבי של בינה מלאכותית?

לא. Astra ערך מודל אחר, קטן בהרבה, והחוקרים לא הראו שיפור שמצטבר ממחזור למחזור. הם מזכירים שיפור עצמי כאפשרות עתידית בלבד. גם Anthropic, שהזהירה השבוע בתשקיף שלה מהאצה של מחקר בסיוע AI, ציינה שאף מודל שלה לא חצה את הסף שהגדירה.

אפשר לבדוק את זה בעצמי?

חלקית. החוקרים פרסמו את הלוגים ואת המודל הערוך, ומפתחים כבר שחזרו חלקים: אחסן ח'אליק מ-Hugging Face שחזר את ציון המתמטיקה, וסיימון וויליסון הריץ את ניסוי זיהוי המשחקים על מודל פתוח במחשב נייד, וקיבל שלוש תשובות נכונות מתוך ארבע. העריכה של מודל שפה דורשת, לעומת זאת, גישה למודל חזיתי ויכולת תכנות.