"חלון הקשר" (Context Window) הוא אחד המונחים שכולם זורקים בלי להסביר. הינה מה זה בפועל - ולמה ב-2026 זה כבר לא הצוואר בקבוק שהיה לפני שלוש שנים.
הגדרה קצרה
חלון ההקשר הוא כמות הטקסט (במונחי טוקנים) שהמודל יכול "לראות" בו זמנית - כולל ההיסטוריה של השיחה, המסמכים שהעליתם, וההוראות. כל מה שמחוץ לחלון - לא קיים מבחינת המודל באותו רגע.
איך מודדים
היחידה היא טוקן - בעברית, טוקן הוא בערך 0.5 מילה, באנגלית בערך 0.75. מודל עם 200K טוקנים יכול להחזיק בערך 100,000 מילים בעברית - בערך ספר בינוני.
למה זה היה צוואר בקבוק
ב-2023 חלון של 8K טוקנים היה הסטנדרט. כל מסמך גדול דרש פיצול ואיחוד מבחוץ - וזה היה איפה שרוב הבאגים נולדו.
איפה אנחנו ב-2026
חלונות של 200K-1M טוקנים הם הסטנדרט החדש. הצוואר בקבוק עבר ממקום אחר: לא כמה המודל זוכר, אלא איך הוא מטפל במידע גדול - האם הוא באמת מבין משהו ב"אמצע" של 800,000 טוקנים, או רק "רואה" אותם.
מה זה אומר לכם בפועל
אל תסתכלו רק על מספר הטוקנים בפרסום. בקשו דוגמה - העלו מסמך גדול אמיתי וודאו שהמודל באמת מבין את האמצע, לא רק את ההתחלה והסוף.
מחר
מחר נסביר את ה-Lost in the Middle - הבעיה הספציפית של למה האמצע של חלון גדול הוא לפעמים נקודה עיוורת.