חדר הבקרה

היינו שבעה נפשות בדירה של שלושה חדרים. חלקתי חדר אחד עם אחיי. אחרי שהיינו אמורים להיות ישנים, אבא שלי היה נכנס, מתיישב ליד המחשב, ומתחיל לשחק Red Alert 2.

הייתי בן שש. להישאר ער עד שתיים בלילה היה קשה, אבל בדרך כלל עשיתי את זה בכל זאת. לאף אחד מהחברים שלי לא היה אבא שעשה משהו כזה. בשבילי, זה היה הדבר הכי מגניב בעולם.

אבא שלי ניהל חיילים, טנקים, רחפנים, ומכונות מוזרות מול כוח אויב גדול בהרבה משלו. אדם אחד מפקד על מלחמה שלמה. הוא לחץ על העכבר במהירות, ושלח יחידות על פני המפה. המכונות זזו ונלחמו בעצמן עד שהיו צריכות פקודה נוספת. הוא צפה בכל השדה והחליט איפה להתערב.

לא היה לי שם לזה אז. זה היה חדר הבקרה הראשון שלי.

לפקד על צי של מכונות זה מספק מאוד. זה גם מרגיש בלתי נמנע. ככל שהמכונות עושות יותר בעצמן, האדם עולה רמה: צופה על כל המערכת, קובע כיוון, ומתערב כשקורה משהו חשוב.

שנים אחר כך, בניתי חדרי בקרה לרכבים ורובוטים אמיתיים, והיום לסוכני בינה מלאכותית שפועלים בתחומים שונים.

מרכז הפעילות של Phantom Auto, אטלנטה. נבנה כדי לאפשר למפעילים מרחוק לקחת שליטה ברכב או ברובוט ברגע שהמכונה לא יכלה להחליט בעצמה.

ב-12 ביוני, שלושה ימים לאחר השקת Fable 5, אנתרופיק נדרשה לחסום בפני אזרחים זרים את הגישה ל-Fable 5 ול-Mythos 5. מכיוון שהחברה לא יכלה להבטיח הבחנה בזמן אמת בין אזרחים אמריקאים לאזרחים זרים, היא השביתה את שני המודלים לכל הלקוחות. שבועיים לאחר מכן הגישה ל-Mythos 5 נפתחה מחדש לקבוצה קטנה של ארגונים מאושרים. Fable 5 נשאר חסום.

אנתרופיק דחתה את הממצאים והזהירה שאם אותו סטנדרט יוחל על כל התעשייה, זה "יעצור בעצם את כל פריסות המודלים החדשות לכל החברות שמפתחות מודלי חזית." סיכון אחד, שתואר ברמה גבוהה בלבד, היה מספיק כדי להשבית מודל חזית עבור מאות מיליוני אנשים בתוך אחר צהריים אחד.

זה מה שסיכון גבוה עושה: הוא מקפיא את כל הקטגוריה ברגע שמשהו משתבש. המערכות שממשיכות לפעול תחת לחץ כזה חולקות דבר אחד: אדם בחדר כשזה חשוב.

רמת הסיכון קובעת כמה בקרה אנושית נדרשת

שיפוט אנושי בנה את המודלים. למידת חיזוק ממשוב אנושי, RLHF, היא אנשים שיושבים בלולאה במהלך אימון ההמשך, מדרגים תוצאות ומלמדים את המודל מהי תשובה טובה. האימון הראשוני סופג את הידע והטקסטים שבני אדם יצרו; האימון המשלים מכוון את התנהגות המודל לפי העדפות אנושיות. המודלים שאנחנו משיקים הם כבר תוצר של ביקורת אנושית שהוחלה בקנה מידה.

אותו צורך בבקרה ממשיך לכל מקום שבו למודל יש השפעה בעולם האמיתי. מודל שכותב טיוטה ראשונה יכול לפעול כמעט בלי בקרה. מודל ששולח את האימייל, מעביר את הכסף, חותם על החוזה, או מנווט את המכונית פועל במקום שבו טעות עולה ביוקר וקשה לתקן אותה. רמת הבקרה שמערכת צריכה נקבעת על ידי העלות של טעות. עלות זו עולה ככל שהעבודה הופכת אוטונומית יותר.

הרגע שעדיין לא הגיע

במרץ 2018 רכב אוטונומי של Uber הרג הולכת רגל בטמפה, אריזונה. Uber השעתה את כל תוכנית הבדיקות האוטונומיות שלה תוך ימים. מוות אחד, וצי שלם עצר. לאחר מכן, תעשיית הרכב האוטונומי הפכה הרבה יותר זהירה לגבי העברת השליטה בין המכונה לאדם.

לסוכני תוכנה עדיין לא היה רגע Tempe שלהם. הם מתחילים לבצע פעולות אמיתיות בעולם: משלמים חשבוניות, מגישים מסמכים, מדברים עם לקוחות, משנים רשומות. ביום שבו אחד מהם יגרום נזק בלתי הפיך בקנה מידה, התגובה תיראה הרבה כמו Uber ב-2018 ואנתרופיק החודש. כל התחום נעצר. המערכות עם הסיכוי הטוב ביותר להמשיך לפעול הן אלו שיכולות להראות שאדם היה בלולאה היכן שהנזק היה יכול לקרות. אי אפשר להוסיף את נקודת הבקרה רק אחרי האירוע. היא צריכה להיות שם כבר.

כבר בנינו את זה פעם

המבנה הארגוני שנותן לזה מענה ישן ולא מרגש: חדר הבקרה. מרכז מאויש שבו אנשים מאומנים מפקחים על עבודת המכונות ומתערבים במקרי קצה. מוקדי שירות מנתבים מקרים מורכבים לנציגים בכירים; פקחי טיסה מלווים כל טיסה מסחרית; מרכז בקרת המשימה מלווה את הפעילות של כל חללית.

ב-2017 הקמתי חברה סביב הרעיון הזה. ל-Phantom Auto היו שישה עמדות מפעיל ב-Mountain View, כל אחת עם הגה, דוושת בלם ודוושת האצה. חיבור שאיחד את רשתות הסלולר של AT&T, Verizon ו-T-Mobile קישר אותן, עם מצלמות שכיסו כל זווית סביב הרכב. מפעיל מרחוק בקליפורניה יכול היה לנהוג ב-Lincoln MKZ בתנועה בלאס וגאס, 870 קילומטר משם, בזמן אמת. הניו יורק טיימס וWired סיקרו את זה; ה-WSJ צילם.

ב-2019 עברנו מרכבים אוטונומיים בכבישים ראשיים ללוגיסטיקה: מלגזות, משאיות חצר לוגיסטיות ורובוטים למשלוחים על מדרכות. בין הלקוחות: Maersk, CJ Logistics, ArcBest ו-Serve Robotics. המפעילים כבר לא נהגו בכבישים ציבוריים; הם נהגו בכלי רכב ובציוד מחסן ממרחק אלפי קילומטרים.

מפעילי Phantom Auto, 2024. כל מפעיל ניהל מספר רכבים במקביל באתרי לקוחות שונים. Wired סיקרה את המעבר לעבודה פיזית מרחוק כתופעה רחבה יותר.

Phantom Auto נסגרה במרץ 2024 לאחר שגייסה 95 מיליון דולר ושבע שנות פעילות. Serve Robotics רכשה את הקניין הרוחני והנכסים באפריל 2025 לתמיכה בצי רובוטי המשלוחים שלה. מה שנראה כתוספת בטיחות נישתית לבדיקות רכב אוטונומי הפך לתשתית שהפכה לסטנדרט בכל התעשייה. Waymo קוראת לזה Fleet Response, סיוע מרחוק לצי, ומפעילה אותו מחדר מאויש. לטסלה יש מפעילים מרחוק עבור ה-Cybercab. הדפוס שבנינו ב-2017 הוא עכשיו דרישת בסיס בכל הפעלה רצינית של רכב אוטונומי.

אף אחד מהחדרים האלה לא חוסל ככל שהמכונות השתפרו. העבודה עברה לתוכם. כתבתי בעבר שאנחנו מתמזגים עם המכונות שלנו. חדר הבקרה הוא המקום שבו בני אדם ומכונות עובדים כמערכת אחת.

החדר הוא גם צינור נתונים

יש סיבה שנייה לחשיבות חדר הבקרה שהיתה פחות גלויה ב-2017 וברורה לגמרי היום: כל התערבות אנושית היא דוגמת אימון מתויגת.

כשמפעיל מרחוק עקף אתר בנייה, זו היתה דוגמה מתויגת שמראה מה נכון בפועל. כשהוא ביטל החלטת מסלול של רובוט במסדרון מחסן, זו היתה דוגמה להעדפה אנושית. כאשר מצטברות אלפי התערבויות כאלה במערכת חיה, חדר הבקרה מייצר נתוני אימון ייחודיים לתחום בהיקף ששום תקציב תיוג של חברה לפני הכנסות אינו יכול לייצר. הנתונים נוצרים כחלק מהעבודה השוטפת, במקום כהוצאה נפרדת לפני שהמוצר מגיע לשוק.

הדבר נכון גם מעבר לרכבים ורובוטים. בכל פעם שאדם מתקן טיוטה של מודל שפה, מאשר פעולה פיננסית, או דוחה סעיף חוזה מוצע, המערכת מקבלת דוגמה מתויגת למה שנחשב תוצר טוב עבור אותה חברה וְתחום. חדר הבקרה אינו רק האופן שבו פורסים בבטחה היום; הוא האופן שבו משפרים את המודל במשימות שהוא מבצע בפועל.

המבנה הארגוני הוא חדר הבקרה של AI/AGI

רוב סיפור ה-AI בעבודה היום הוא אדם עם קופיילוט, שעושה את אותה עבודה קצת יותר מהר. השינוי המשמעותי יותר הוא שסוכנים כבר מבצעים את העבודה מסביב לשעון: מנסחים, מתאמים, מגישים, עונים, מעדכנים רשומות, בודקים עמידה ברגולציה. העובדים עוברים שכבה אחת למעלה כדי לפקח עליהם: מאשרים פעולות מסוכנות, עוצרים טעויות לפני שהן יוצאות, ומבקרים את מה שכבר קרה, לפני שמשהו מזה מגיע ללקוח, לדוחות הכספיים, למחלקה המשפטית או לסביבת הייצור.

זה משנה את תפקיד העובד יותר מאשר את הכלים. "אדם בלולאה" היה פעם אדם שעוזר למודל להשתפר; עכשיו זה אדם שמפקח על מערכת שכבר עושה עבודה אמיתית, קרוב יותר לפקח טיסה מאשר למפעיל. רמות האוטונומיה של גרטנר הולכות באותו כיוון: לצפות, לייעץ, לפעול באישור, לפעול אוטונומית. ככל שעולים, בני אדם מאשרים פחות פעולות אחת-אחת ובודקים יותר חריגים, יומנים ותוצאות.

המנהיגים שמקדימים את זה מפסיקים לשאול איך לגרום לכולם להשתמש ב-AI. הם שואלים איזו עבודה AI יכול להריץ בעצמו, אילו פעולות צריכות אישור, מה צריך ביקורת בדיעבד, מי אחראי על תור המקרים החריגים, ואיפה מתג העצירה.

למידת חיזוק מעלה יכולת. בקרה אנושית הופכת אותה לשימושית.

במקום שבו הפרס ברור, למידת חיזוק יכולה לשפר ביצועים. אבל יכולת לבדה לא הופכת מערכת לכזו שאפשר לפרוס. יש טווח של משימות שבו המודל מסוגל לבצע את המשימה, אבל אסור לתת לו לפעול לבד. המחיר של טעות הוא תביעה משפטית, ריקול, הקפאה רגולטורית או לקוח שנפגע בקנה מידה.

למידת חיזוק מעלה את מה שמערכת מסוגלת לנסות; ביקורת מומחים קובעת כמה מזה יכול להגיע בבטחה ללקוח, לחוזה או לפעולה כספית.

מרכז המומחים

אז צריך לבנות את החדר: צוות של מומחים אנושיים שתוצרי ה-AI עוברים דרכם לפני שמגיעים למשתמש. המודל מנסח את העבודה ומציע את הפעולה. המומחה הנכון בודק את החלק הנכון, מאשר או מתקן, ורק אז זה יוצא. רוב השלבים עוברים תוך שניות. המקרים הקשים מקבלים את תשומת הלב שאדם היה נותן להם ממילא.

זה המודל של חברות תיוג הנתונים, רק בכיוון ההפוך. הם שמו אנשים בלולאה כדי לאמן מודלים. מרכז המומחים שם אנשים בלולאה כדי לפקח על עבודה שמתבצעת עכשיו, לא לתייג סטי אימון. הבודקים לא מסמנים דוגמאות למודל עתידי. הם הסיבה שמערכת שכבר פועלת יכולה לגעת בכסף, חוזים ולקוחות היום.

ב-mixus, אישור אנושי מובנה בתהליך כברירת מחדל. שלב יכול לדרוש אישור אנושי לפני שהוא מתקדם, והמערכת מחכה שם עד שמישהו מאשר. הביקורת מנותבת לאדם עם המומחיות הנכונה. אם הבדיקה מתעכבת, היא מועברת לגורם בכיר יותר. כל החלטה מתועדת. אנשים נשארים בשליטה על המשימות שבהן לטעות יש מחיר אמיתי, והמכונה מטפלת בשאר. חיכוך בדיוק במקום אחד: הקו שבין טיוטה להשלכה.

החלק הקשה הוא העיצוב

מה בעצם מונע ממערכת עם אדם בלולאה להפוך לצוואר בקבוק? לומר "שמרו על אדם בלולאה" קל; לבנות מרכז שעושה זאת מבלי להאט את הכול זה האתגר ההנדסי כולו.

ביקורת שלוקחת שעה הופכת לתור, ואנשים עוקפים תורים. הבקשה לבדיקה צריכה להגיע לאדם הנכון תוך שניות, עם כל מה שהוא צריך כדי להחליט. הבודק רואה רק את החלק הרלוונטי שהוא אחראי לו. כל אישור מתועד עם שם המאשר. לאורך זמן, הניתוב לומד אילו החלטות באמת צריכות אדם, כך שההחלטות הפשוטות מפסיקות להגיע לבדיקה. עשו זאת נכון ומומחה אחד מטפל בהרבה יותר עבודה ממה שהיה יכול לבד. עשו זאת לא נכון ובניתם מחדש מוקד שירות לקוחות איטי.

היכולת ממשיכה לעלות עם מספיק מחשוב. מה יקבע אם נוכל להשתמש בה על עבודה חשובה? החדר שבו פעולת מכונה פוגשת שיפוט אנושי.

---

שי מגזימוף

---