מרכזי נתונים מבוזרים מאובטחים יותר

מרכז נתונים ל-AI בהספק של ג'יגה-ואט נראה חזק. מבצר: גדרות, שומרים, מצלמות, גנרטורים לגיבוי, קירות עבים. מבחינה מתמטית, הוא יכול להיות הדבר השביר ביותר שבניתם אי פעם.

הענן הוא בניין. בניין יקר מאוד, מחובר לתחנת כוח משנה, מוזן בסיב אופטי, מלא ב-GPUs, ומקורר על ידי מערכות מים וחשמל תעשייתיות.

במשך כעשרים שנה, "אבטחת מרכז נתונים" התכוונה בעיקר לאבטחת סייבר: חומות אש, ניהול זהויות, הצפנה וארכיטקטורת Zero Trust. העבודה הזו עדיין חשובה, אבל הפער הגדול כיום הוא באבטחה הפיזית. AI הופך מרכז נתונים למכונה שממירה חשמל לבינה, ומכונות כאלה הן כיום בין הנכסים עם ריכוז ההון הגבוה ביותר עלי אדמות.

המספרים ציבוריים. Stargate של OpenAI הוכרז כתוכנית של 500 מיליארד דולר על פני ארבע שנים, ולאחר מכן הוצג כתוכנית בהיקף 500 מיליארד דולר ו-10 ג'יגה-ואט. Meta הכריזה על קמפוס AI של 10 מיליארד דולר על שטח של 4 מיליון רגל רבוע בלואיזיאנה. TSMC הודיעה שהיקף השקעתה בארה"ב יגיע ל-165 מיליארד דולר.

ככל שהמכונה גדולה יותר, כך מסוכן יותר לשים הכול במקום אחד.

מהו בעצם מרכז נתונים

אם מסירים את השיווק, מרכז נתונים הוא מכונה לשתי עבודות: להכניס חשמל לתוך ארונות שרתים, ולהוציא מהם חום, בבטחה, למשך שנים. רוב העלות ורוב הסיכון נמצאים בתשתיות האלה, לא בקירות.

החשמל נכנס במתח גבוה ויורד שלב אחר שלב. הרשת מספקת מתח גבוה, לעיתים קרובות 138, 230 או 345 קילו-וולט. תחנת המשנה באתר מורידה את המתח לרמה בינונית, בסביבות 11 עד 33 קילו-וולט. ליד האולם, שנאים מורידים אותו לכ-415 וולט, ובתוך ארון השרתים המתח יורד שוב, והשבב פועל בפחות מוולט אחד.

למה לשמור על מתח גבוה כמה שיותר זמן? כי אנרגיה שאובדת כחום בכבל עולה עם ריבוע הזרם, P = I בריבוע כפול R. מתח גבוה יותר אומר זרם נמוך יותר לאותו הספק, מה שאומר פחות חום ופחות נחושת. המשוואה הבודדת הזו מעצבת את כל הבניין.

הציוד גדול וכבד יותר ממה שנדמה. השנאים הגדולים פועלים ב-50 עד 100 MVA כל אחד (MVA זה בערך מגה-ואט קיבולת), הם מיוצרים לפי הזמנה, וזמני האספקה יכולים לעלות על שנה כי הם תלויים בפלדה מיוחדת עם מעט ספקים. לא ניתן להזמין אחד מהיום למחר.

אז המפעילים קונים יתירות, ולכל רמה יש שם מדויק. N אומר בדיוק מספיק ציוד להפעלה. N+1 אומר רכיב יתיר אחד. 2N אומר סט שני מלא. Uptime Institute מסווג את רמת היתירות לדרגות Tier. אתר Tier III ניתן לתחזוקה במקביל: אפשר לתחזק כל חלק בלי לכבות אותו. אתר Tier IV עמיד בפני תקלות: כשל בודד לא אמור להוריד אותו.

בפנים, הבניין כבר מחולק ליחידות בכוונה. אולם מחולק ליחידות (pods) של כ-1.6 עד 2.5 מגה-ואט, כל אחת עם השנאים וציוד המיתוג שלה. כל יחידה מקבלת גם גנרטור דיזל בגודל מנוע קטר, בסביבות 3 מגה-ואט ו-4,000 כוח סוס, עם מלאי דלק ליום או יומיים. סוללות במערכות UPS מגבות את העומס עד שהגנרטור נכנס לפעולה כעבור כשישים שניות, ומגיבות בפחות מעשרה אלפיות שנייה. אפילו בניין בודד בנוי סביב חלוקת הסיכון. כל התעשייה כבר מדברת כך: מהנדסים יגידו לכם שלתקלה חשמלית יש "רדיוס פגיעה" קטן יותר מכשל קירור. Blast radius הוא מונח מקצועי; כאן אשתמש ב"רדיוס הפגיעה".

מחשוב הוא חום

כל וואט שמכניסים ל-GPU חוזר כוואט חום בערך. אולם של 100 מגה-ואט הוא גוף חימום של 100 מגה-ואט. קירור הוא חצי מהמכונה.

ליעילות יש מספר אחד: PUE, היחס בין צריכת החשמל הכוללת של המתקן לצריכת החשמל של ציוד ה-IT. PUE של 1.5 אומר שצורכים חצי וואט נוסף של תקורה על כל וואט מחשוב. הממוצע הגס בתעשייה הוא סביב 1.6; ה-hyperscalers הטובים ביותר פועלים בסביבות 1.1. למים יש מדד משלהם, WUE, בליטרים לקילוואט-שעה, והצריכה מצטברת מהר. אתר בינוני יכול לצרוך מאות מיליוני ליטרים בשנה אם הוא נשען על קירור באידוי.

הצ'ילרים הם מצרכני החשמל הגדולים ביותר שאינם ציוד ה-IT, אז הקירור הזול ביותר הוא הקירור שמדלגים עליו. "קירור חינמי" משתמש ישירות באוויר החיצוני, והוא עובד בצורה הטובה ביותר כשהאוויר יבש, כי אוויר יבש מתקרר עוד יותר דרך אידוי. זו אחת הסיבות השקטות לכך שהמדבר אטרקטיבי. ככל שהארונות הופכים צפופים יותר, אוויר לבדו מפסיק לעבוד, וקירור נוזלי ישיר לשבב הופך לחובה ולא לאופציה.

למה הכל רוצה להיות במקום אחד

הטענה לטובת ריכוז אמיתית. אימון מודל גדול הוא סינכרוני. עשרות אלפי GPUs עובדים בסנכרון מלא וממתינים זה לזה, לכן הקישורים ביניהם חייבים להיות מהירים וקצרים. חיבורי נחושת מהירים עובדים רק למרחק של כמה מטרים, ומארג NVLink בתוך הארון הרבה יותר מהיר מהרשת שבין הארונות. ככל שהטוקנים שלכם צריכים להיות זולים יותר, כך אורזים את ה-GPUs בצפיפות רבה יותר.

לכן ההספק לארון ממשיך לטפס. במשך שנים ארונות שרתים צרכו פחות מ-10 קילוואט. ה-GB200 NVL72 של Nvidia אורז 72 GPUs בארון עם קירור נוזלי אחד, בהספק של 120 קילוואט ומעלה. מפת הדרכים לשנת 2027, שנבנתה על ארכיטקטורת חשמל חדשה של 800 VDC, מצביעה על הספק שבין 600 קילוואט למגה-ואט לארון.

פיזיקת החשמל בוטה באותה מידה. ספקו 600 קילוואט במערכת ישנה של 54 וולט ותצטרכו כ-11,000 אמפר זרם. עשו זאת ב-800 וולט ותצטרכו כ-750 אמפר. מכיוון שהאובדן גדל עם ריבוע הזרם, מדובר בבערך פי 200 פחות חום שנאבד באותה נחושת. צפיפות היא יעילות. זה בדיוק מה שהופך אותה למסוכנת.

הרשת היא גם תחום כשל

הריכוז לא נעצר בגדר. ריצת אימון מסונכרנת, ולכן צריכת החשמל שלה משתנה בחדות. מאמר Llama 3 של Meta מתאר עשרות אלפי GPUs שההספק שלהם עולה ויורד יחד באותו רגע, "בסדר גודל של עשרות מגה-ואט," מספיק כדי להעמיס על הרשת. מהנדסים ממש הריצו עומסי דמה רק כדי למנוע מהתנודות האלה לפגוע במערכת החשמל.

בקנה מידה של ג'יגה-ואט, תחום הכשל מתרחב לרשת החשמל עצמה. SemiAnalysis בנתה מודלים של תנודות העומס האלה ומצאה תרחיש ממשי לקריסה מדורגת. ב-28 באפריל 2025 רשת החשמל בספרד ובפורטוגל איבדה כ-2,200 מגה-ואט בטווח של שניות, וקרסה בתוך פחות מחצי דקה. ביולי 2024, תקלה בודדת ניתקה מהרשת כ-1.5 ג'יגה-ואט של מרכזי נתונים בווירג'יניה בבת אחת. שימו ג'יגה-ואט מאחורי חיבור אחד לרשת, ותקלה מקומית הופכת לתקלה אזורית.

התוכנית שלא בנינו

כשהתחלנו לתכנן קיבולת AI בקנה מידה ג'יגה-ואט בישראל, האינסטינקט הראשוני היה מובן מאליו. לבנות את הבונקר הגדול ביותר שניתן. אתר ענק אחד, קמפוס אחד, מכונה לאומית אחת. אתר אחד נראה נקי בשקופית, מפשט את הרכש, מפשט ומקצר את חיבורי הרשת, ומספר למשקיעים סיפור שהם מזהים.

ואז שאלנו שאלת אבטחה אחת. כמה מקיבולת ה-AI של המדינה אנחנו שמים בתוך תחום כשל אחד?

השאלה הזו הרגה את התוכנית. בישראל, גיאוגרפיה היא תנאי הפעלה. כטב"מים, טילים, אירועי רשת, וביטוח סיכוני מלחמה אינם מילים ממצגת ייעוץ כאן.

האירוע באיחוד האמירויות הפך את השאלה למוחשית. ב-1 במרץ 2026, כטב"מים איראניים פגעו ישירות בשני מרכזי נתונים של Amazon AWS בדובאי. שניים מתוך שלושה אזורי זמינות באזור ME-CENTRAL-1 יצאו מכלל פעולה. 109 שירותים נכשלו. בנקים, פלטפורמות תשלומים ואפליקציות הסעות הושבתו. לבניינים היו כל אמצעי ההגנה הסטנדרטיים: גדרות, מצלמות, חשמל מגובה, גנרטורי גיבוי. אף אחד מהם לא תוכנן לעמוד בפגיעת כטב"ם. AWS הנחתה את הלקוחות להעביר עומסי עבודה לאזור אחר והזהירה שההתאוששות תיקח שבועות, בהתחשב בנזק הפיזי. BBC, Data Center Dynamics.

מלחמת רוסיה באוקראינה דחפה את אותו מהלך בקנה מידה גדול יותר: יעד קטן יותר לאתר, מפוזר על פני תחומי כשל אמיתיים.

יחידת הביטחון היא תחום הכשל

תחום כשל הוא חלק ממערכת שיכול להיכשל לבד מבלי להפיל את השאר. Google Cloud משתמשת בדיוק בשפה הזו: Region או Availability Zone יכולים לשמש תחום כשל, ופיזור ביניהם משפר את הזמינות. הדוגמה של Google עצמה: שני רכיבים, שכל אחד מהם זמין ב-99.9%, כשהם ממוקמים בתחומי כשל נפרדים, מורידים את הסיכוי ששניהם ייכשלו בו-זמנית לאחד למיליון, אם הם באמת עצמאיים.

אותו רעיון כבר קיים בכמה תחומים רציניים. יישמו אותו על GPUs.

תחום	מה הם כבר קוראים לזה
ענן	תחומי כשל, אזורים, אזורי זמינות
ביטוח	הפסד מקסימלי צפוי
רשתות חשמל	תכנון N-1 לתרחיש מגירה
ביטחון	הבטחת משימה
תשתית קריטית	סיכון מבוסס השלכות (CISA)
מרכזי נתונים	Uptime Tier III ו-Tier IV

כמה ערך, הספק וקיבולת לאומית ניתן לאבד באירוע מקומי אחד, וכמה מהר יכול השאר להמשיך לרוץ?

המתמטיקה פשוטה: מחלקים

קחו פלטפורמת AI של 40 מיליארד דולר. יש כמה דרכים לבנות אותה.

אתר ענק אחד: אירוע יחיד יכול לסכן את כל 40 מיליארד הדולר. חלקו לארבעה אתרים עצמאיים: כל אחד מחזיק כ-10 מיליארד דולר. חלקו ל-12 מודולים של 100 מגה-ואט: כל אחד מחזיק כ-3.3 מיליארד דולר. זה כל הטריק: לחלק את הנכס.

ארכיטקטורה	תחומי כשל	ערך לתחום	ריכוז
אתר ענק אחד	1	40 מיליארד דולר	1.00
ארבעה אתרים	4	10 מיליארד דולר	0.25
שנים-עשר מודולים	12	3.3 מיליארד דולר	0.08

זהו מדד הרפינדל-הירשמן (HHI), שבו רגולטורים משתמשים למדידת ריכוזיות בשווקים: מעלים בריבוע את החלק היחסי של כל אתר מתוך הסך הכול ומחברים את התוצאות. אתר אחד מקבל ציון של 1.0. ארבעה אתרים שווים מקבלים ציון של 0.25, כלומר מתנהגים כמו ארבעה אתרים אמיתיים. שנים-עשר מודולים מקבלים ציון של כ-0.08, כמו שנים-עשר אתרים. כלל האצבע: פיזור מקטין את החשיפה המרבית לאירוע בודד בערך פי 1 פחות 1 חלקי n. בארבעה אתרים ההפסד המרבי קטן ב-75%. בשנים-עשר מודולים ההפסד המרבי קטן בכ-92%.

כדי להמחיש את ריכוז הערך: קמפוס לואיזיאנה של Meta עולה כ-10 מיליארד דולר על שטח של כ-371,600 מטר רבוע, קרוב ל-27,000 דולר השקעה לכל מטר רבוע בנוי. Stargate עומד על כ-50 מיליון דולר למגה-ואט ברמת התוכנית כולה. אולם GPU משעמם יכול להיות שווה יותר למטר רבוע ממגדל מפורסם: בכל ארון יש ציוד בשווי עצום, וכל מגה-ואט מניב הכנסות.

מה הפיזור באמת נותן

ארבעה אתרים חלשים על מפה עדיין ארבעה אתרים חלשים. פיזור עובד רק כשהוא יוצר עצמאות אמיתית.

מה שהפיזור משנה באופן אמין הוא רדיוס הפגיעה. אתר ענק אחד מרכז את כל ההפסד. ארבעה תחומי כשל אמיתיים מחלקים אותו. שנים-עשר מודולים מחלקים אותו עוד יותר. האירוע הגרוע ביותר מתכווץ, זמן ההתאוששות מתכווץ, ומנוף הלחץ שמי שמאיים על אתר אחד יכול להשיג מתכווץ גם הוא.

פיזור יכול להשאיר את ההפסד הממוצע לאורך זמן ללא שינוי. אם לכל אתר אותה הסתברות כשל עצמאית, המתמטיקה לאורך זמן יכולה להיראות דומה בין אם יש לכם אתר אחד או ארבעה. השאלות החשובות הן שונות: מה האירוע הגרוע ביותר? כמה קיבולת שורדת? כמה מהר אנחנו מתאוששים? האם כשל מקומי אחד יכול להפוך לכשל לאומי?

לגבי ההסתברות: אם כל אתר נכשל באופן עצמאי בהסתברות p, הסיכוי שכל n האתרים ייכשלו יחד הוא בערך p בחזקת n. ההסתברות יורדת מהר מאוד. אבל רק אם האתרים באמת עצמאיים.

ברגע שכל האתרים חולקים חולשה משותפת אחת, המתמטיקה קורסת. תחנת משנה משותפת, מסלול סיב משותף, תלות במערכת קירור משותפת, מישור בקרה משותף, או פרצת אבטחה משותפת יכולים להפוך אתרים רבים בחזרה לתחום כשל אחד. הפסקת החשמל בחצי האי האיברי ואירוע ווירג'יניה שצוינו לעיל הם בדיוק זה: כשל מסיבה משותפת בשטח, בניינים רבים, תחום כשל אחד.

המחיר של הפיזור מוצדק רק כשהוא מסיר תלות משותפת. המשתנה החשוב הוא עצמאות. מרחק לבדו לא יוצר אותה.

זה עולה יותר, וזו הנקודה

פיזור יקר יותר. נקודה. משכפלים תחנות משנה, מתקני קירור, אבטחה וצוות, מאבדים יתרונות לגודל, ומשלמים פגיעה בביצועי הרשת כשהאתרים רחוקים זה מזה. במקום רגוע אפשר לקרוא לזה בזבוז.

במקום בסיכון גבוה זה תנאי בסיס, לא יוקרה. והסיכון מחמיר, לא משתפר. טילים בליסטיים ארוכי טווח וכטב"מים זולים מרחיבים מאוד את הטווח שבו אתרים קבועים ויקרים חשופים לפגיעה, ומחשוב ה-AI עצמו הופך לנשק. הוא מפעיל את מערכות ההכוונה, המודיעין ומעגלי ההחלטה בסכסוך אמיתי. ככל שהמחשוב יותר אסטרטגי, כך אתר ריכוזי בודד הופך יותר לנקודת כשל לאומית בודדת. לכן אני בונה מודלים של שיבוש מאירוע יחיד בדיוק כפי שמבטחים, ארכיטקטי ענן, ומתכנני רשת כבר עושים: תחומי כשל, הפסד מקסימלי צפוי, רדיוס פגיעה, המשכיות תפעולית. בלי לפרט איך תוקפים. רק כמה גדול כל תחום כשל. ככל שהקופסה קטנה יותר, קל יותר לבטח אותה, להגן עליה, לממן אותה, להתאושש ממנה, ולהסביר אותה לממשלה.

אותו לקח, הפעם במסלול

החלק המוזר הוא שהתעשייה עומדת לעשות את אותה טעות בדיוק רמה אחת למעלה. כתבתי על זה בהם עשויים מקומפיוט: התוכנית לשגר מרכזי נתונים לחלל, ארוזים בצביר צפוף, שבירים, חשופים, ועדיין ללא הגנה. אותו אינסטינקט, אותה נקודה עיוורת. בין אם תחום הכשל הוא קמפוס מדברי או צביר במסלול, השאלה לא משתנה אף פעם. כמה נזק יכול אירוע יחיד לגרום?

השיעור הישראלי

ישראל היא מדינה קטנה עם יתרונות אמיתיים לכך: שמש, כישרון, דחיפות, וצורך אמיתי במחשוב משלה. מדינות קטנות לא יכולות להתייחס לסיכון לתשתיות כתיאורטי. אם מחשוב AI הופך קריטי לביטחון, לכלכלה, למדע ולממשלה, אז מרכזי נתונים הם תשתית לאומית, ותשתית לאומית לא צריכה להיות תלויה בבניין אחד.

מחשוב AI בקנה מידה ג'יגה-ואט הוא המטרה. אנחנו בונים אותו כרשת של מפעלים קטנים יותר: מודולריים, מוקשחים, מחוברים, מפוזרים על פני תחומי כשל אמיתיים. אולם GPU מחובר לכמה מאות מגה-ואט, משוכפל על פני אתרים שכל אחד מהם יכול להיכשל באופן עצמאי.

כשתשתית הופכת אסטרטגית, יש לשאול שאלה אחת: כמה נזק יכול כל אירוע בודד לגרום?

---

באפריל 2024 עצרתי עם האופניים שלי ליד הבית וצילמתי יירוטים וטילים שהאירו את השמים מעל ישראל. מאז אני חושב על זה. כל תוכנית של אתר שאני בוחן היום היא רשימה של תחומי כשל.

שי מגזימוף

---