ایلان ماسک به تازگی هدفی بسیار بزرگ برای xAI تعیین کرده است. طبق صحبت های او، xAI قرار است تا سال 2030 به قدرت پردازشی معادل 50 میلیون کارت گرافیک قدرتمند انویدیا H100 دست پیدا کند.
البته منظور ماسک این نیست که دقیقا 50 میلیون کارت فیزیکی جمع آوری شود، بلکه اشاره به ظرفیت پردازشی و توان محاسباتی دارد.
حتی با در نظر گرفتن پیشرفت های مداوم سخت افزار هوش مصنوعی، رسیدن به این هدف به یک سرمایه گذاری عظیم، مخصوصا در زیرساخت و تامین انرژی، نیاز دارد.
ایلان ماسک در یک پست جدید نوشته: «هدف xAI این است که در مدت 5 سال، معادل 50 میلیون واحد پردازش هوش مصنوعی H100 (البته با راندمان انرژی بسیار بهتر) راه اندازی کند.»
هر کارت گرافیک انویدیا H100 حدود 1000 ترافلاپس قدرت پردازشی در حالت FP16 یا BF16 ارائه می دهد که قالب های پرکاربرد در آموزش هوش مصنوعی هستند. اگر با همین معیار حساب کنیم، برای رسیدن به 50 اگزا فلاپس باید 50 میلیون کارت گرافیک H100 استفاده شود.
البته معماری های جدیدی مثل Blackwell و Rubin، بهره وری هر تراشه را به شکل قابل توجهی افزایش داده اند.
بر اساس پیش بینی های فعلی، با نسل آینده تراشه ها مثل Feynman Ultra، احتمالا فقط حدود 650 هزار کارت گرافیک لازم است تا همان قدرت پردازشی را فراهم کند.
در حال حاضر xAI خیلی سریع در حال گسترش زیرساخت های خود است و مجموعه فعلی آن یعنی Colossus 1 از 200 هزار کارت گرافیک H100 و H200 و همین طور 30 هزار تراشه Blackwell GB200 تشکیل شده است.
قرار است به زودی خوشه جدیدی به نام Colossus 2 راه اندازی شود که بیش از 1 میلیون واحد پردازشی خواهد داشت و شامل 550 هزار نود GB200 و GB300 می شود.
با این سرعت، xAI به یکی از پیشروترین شرکت ها در زمینه آموزش مدل های هوش مصنوعی و استفاده از سخت افزارهای جدید تبدیل شده است.
دلیل اصلی انتخاب H100 نسبت به مدل H200 این است که H100 همچنان یک معیار استاندارد و شناخته شده بین فعالان حوزه هوش مصنوعی به حساب می آید و پروژه های زیادی با آن سنجیده و اجرا شده اند.
قدرت ثابت و قابل اطمینان H100 در حالت FP16 و BF16 باعث شده این تراشه به عنوان یک واحد مرجع برای برنامه ریزی های بلندمدت انتخاب شود.
اما یکی از اصلی ترین چالش های چنین پروژه عظیمی، تامین انرژی است. اگر قرار باشد خوشه هوش مصنوعی 50 اگزا فلاپس فقط با کارت های H100 کار کند، نیاز به 35 گیگاوات برق خواهد داشت؛ چیزی برابر با 35 نیروگاه هسته ای.
حتی اگر جدیدترین تراشه ها و کاراترین معماری ها مثل Feynman Ultra هم استفاده شود، باز هم یک خوشه با همین قدرت حدود 4.7 گیگاوات برق نیاز دارد.
این عدد سه برابر بیشتر از مصرف برق خوشه جدید xAI یعنی Colossus 2 است. با اینکه تکنولوژی هر روز بهره وری بهتری پیدا می کند، اما تامین این حجم انرژی همچنان یکی از نقاط مبهم و نگرانی های اصلی چنین طرحی باقی می ماند.
هزینه ها هم کم نیست. الان قیمت هر کارت H100 حدود 25 هزار دلار است. حتی اگر به جای H100 از 650 هزار کارت نسل جدید استفاده شود، هزینه سخت افزار به تنهایی به ده ها میلیارد دلار می رسد. تازه هزینه های شبکه، خنک سازی، ساختمان ها و زیرساخت انرژی جداست.
در نهایت، برنامه ایلان ماسک برای xAI از نظر فنی شدنی است اما از نظر مالی و اجرایی با چالش های بسیار بزرگی روبرو خواهد بود.
