انویدیا جزئیات کارت شبکه نسل جدید خود با نام ConnectX-8 را برای سیستم های بلکول معرفی کرده است. این کارت آنقدر پیشرفته است که انویدیا آن را به جای یک NIC معمولی، یک SuperNIC می‌نامد.
نقش ConnectX-8 در پردازش هوش مصنوعی
طبق توضیحات انویدیا، آموزش مدل های هوش مصنوعی و پردازش استنتاجی دو نوع بار پردازشی متفاوت هستند که نیاز به سیاست های شبکه ای یکپارچه و سازگار دارند. پردازش استنتاجی معمولا وابسته به تأخیر پایین و ارتباط گسترده با منابع خارجی است، در حالی که آموزش مدل ها فرآیندی طولانی و همزمان به حساب می‌آید که کارایی آن به شدت تحت تاثیر تأخیرهای انتهایی قرار می‌گیرد.
ConnectX-8 همزمان از هر دو فناوری Spectrum-X Ethernet و Quantum-X Infiniband پشتیبانی میکند. این کارت برای مقیاس پذیری در مراکز داده و پاسخگویی به نیازهای پردازش هوش مصنوعی طراحی شده و شامل قابلیت هایی مانند RDMA با مقیاس دهی روی میلیون ها GPU، پایپ لاین سخت افزاری 800 گیگابیتی برای کاهش تأخیر و افزایش پهنای باند، کنترل ازدحام و توازن بار داخلی، برنامه پذیری عمیق مسیر داده و همچنین امنیت در سطح سازمانی است.
از نظر مشخصات فنی، این کارت با API های Verbs، NCCL، NIXL و DOCA سازگار است و از رابط 800 گیگابیت بر ثانیه Infiniband XDR یا دو پورت 400 گیگابیتی Spectrum-X Ethernet بهره می‌برد. اتصال آن به سیستم از طریق PCIe نسل ششم با 48 لاین و سوئیچ مجتمع داخلی انجام میشود.
قدرت و مقیاس پذیری
انویدیا اعلام کرده است که RDMA در ConnectX-8 می‌تواند بدون محدودیت در مقیاس های مختلف تا سرعت 800 گیگابیت بر ثانیه ادامه یابد. این کارت نه تنها یک NIC بلکه به عنوان یک تراشه ASIC عمل میکند که GPU ها را به دیگر خوشه ها متصل می‌سازد.
اولین استفاده از این کارت در سیستم های جدید بلکول GB300 NVL72 خواهد بود که بر پایه GPU بلکول اولترا ساخته شده اند. سوئیچ PCIe CX8 در این سیستم ها باعث صرفه جویی در پهنای باند NVLINK و بهبود کیفیت سرویس بین ارتباطات شبکه ای میشود. هر برد NVL72 شامل دو سوئیچ CX8 است که برای پردازنده Grace مسیرهای Gen5 x16 و برای GPU بلکول اولترا مسیرهای Gen6 x16 ارائه میدهد و حافظه SSD نیز از مسیر Gen5 x4 بهره می‌برد.
انویدیا همچنین نشان داده است که ConnectX-8 قادر است مقیاس پذیری شبکه ای را برای 64 GPU فراهم کند. در اینجا از سوئیچ یکپارچه Spectrum-X استفاده میشود که کنترل ازدحام، توازن بار و عملکرد پایدار را تضمین میکند. این کارت با RDMA خود قادر است خدمات سیستم عامل را برای شبکه های هوش مصنوعی گسترش دهد و پردازنده بسته ConnectX-8 نیز وظیفه ایمن سازی و مسیریابی در مراکز پردازش هوش مصنوعی را بر عهده دارد.
بهبود عملکرد با Spectrum-X
یکی از ویژگی های کلیدی ConnectX-8، وجود شتاب دهنده مسیر داده است که یک پردازنده RISC-V با توان پردازشی بالا محسوب میشود. ترکیب این سخت افزار با فناوری Spectrum-X باعث میشود زمان آموزش مدل ها تا 60 درصد کاهش پیدا کند و تأخیر انتهایی در شرایط فشار بار تقریبا به صفر برسد.
براساس آمار منتشر شده توسط انویدیا، این ترکیب نسبت به NIC های سنتی افزایش 1.6 برابری در پهنای باند مؤثر، افزایش 1.3 برابری در پهنای باند جمعی، افزایش 2.2 برابری در پهنای باند all-reduce، افزایش 1.3 برابری در پهنای باند all-to-all و سرعتی هزار برابر بیشتر در جمع آوری داده های تله متری به همراه دارد.
انویدیا با معرفی ConnectX-8 و Spectrum-X گام بلندی در مسیر شبکه های هوش مصنوعی برداشته است. این کارت با پشتیبانی از سرعت 800 گیگابیت و اتصال PCIe نسل ششم، بخشی از آینده پردازش های سنگین و مراکز داده خواهد بود و به زودی در سیستم های بلکول جدید به کار گرفته میشود.
