xAI Mengaktifkan Kluster Melatih AI Terbesar Di Dunia – Memphis Supercluster Dengan 100 Ribu NVIDIA H100

xAI, syarikat teknologi kecerdasan buatan yang baru dibangunkan oleh Elon Musk baru-baru ini dilaporkan telah mengaktifkan kelompok superkomputer pembelajaran mesin/melatih AI mereka yang pertama, yang dinamakan Memphis Supercluster.

NVIDIA H100 digunakan kerana Elon Musk tidak mahu tunggu untuk NVIDIA B100 dan B200 yang hanya akan mula dijual pada penghujung tahun ini, manakala NVIDIA H200 pula sangat sukar untuk dibeli buat masa ini.

Nice work by @xAI team, @X team, @Nvidia & supporting companies getting Memphis Supercluster training started at ~4:20am local time.

With 100k liquid-cooled H100s on a single RDMA fabric, it’s the most powerful AI training cluster in the world!
— Elon Musk (@elonmusk) July 22, 2024

Elon Musk mengatakan bahawa Memphis Supercluster ini terdiri daripada 100 ribu kad grafik NVIDIA H100 yang disejukkan dengan sistem penyejukan cecair dan disambungkan kepada satu fabrik RDMA untuk membangunkan satu kluster sistem latihan AI yang sangat berkuasa.

Ia dijangka bahawa xAI akan siap melatih model bahasa-raya (LLM) Grok 3 mereka sekitar penghujung tahun ini dengan kandungan daripada X/Twitter dan juga data-data sumber terbuka. Memphis Supercluster juga dilaporkan ialah kelompok superkomputer melatih AI yang terbesar dan paling berkuasa setakat ini, walaupun apabila dibandingkan dengan pusat data Aurora, Frontier dan Fugaku.