Superobří čipy Cerebras

1. Revoluce superobřích čipů Cerebras
2. Technické parametry Cerebras WSE-3
3. Budoucnost výpočetních datových center

Revoluce superobřích čipů Cerebras

Jednou z přelomových novinek jsou superobří čipy, které zabírají plochu celého waferu, tedy řezu křemíkového monokrystalu, ze kterého se dělají čipy. Když se vyrábí čipy, začíná se výrobou vysoce čistého monokrystalu, který se po ochlazení rozřeže na jednotlivé desky – wafery. Velikost waferů souvisí se schopnostmi strojů vytvářet na nich litografické struktury, typicky se používají kruhové wafery s průměrem 30 cm. Na každém waferu se vytvoří litografií velké množství individuálních čipů a wafer se na ně následně rozřeže, ale firma Cerebras na to šla úplně jinak – a nechává celou plochu zabrat jediným obřím čipem.

Toto řešení má východu v tom, že je možné čip zaplnit vyšším počtem výpočetních jader a lépe vyřešit jejich vzájemné propojení, na druhou stranu je to speciální řešení vhodné pouze pro datacentra, pro které se musí dělat speciální hardwarové řešení s unikátním napájením a chlazením. Podobný čip má příkon v kilowattech a ztrátové teplo je třeba uchladit, což není vůbec jednoduché.

Technické parametry Cerebras WSE-3

Cerebras WSE-3 (Wafer Scale Engine) je opravdové monstrum nejen rozměry, ale také počtem výpočetních jednotek. Na ploše 21,5x21,5 cm (46225 mm2) se nachází 900 000 výpočetních jader doplněných 44 GB paměti, které jsou dohromady tvořeny obřími 4 biliony tranzistorů. Paměťová propustnost je 24 PB/s (pentabytů za sekundu) s tím, že každý čip je možné doplnit dalšími 1,2 pentabyty RAM. Každý Cerebras WSE-3 má výkon překračující padesát moderních AI akcelerátorů Nvidia H100, není to vlastně ani „server na čipu“ jako spíše „cluster či datacentrum na čipu“.

Pokud chcete propojit více čipů Cerebras, je možné to udělat pomocí jejich vzájemné komunikační sítě  (fabric) s propustností 214 pentabitů za sekundu. Idea za čipy Cerebras je taková, že se z nich postaví celé datacentrum, které vzhledem ke zdrcujícímu výkonu bude sloužit hlavně pro trénování extrémně rozsáhlých modelů umělé inteligence. Výrobce tvrdí, že tento čip zvládne až stokrát větší modely než jsou současné a jeho výkon dovolí natrénovat model Llama2-70B za jediný den.

Budoucnost výpočetních datových center

Obchodní model za těmito superčipy je pak takový, že podle představ výrobce vzniknou obří výpočetní datacentra, která budou fungovat na cloudovém principu a pronajímat svůj výpočetní výkon zájemcům o trénování AI modelů. V podstatě půjde o formu služby, kdy si každá firma, vyvíjející svoje řešení, najme tolik času, kolik potřebuje pro vytvoření svého modelu, takže bude mít výsledek nejenom rychle, ale také levněji, než kdyby se pokoušela budovat si vlastní datacentrum.

Článek popisuje průlomovou technologii superobřích čipů od Cerebras, které se liší od tradiční výroby čipů tím, že zaujímají celou plochu waferu. Cerebras WSE-3 představuje technologický zázrak s 900 000 výpočetními jádry a 4 biliony tranzistorů na jediném čipu, což umožňuje nevídaný výpočetní výkon přesahující schopnosti současných AI akcelerátorů. Tato inovace nabízí potenciál pro trénování obřích AI modelů ve zkráceném čase a otevírá cestu pro vznik obřích výpočetních center nabízejících výpočetní kapacitu jako cloudovou službu. Přístup Cerebras k výrobě a využití těchto čipů naznačuje budoucí směr vývoje v oblasti umělé inteligence a výpočetní technologie.

Michal Rybka

Michal Rybka je publicista a nadšenec s 20 lety zkušeností v IT a gamingu. Je kurátorem AlzaMuzea a YouTube kanálu AlzaTech. Napsal několik fantasy a sci-fi povídek, které vyšly v knižní podobě, a pravidelně pokrývá páteční obsah na internetovém magazínu PCTuning.