Akcelerátory pro provoz umělé inteligence

1. Role akcelerátorů v AI výpočtech
2. Přechod k energeticky efektivnímu řešení
3. Možnosti nasazení a využití

Role akcelerátorů v AI výpočtech

Jak jsme už dříve uvedli, pro moderní modely umělé inteligence je charakteristické, že od sebe navzájem oddělují režim učení a režim provozu neboli inference. Učení vyžaduje extrémně výkonný hardware a má velkou spotřebu energie, zatímco spouštění modelů je podstatně méně náročné. Dostatečně optimalizované modely jsou tak malé a tak nenáročné, že je možné je spouštět na straně klientského zařízení, ať už jde o mobilní telefon, AR brýle, procesor v chytrém autě a nebo v robotech: Takovému zpracování umělé inteligence se říká edge AI, edge AI computing („zpracování na hraně reality“).

Pro základní provoz modelů zřejmě v dohledné době postačí nové funkce akcelerace AI výpočtů pomocí tenzorových jednotek (TPU, Tensor Processing Unit), někdy nazývaných též neuroakcelerátory (NPU, Neural Processing Unit). V obou případech jde o akceleraci maticových výpočtů, protože většina algoritmů umělé inteligence je založena na zpracování velkých a řídkých matic (sparse matrix, matice obsahující většinu prvků nulových).

Ty jsou obvykle integrované jako výpočetní jednotky v moderních procesorech (Apple M1, Intel Core Ultra a vyšší). Stroje připravené pro práci s umělou inteligencí poznáte jak podle přítomnosti těchto jednotek, tak také podle toho, že mají zvýšený objem paměti, protože se modely pro umělou inteligenci někam musejí uložit. Nová generace laptopů připravených pro provoz AI modelů by měla mít alespoň 16 GB RAM, ale dnes mají podobný objem paměti i výkonnější mobilní telefony.

Přechod k energeticky efektivnímu řešení

Pokud je potřeba vyšší výkon, je možné dnes použít akceleraci AI výpočtů na grafických kartách (GPU computing), ale nově vzniká zvláštní třída přídavných neuroakcelerátorů, jako je nově připravovaný Qualcomm Cloud AI 100 Ultra. Jde o přídavnou kartu v podobě rozšiřující PCIe Gen4 karty, která obsahuje AI akcelerátor a vlastní paměť. AI akcelerátor je optimalizovaný procesor se 64 jádry s výkonem 870 TOPS (tera operací za sekundu), který je doplněn 128 GB RAM. Tento akcelerátor dovoluje spouštění AI modelů až se 100 miliardami parametrů, přičemž jde o škálovatelné řešení, dvě takové karty dokážou provozovat model s až 175 miliardami parametrů.

Možnosti nasazení a využití

Zásadní výhodou tohoto řešení je to, že má oproti grafickým kartám mnohem více paměti, ale navíc je také energeticky podstatně efektivnější, má spotřebu jen asi 150 wattů, což odpovídá dnes spíše základní grafické kartě. Jde o řešení určené pro servery s tím, že každá karta dovoluje současný provoz až čtyř různých modelů umělé inteligence a je možné výkon škálovat přidáváním dalších akcelerátorů. To dovolí zákazníkům vytvořit si energeticky efektivní řešení s takovým výkonem, který potřebují. Podle odhadů Qualcommu by jejich akcelerátor mohl snížit náklady na provoz (inferenci) na desetinu.

Qualcomm Cloud AI 100 Ultra je v současnosti dostupný ve vývojové verzi (devkit) pro vývojáře, plánuje se jeho široké nasazení jak u cloudových služeb, tak i v serverech firemních zákazníků. Toto zařízení by mohlo například nahradit callcentra, centra technické podpory, nabídnout možnost generovat obsah podle svých požadavků a řešit podobné úlohy umělé inteligence.

Michal Rybka

Michal Rybka je publicista a nadšenec s 20 lety zkušeností v IT a gamingu. Je kurátorem AlzaMuzea a YouTube kanálu AlzaTech. Napsal několik fantasy a sci-fi povídek, které vyšly v knižní podobě, a pravidelně pokrývá páteční obsah na internetovém magazínu PCTuning.