Otázka nákladů na provoz

1. Učení AI modelů: proč je tak náročné odhadnout náklady?
2. Proč jsou náklady na AI tak vysoké?
3. Náklady na trénink GPT-4
4. Budoucí směřování energetických nároků AI

Učení AI modelů: proč je tak náročné odhadnout náklady?

V současnosti se poměrně složitě odhaduje, jaké reálné nároky na provoz bude mít nasazení umělé inteligence. Prvním důvodem je to, že jsme stále v experimentální fázi, kdy se nasazení spíš testuje než že by šlo o rutinní provoz. Druhým důvodem je potom to, že stále dochází k velice rychlé evoluci, u které možná bude brzy asistovat samotná umělá inteligence.

Proč jsou náklady na AI tak vysoké?

Současné vysoké nároky AI firem souvisí s budováním datacenter, kde jediný současný systém s Nvidia H100 přijde asi na 35 tisíc dolarů, ale protože čekací doba na dodávky přesahuje 11 měsíců, jednotlivé kusy se prodávají na eBay až za 45 tisíc dolarů. Současná dominance je pro Nvidii jistě výhodná a velmi výnosná, ale pokud se umělá inteligence rozjede opravdu ve velkém, bude zapotřebí mnohem větší množství čipů s vyšším výkonem, ale také těch s nižším výkonem, ale podstatně nižší spotřebě s vyšší výpočetní efektivitou.

Momentálně je výstavba velkých výpočetních center pro umělou inteligenci fenoménem velkých cloudových služeb, jako Azure od Microsoftu a AWS od Amazonu, které pronajímají výpočetní kapacitu firmám, které se zabývají učením modelů. Současné startupy, zabývající se tvorbou modelů umělé inteligence, využívají ke svému provozu peníze investorů a doufají, že získají cenné intelektuální vlastnictví, které zvýší hodnotu firem a tímto způsobem investorům peníze vrátí.

Náklady na trénink GPT-4

Náklady na učení velkých modelů se značně liší. Sam Altman, šéf OpenAI, uvedl, že učení modelu GPT-4 stálo společnost OpenAI 100 milionů USD. Nemalé jsou i náklady na vývojový tým: Kromě klasických vývojářů (software developer) firmy zaměřené na umělou inteligenci potřebují i datové analytiky (data scientist) a specialisty na strojové učení (machine learning engineer), jejichž specializace zvyšuje provozní náklady i u menších týmů zhruba o půl milionu dolarů ročně výše.

Ve finále se předpokládá, že provoz jednodušších AI modelů (edge AI) si bude uživatel platit sám v ceně pořízení zařízení a také v ceně energií. V případě umělé inteligence provozované na serverech, jako je Microsoft Copilot, půjde pravděpodobně o několik úrovní poskytované služby, od služeb zdarma po profesionální služby, které se budou platit formou měsíčního a nebo ročního předplatného. Tento model by se podobal například tomu, jak se nabízí různé úrovně služby Microsoft OneDrive.

Když se ptáme aneb jaký je náklad na 1 prompt?

Pokud jde o současnou nákladovost provozu umělé inteligence, odhady se pohybují od 0,0065 centu na dotaz (prompt) u nenáročných modelů AI, jako je Anthropic Claude Haiku, po 4 centy za dotaz u komplexnější AI, jako je Claude Opus. Je jasné, že v budoucnosti bude tato cena klesat, přičemž se očekává jak snížení energetických nároků na dotaz, tak i klesající cena čipů – a také ve snížení nákladů na učení modelů umělé inteligence.

Rané experimenty s učením umělé inteligence pomocí jiné umělé inteligence, které proběhly například na modelech Llama, ukázaly, že je učení je možné zlevnit a zrychlit až o dva řády. Určitý problém je ale v tom, že se opakovaně ukazovalo, že pokud se AI učí od jiné AI, vnáší se do učené falešné vzorce a obecně přesnost odpovědí klesá, což znamená, že tento model učení má svoje limity.

Většina hrubých odhadů říká, že by spotřeba umělé inteligence měla dosáhnout dvou procent celkové výroby elektrické energie, ale do detailů je jenom těžké vidět. Jedna věc jsou současné modely, další věc jsou plánované AI superpočítače pro učení velmi rozsáhlých modelů, u kterých se kalkuluje s příkonem až v jednotkách gigawattů – a věc zcela jiná je provoz podobných modelů, kde se naopak zájem soustřeďuje na úsporný provoz.

Budoucí směřování energetických nároků AI

Dostáváme se tak do situace, že se zároveň pracuje na nových datacentrech s obrovskou spotřebou, ale zároveň se plánuje, že většina praktického provozu AI modelů bude běžet na domácích a dokonce i mobilních neuroakcelerátorech, které mají nižší příkony než běžné a nebo mobilní grafické karty. To, jak se budou vyvíjet energetické nároky, pak velmi výrazně souvisí s tím, zda převládne snaha stavět obrovská datacentra a nebo zda se většina provozu AI soustředí na úsporném hardwaru. 

Michal Rybka

Michal Rybka je publicista a nadšenec s 20 lety zkušeností v IT a gamingu. Je kurátorem AlzaMuzea a YouTube kanálu AlzaTech. Napsal několik fantasy a sci-fi povídek, které vyšly v knižní podobě, a pravidelně pokrývá páteční obsah na internetovém magazínu PCTuning.