K tomu se nemůžu úplně vyjadřovat … já odtamtud (podruhé) vyfičel ještě v době, kdy muži byli praví muži, ženy byly pravé ženy a plyšová zvířátka do 5 kilogramů byla pravá plyšová zvířátka do 5 kilogramů.

(… a Powery na Malé Straně byly zázrak techniky 😉

Ja teda o AI vim kulove, ale neni AI hlavne o nasobeni ridkych matic ? Takove to nasobeni hustych matic co umi GPU shadery kvuli pametove lokalite je na AI docela nic moc, protoze ty ridke matice obsahujou obrovske mnozstvi nul a GPU shadery podminene rizeni toku programu (conditional execution) moc neumi, aby ty nuly efektivne vynechavaly. Proto se tam objevujou ruzne “akceleratory” ktere resi lepsi reprezentaci tech ridkych matic (jak neukladat nuly) a zaroven saturovat ty vypocetni jednotky (shaderove thready).

Achjo … já věděl, že mě přehnané zjednodušování někde kousne do zadku. No nic měl sem to čekat.

Není operace, jako operace a není dataflow jako data flow…Ani obrovský výkon v dílčích operacích nemusí být vypovídající pro výsledný celkový výkon toho, co na tom poběží.

(Například ani obrovský surový výkon v INT 8/16 tě nezachrání pokud pokud musíš pro data nebo s výsledkem sahat do paměti. Je něco zcela jiného, pokud provedeš multiplikaci matric v jednom kroku – nebo po částech, ještě něco jiného – pokud si v procesu musíš sáhnout do paměti, a úplně něco jiného je pokud úplně odstraníš von Neumannovo hrdlo tím, že výsledek jedné multiplikace narveš rovnou jako vstup další bez toho, že bys musel do paměti sahat úplně… Něco jiného je pokud máš nebo nemáš plnou podporu pro aktivační funkci, kterou používáš atd… ).

Posuzovat, co je lepší nebo horší – v daném případě není možné, jednoduše proto, že nevíme co přesně Tesla plánuje pro svůj čip (a popravdě o momentální nabídce nVidie toho taky moc nevím na dostatečně podrobné úrovni, abych mohl dostatečně konkrétně reagovat – musel bych hodně zkoumat, co vlastně mají na úrovni čipu – a to pro účely této debaty je příliš moc práce). Ale rozhodně bych byl opatrný s prohlášeními, že to či ono byla chyba.

Poslední co sem zaznamenal – tak řešení nVidie bylo postaveno v podstatě na “shaderech” (masivní paralelizaci jednodušších jednotek) s doplněním nějaké menší HW podpory pro deep learning (a popravdě už jsem líný hledat v čem konkrétně ta podpora spočívala). Pokud má být nějakým vodítkem loňská přestřelka mezi Teslou a nVidií ohledně HW3 – pak hlavní rozdíl byl, že Teslí NPU bylo daleko více specializované na práci s neuronovými sítěmi než řešení nVidie (postavené na XAVIERu + GPU) – a podpora pro NN u nVidie v podstatě spočívala jen v několika funkcích pro deeplearning navíc – jinak to běželo virtualizovaně nad generickým hardwarem). Přestože toto řešení nVidie co do surového výkonu vycházelo lépe – pro danou aplikaci bylo výrazně méně efektivní.

(Ale pořád to je hodně zjedušené – protože tam stále chybí třeba image signal procesor a jeho napojení do zbytku atd… a tam se dá taky nasbírat neskutečné množství různých latencí a bottle necků pro konkrétní aplikaci)

A sice ty si efektivitu zatratil tím, že “ušetří trochu elektřiny”, ale ve skutečnosti se na ní hledí velmi velmi. Když nic jiného, tak jde o provozní náklady nejen v cenách energie spotřebovaných samotnými čipy – která není zanedbatelná – ale i v thermal managementu a s tím souvisejícími dodatečnými náklady na infrastrukturu a provoz – který tohle neskutečně prodražuje. Viz třeba google cloud TPU – který s přechodem na vlastní TPU poslal ceny na 1/5.

Jinak narvat více tranzistorů a redundantních jednotek není řešení… na nic. Plýtvat křemíkem je neskutečně drahé, zvyšuje složitost, a výrobní proces čipu je dalek bezvadnosti (což zvyšuje riziko vadného čipu, zvětšuje odpad a celkově to dále prodražuje).

A pak je tady ekonomika – záleží jaký přínos má nVidia: nVidia nemá výrobní kapacity – o její výrobu se starají jiní (TSMC, Samsung) … Takže jejich přínos je de facto jen jejich “knowhow” – návrh čipu. Pokud si jseš schopen navrhnout svůj čip sám (což oni jsou) – tak nemá smysl si “najímat” jiného návrháře a platit mu marži (pokud ti jeho stock plně nevyhovuje).

A tady bych to asi ukončil.