První uživatel Neuralinku ukázal, jak používá, nastavuje a kalibruje své rozhraní a hraje s ním hry
Noland Arbaugh, první uživatel Neuralinku, tak jak už dříve na X slíbil, poprvé streamoval, jak hraje Civilizaci VI a jiné hry. Při té příležitosti prozradil mnoho zákulisních informací a ukázal, jak používá, nastavuje a kalibruje své rozhraní. Uvedl také, jaké s ním má momentálně problémy a na čem aktuálně s Neuralinkem pracují.
What's on my mind? https://t.co/hq4n2Ep0BL
— Noland Arbaugh (@ModdedQuad) May 5, 2024
Informace na úvod
To, že Noland jakožto kvadruplegik streamuje hraní počítačových her, je určitě super. Nás však příliš nezajímá samotná hra, ale spíše to, jak funguje Nolandovo rozhraní, čili jak ho připojuje k počítači, nastavuje a jak s ním pracuje.
Noland používá MacBook od Applu. Ke streamování má aplikaci Streamlabs Desktop ve verzi 1.16.3. Zatím pro streaming nemá žádné speciální vybaveni jako sluchátka nebo profesionální mikrofon, ale říká, že pokud streamování skutečně rozjede, tak si je snad obstará. Je to jeho první živý přenos, čili zkušenosti mu chybí. Říká, že pokud by mu se streamováním chtěl někdo pomoci, má se mu ozvat.
Kromě neurálního rozhraní občas používá také hlasové povely, například pro zapnutí některých aplikací nebo panelů pro nastavení. Jde o příkazy jako „cursor on/off“ nebo „show mixer“, tedy vypínání a zapínání kontroly kurzoru a zobrazení aplikace mixer, o které bude řeč dále v textu.
Noland během svého prvního živého přenosu.
The Link App
Noland ve videu ukázal a detailně popsal aplikaci, která obsluhuje rozhraní, čili mu umožňuje ovládat počítač, na kterém je nainstalována. V aplikaci vykonává veškeré úkoly, na kterých pracuje společně s odborníky z Neuralinku. Její první verze podle něj vypadala výrazně jinak a měla spoustu problémů. Většinu z nich se už podařilo odstranit.
Je to vůbec poprvé, kdy jsme aplikaci zvanou „The Link App“ měli možnost takto detailně vidět. Projděme si jednotlivé sekce (taby nebo záložky) tak, jak nám je Noland ukázal. Jde o:
- Calibration (kalibrace)
- Map (mapování)
- Research (výzkum)
- Gaming (hry)
- Update (aktualizace softwaru)
- Settings (nastavení)
Základní Menu aplikace Neuralinku.
Na screenshotu z „Home Tabu“ aplikace vidíme kromě zmíněných záložek ještě i několik jiných věcí:
- Název rozhraní: Nolandovo rozhraní se jmenuje Eve, tedy Eva. Nazval ho tak sám. Je katolického vyznání a implantát tak nazval proto, že Bůh stvořil Evu mimo jiné také jako pomocnici Adama.
- Ukazatel nabití baterie: Na začátku streamu byla baterie Nolandova rozhraní nabitá na 90 % (v čase videa 1:14). Ke konci, po asi 43 minutách nepřetržitého používání (v čase 44:51), aplikace ukazuje nabití baterie na 77 %, což je úbytek 13 %. Když si uvědomíme, že implantát má 4 mikroprocesory a obsluhuje 1024 elektrod, je to docela solidní výdrž. Znamenalo by to spotřebu asi 18 % za hodinu. Čili baterie by měla vydržet nějakých 5,5 hodiny nepřetržitého provozu rozhraní. Je otázkou, zda je možné baterii nabíjet při používání rozhraní nebo zda je třeba implantát při nabíjení vypnout. To momentálně nevíme. Cílem Neuralinku každopádně je, aby rozhraní vydrželo v provozu celý den a bylo potřeba ho nabíjet jen přes noc, podobně jako to děláme s mobilními telefony. To však při zvyšování počtu elektrod bude nelehkým úkolem.
- „Connected“: Ukazuje stav připojení implantátu k aplikaci pomocí standardu Bluetooth Low Energy (BLE). Ukazatel zřejmě zobrazuje také sílu signálu.
- „All Devices“: Tvůrci aplikace pravděpodobně už teď počítají s tím, že uživatelé budou mít více než jedno rozhraní. Zde je bude možné zobrazit. Jsou tu také používané nabíječky. Noland má dvě, označené jako C1 2019 a C1 2017 (viz obrázek níže).
All Devices Tab
Calibration Tab
Kalibrace Noland musí provádět, aby měl kontrolu nad kurzorem. Je to proces mapování signálů z mozku na povely, které vydává. Zpočátku musel provádět kalibrace ve spolupráci s někým z Neuralinku, ale dnes už je provádí sám. Vykonává je před každým sezením s Neuralinkem, čili prakticky denně. Noland přímo pomáhal proces kalibrace stvořit a optimalizovat. Říká, že s Neuralinkem vyzkoušeli snad stovky možných postupů než vytvořili ten, který dnes dobře funguje.
Při kalibraci jde vlastně o vytrénování modelu neuronové sítě, čili umělé inteligence (AI) nebo přesněji strojového učení. Pokaždé, když Noland kalibraci provede, používá pak jiný model. O modelu, který měl během natáčení videa říká, že to není nejlepší, který kdy měl, ale je v pořádku. Čím déle kalibraci provádí, tím je pak model lepší. Může to trvat třeba i hodinu, pokud chce vytvořit skutečně precizní model.
Calibration Tab
Map Tab
„Map Tab“ slouží k mapování mozkové aktivity. Noland má implantát v levé hemisféře mozku v části motorické oblasti odpovědné za pohyb ruky, dlaně a prstů. V aplikaci v jeho sekci mapování jsou tedy úkoly pro představovaný pohyb pravé ruky. Když tyto úkoly vykonává, jsou vidět neurony, které se aktivují.
Momentálně má Noland namapovány výrazné pohyby celé ruky, ale společně s odborníky z Neuralinku se snaží rozšířit funkce rozhraní díky rozpoznávání jemnějších pohybů. Jde o pohyby prstů, které se snaží namapovat na jednotlivá písmena abecedy, čili chtějí vytvořit speciální znakovou řeč, což by Nolandovi později mělo umožnit myslet si znaky, slova nebo i celé věty a text by se automaticky přepisoval do počítače.
Map Tab
Research Tab
V této záložce jsou dvě věci – přepínač, který aktivuje a deaktivuje „Research Mode“, čili vědecký mód rozhraní. O tom nám Noland bohužel nic nesdělil, ale o to více mluvil o druhé věci, tedy takzvaném WebGridu.
Research Tab
Jde de facto o hru, pomocí které specialisté z oboru neurálních rozhraní měří, jak dobře jejich interfejs funguje, nebo jak dobře je vytrénován daný model AI (v případě rozhraní, která AI používají). Hra měří výkon v jednotce BPS, tedy „byte per second“, česky bajty za sekundu, ale tato jednotka neudává to, co bajty za sekundu udávají v informatice, popisují-li přenosové rychlosti počítačových sítí. Důkladněji se měření výkonu neurálních rozhraní budeme věnovat v některém z našich příštích článků.
BPS je tím vyšší, čím Noland rychleji a přesněji kliká na čtverečky, které se mu náhodně zobrazují na mřížce. Když se netrefí, BPS se sníží. Mřížky mají různý počet čtverců. Noland hraje na poli, které jich má 25 x 25. Předpokládáme, že v závislosti na tom, na jak obtížné mřížce měření probíhá, zvyšuje se rovněž hodnota BPS. Noland říká, že je schopen hrát maximálně na mřížce 35 x 35, dále už jsou pro něj čtverečky příliš malé.
WebGrid je jednou z Nolandových nejoblíbenějších zábavných aktivit. Uvádí, že by se tím mohl bavit klidně i celé hodiny, protože WebGrid je podle něj velmi „návykový“. Rekord rozhraní předchozích projektů (kolem 4,6 BPS u zařízení typu Utah Array) překonal hned při prvním „ostrém“ testovacím sezení. Potom ho lámal při každé další seanci. Později přišly problémy s vysouváním elektrod, ale dnes je Noland díky úpravám algoritmů modelů AI schopen znovu dosahovat kolem 8 BPS. Při streamingu jen tak mezi řečí došel až k 4,95 BPS.
WebGrid se dá hrát také počítačovou myší. Nejlepší „hráči“ z Neuralinku dosahují až 18 BPS (jde o Blisse Chapmana), průměr u zdravých lidí je podle Nolanda kolem 10 BPS. Hru si nyní můžete zahrát i vy – Neuralink ji nedávno zpřístupnil na svém webu.
Noland doufá, že další uživatelé Neuralinku, kteří přijdou po něm, budou schopni jeho rekordy lámat také hned první den.
WebGrid
Gaming Tab
Gaming Tab je trochu záhadou. Podle Nolanda Neuralink momentálně pracuje na funkcích, které má umožňovat. Jde o to, aby mohl hrát hry i na jiných zařízeních než jen na svém notebooku, tedy například na herní konzoli typu Xbox či PlayStation. Noland ve videu nijak nevysvětluje, jak by to mělo vypadat. Podle toho, co vidíme na screenshotu z aplikace, to vypadá, že by mělo jít o připojení ke gamepadu, ne k samotné konzoli. Připojení rozhraní přímo ke konzoli by bylo určitě komplikovanější, protože by vyžadovalo speciální aplikaci v daných herních konzolích a zřejmě i nějakou formu spolupráce s jejich výrobci.
Noland je z možnosti hraní her na konzolích samozřejmě velmi nadšený.
Gaming Tab
Update Tab
Nevíme, jak přesně vypadá záložka aktualizací nebo jak aktualizace probíhají, ale podle Nolanda se aplikace rozhraní neustále zlepšuje. Původně vypadala úplně jinak. Proběhla už řada aktualizací a bylo dodáno mnoho funkcí. Neuralink pravděpodobně nemá možnost během studie PRIME nějak měnit hardware schválené verze rozhraní (N1), ale software rozvíjet může nebo i musí.
Settings Tab
Poslední záložku „Nastavení“ už nám Noland bohužel neukázal. Snad se o ní něco více dozvíme v některém příštím videu.
Virtuální klávesnice a pomocné aplikace
Virtuální klávesnice
Klávesnice je podle Nolanda jedna z funkcí, kterou mu přidali docela nedávno. Ukázal nám bohužel jen její část s číslicemi a speciálními znaky, ale určitě existuje také část s písmeny.
Okno klávesnice Nolandovi vyskočí vždy, když sjede kurzorem na monitoru úplně dolů. Na Nolandovo přání programátoři Neuralinku klávesnici předělali tak, aby nevyskakovala jako okno nad aktuálně otevřenými aplikacemi, ale tak, aby zmenšila okno poslední používané aplikace a objevila se pod ním (je to vidět na obrázku níže). Noland tak může obě okna používat najednou.
Na klávesnici je také několik pomocných tlačítek, například pro otevření nového okna nebo souboru.
Takto klávesnice vypadá na celém monitoru.
Mixer
Aplikace Mixer (viz obrázek níže) slouží k nastavení pohybu kurzoru po obrazovce. Umožňuje měnit dvě vlastnosti kurzoru:
- „gain“ (česky zisk) mění rychlost pohybu kurzoru
- „friction“ (česky tření) zpomaluje kurzor, když se přiblíží k zamýšlenému cíli
Okno Mixeru Noland otevírá a zavírá hlasovým povelem „Mixer on/off“.
Mode switcher
Mode switcher se zobrazuje, když Noland najede kurzorem na monitoru zcela vpravo. Nevíme přesně, jak tento přepínač funguje, ale umožňuje změnu kurzoru na levé kliknutí pomyslného tlačítka na myši, pravé kliknutí a uchopení a přetažení uchopeného objektu. Otevírá také aplikaci Mixer a umožňuje funkci zvanou „hover“, o které nevíme, co přesně dělá. Noland funkce přepínače neukázal, protože, jak uvedl, jedna z nich je momentálně pokažená a pokud by se do ní přepnul, mohla by způsobit pád celého systému.
Mixer a „mode switcher“ (vpravo).
Problémy s ovládáním
Z videa je patrné, že rozhraní zatím rozhodně není dokonalé a má občas určité problémy. Noland se netajil tím, že systém má své „mouchy“, které se společně se specialisty Neuralinku snaží odstranit. Konkrétně jde o následující záležitosti:
- Kurzor se na monitoru neustále pohybuje, nikdy nestojí na místě. Zde jde o určitou Nolandovu nervozitu nebo snad zlozvyk. Ukázal, že pokud chce a soustředí se na to, může kurzor držet nehybně na místě.
- Kliknutí na menší nebo užší objekty se zdá být problémem. Noland musí několikrát opakovat pokus o zachycení užší lišty nebo kliknutí na menší objekt v rohu monitoru.
- To, co Noland nazývá „left-right bias“, (česky snad levé a pravé zkreslení) nebo také „cursor drift“ (samovolný posun kurzoru). Je to momentálně asi o největší problém, na kterém Neuralink s Nolandem pracuje. Dochází k němu každých několik minut. Během streamu to bylo několikrát. Jde o to, že kurzor má občas tendenci se sám přesouvat vpravo nebo vlevo a Noland pak není schopen s ním zaměřovat objekty. Zatím se problém nepodařilo úplně odstranit, ale podařilo se vyvinout částečné řešení. Noland pokaždé, když se problem objeví a kurzor mu utíká stranou, musí kurzorem najet na okraj obrazovky a nějaký čas ho „tlačit“ v daném směru. Posun se tak zkoriguje. Čím déle ho tlačí stranou, tím lépe potom funguje, ale nesmí to přehnat, jinak pak musí zase tlačit v opačném směru. Nolanda posun příliš nermoutí. Říká, že je to otázka několika dní, kdy by měl být vyřešen. Problém prý zesílil v posledních dnech, kdy Neuralink přidal několik nových funkcí jako například „mode switcher“, o čemž jsme psali výše.
Co Noland hraje a co dělá ve volném času?
Noland se trochu rozpovídal o tom, k čemu rozhraní používá ve svém volném čase. Je úžasné, že vůbec má možnost ho používat sám u sebe doma. Předchozí podobné systémy bylo možné připojovat jen v laboratořích za asistence jejich vývojářů.
Noland samozřejmě hlavně hraje různé počítačové hry jako Civilizaci VI, šachy nebo třeba snake.io. Nejen pro zábavu, ale také proto, aby otestoval, jak dobrý je aktuální model.
Také se učí japonsky na stránce wanikani.com, čte mangu na mangakatana.com, poslouchá audio knihy a náboženské programy. Hodně čte, momentálně Sherlocka Holmese.
Streaming
Co se týče samotného streamingu Noland jen krátce ukázal tři hry, které hraje nejraději. Během toho mluvil o funkcích a problémech rozhraní. Ukázal, jak hraje strategii Civilizace VI, karetní RPG Slay the Spire, což je hra, kterou hrával i „před Neuralinkem“ s pomocí ústní tyčinky, a pak ještě hru The Battle of Polytopia, čili strategii, která trochu připomíná zjednodušenou Civilizaci a mimochodem patří k oblíbeným hrám Elona Muska.
Noland říkal, že v tomto přenosu chtěl jen ukázat, jak to vypadá, když hry hraje s použitím rozhraní. Má za to, že v nich není žádným mistrem a lidé si z kvality jeho hry budou utahovat. Jde mu ale o to, aby lidem ukázal, jak úžasné jeho rozhraní je, co všechno s ním může dělat a jak moc mu zlepšilo život.
Nolandův první přenos má momentálně na X už více než 150 000 zhlédnutí. Zakončil ho tím, že je nesmírně šťastný, že může s Neuralinkem na studii PRIME spolupracovat. Celý proces implantace a spolupráce s Neuralinkem je podle něj vynikající a nemůže o něm říci nic špatného. Soudí, že implantát má neuvěřitelné možnosti a zanedlouho přijde mnoho lidí, kteří s ním budou moci dělat spoustu ještě pokročilejších věcí.
Přispějte prosím na provoz webu ElonX, aby mohl nadále zůstat bez reklam. Podpořte nás pomocí služby Patreon či jinak a zařaďte se tak po bok ostatních dobrodinců, kteří už finančně přispěli. Děkujeme!
Neuralink CZ/SK
Neuralink Chronicles
Podpořte projekt ElonX
parádní článek děkuji za něj
Díky! 🙂