Pokud se skutečně zajímáte o Neuralink, máte štěstí, protože Lex Fridman z čelních představitelů firmy ve svém více než 8hodinovém rozhovoru vytáhl opravdu vše, co se dalo. S Elonem Muskem (v prvním dílu našeho seriálu) se bavil především o obšírnějším obrazu firmy a budoucnosti jejího rozhraní. S DJ Seem, spoluzakladatelem, viceprezidentem a výkonným ředitelem společnosti, však šel skutečně do hloubky. Jejich rozhovor byl natolik plodný, že jsme ho rozdělili na dvě části.
DJ je vystudovaný elektrotechnik, čili se připravte zejména na elektro-bio-mechanický rozbor fungování mozku a charakteristiky hardwaru rozhraní Neuralinku z pohledu elektroinženýra. Řeč ale bude také o mnoha jiných věcech, například o tom:
To je ale výčet jen několika z obrovského množství zajímavostí, které jsme se od DJ Sea díky tomuto rozhovoru dozvěděli. Následující text je volným překladem téměř celého rozhovoru. Nutno zde podotknout, že nejsme specialisté v oborech mikroelektroniky, elektrotechniky, neurovědy, případně jiných oborů, kterých se rozhovor týká. Některé složitější pasáže tak byly lehce zjednodušeny anebo mohou být přeloženy či vysvětleny trochu nepřesně. Pokud v textu naleznete nějaký problém, dejte nám vědět v sekci komentářů nebo přes tlačítko pro hlášení chyb pod článkem!
Lex: Kdy ses poprvé začal zajímat o mozek a jeho funkce?
DJ: Od dětství se zajímám o to, jak věci fungují. K tomu prarodiče měli těžkou formu Alzheimera.
Emigrovali jsme z Koreje do USA během mého dospívání. Nemluvil jsem vůbec anglicky. Byla to pro mě obrovská bariéra. Byl jsem velmi izolovaný a trávil jsem spoustu času čtením knih a sledováním filmů, abych se naučil anglicky. Nejvíce mě přitahoval žánr sci-fi. Líbila se mi třeba Enderova sága od Orsona Scotta Carda, Neuromancer od Williama Gibsona a Snow Crash od Neala Stephensona. Také filmy jako Matrix. To na mě mělo asi největší vliv.
Během vysoké školy jsem se zajímal o fyzické věci s určitou formou inteligence. Vystudoval jsem elektrotechniku. Zajímal jsem se o takzvané MEMS (angl. Micro-Electro-Mechanical Systems neboli Mikro elektro mechanické systémy) a budování malých nanostruktur. Také jsem pracoval s obvody s milimetrovými vlnami pro telekomunikace nové generace a takzvaná fázová pole. Potom jsem dělal doktorský program na UC Berkeley v Berkeley Wireless Research Center. Měl jsem to štěstí, že jsem měl stipendium, které mi umožňovalo pracovat na jakémkoli projektu, který jsem chtěl.
Pracoval jsem tak třeba na projektu s názvem Smart Bandaid, což byla náplast na rány založená na hypotézách, že když na chronické nehojící se rány aplikujete elektrické pole, urychlí to jejich hojení. Spolupracoval jsem na něm s profesorem Michelem Maharbizem, který je známý svou prací na dálkově ovládaných broucích z počátku století.
Lex: Bylo to poprvé, kdy jsi jakožto elektrotechnik koketoval s biologií?
DJ: Ano. To byla jasná aplikace biotechnologického systému. Kolem roku 2013 se pak v UC Berkeley objevil projekt, jehož úkolem bylo zjistit, jak malé mohou být implantovatelné systémy. Největším problémem je zde energie. Vzpomínám si na jedno setkání, když přišel Michel Maharbiz a řekl nám, že našel řešení a je to ultrazvuk (pro napájení těchto mikrosystémů). To byl začátek mé diplomové práce s názvem Neural Dust. Cílem bylo sestrojit miniaturní implantovatelná zařízení, která by bylo možné „zaparkovat“ vedle neuronu, zaznamenat pomocí nich jeho stav a odeslat tuto informaci do vnějšího světa. To vše v extrémně náročném prostředí pro elektroniku. Ultrazvuk se v těle šíří opravdu dobře, lépe než elektromagnetické vlny. Všichni známe USG přístroje. Ke komunikaci jsme použili backscattering. Záznam signálů byl prováděn pomocí piezoelektrických krystalů.
Lex: Neurální rozhraní nejsou ničím novým. Mohl bys nám představit stručnou historii jejich vývoje?
DJ: Tohle jsou podle mě důležité body historie rozhraní:
Lex: Pomalu se dostáváme k Neuralinku. Jak důležité je umístění elektrod vedle neuronů. Musí být vaše rozhraní invazivní?
DJ: Záleží na tom, co s ním chceme dělat. S EEG nebo ECoG můžeš dělat spoustu věcí. Nás ale zajímá aktivita mozku ve vysokém rozlišení, která se děje na lokální úrovni. Lze to vysvětlit populární analogií s fotbalovým stadionem. EEG je za branami, slyší jen šum velké skupiny neuronů. ECoG je v poslední řadě tribuny. My jsme přímo na hřišti a slyšíme, co říkají jednotliví hráči.
Lex: Jaká je biofyzika čtení z mozku a zápisu do něj?
DJ: Mozek se skládá z neuronů. Je jich asi 100 miliard. Jsou propojeny ve složité a dynamické síti, která má schopnost se neustále modelovat. Říkáme tomu neuroplasticita. Neurony se nacházejí v elektricky aktivním prostředí s mnoha nabitými molekulami, jako jsou ionty draslíku, sodíku a chlóru. Elektrický proud umožňuje komunikaci mezi těmito sítěmi. Neurony mají speciální membrány s proteinovou strukturou zvané napěťově selektivní iontové kanály (angl. voltage selective ion channels), což je podle mého názoru jeden z nejlepších „vynálezů“ přírody. Fungují podobně jako tranzistory. Příroda našla způsob, jak toho dosáhnout už velmi brzy v evoluci. S těmito bio-tranzistory pak můžete provádět spousty „výpočtů“.
Lex: U neuronů to ale není jen elektřina, je to chemická komunikace, také mechanická. Vlastně i vibrují, pohybují se.
DJ: Je v tom spousta zajímavé fyziky. Vrátíme-li se zpět k mé práci na ultrazvuku, stále existují skupiny vědců, kteří pracují na způsobech, jak přimět neurony, aby spustily akční potenciál pomocí ultrazvukových vln, ale tento mechanismus je zatím nejasný. Membrány však otevírají své póry, jsou-li mechanicky rozvibrovány, čili by to mohlo fungovat.
Lex: Anglický fyzik Roger Penrose věří, že podstata vědomí může být v kvantově mechanických efektech v mozku.
DJ: Ano, ale nakonec máte jen ty membrány s napěťově řízenými iontovými kanály, které selektivně propouštějí nabité molekuly dovnitř a ven.
Neurony mají obecně klidové potenciály. Uvnitř a vně buňky je rozdílné napětí. Když se objeví nějaký podnět a dané neurony potřebují poslat nějaké informace, začíná koncert molekul, které vstupují a vystupují z těchto kanálů. V momentě, kdy se více z nich otevře a dosáhne určité prahové hodnoty, buňky se depolarizují a je vyslán takzvaný akční potenciál.
Pomocí elektrod umístěných k neuronům se snažíme změřit tyto místní změny potenciálu. Probíhá zde mnoho fyzikálních jevů, ale dva dominantní jsou difuze a elektromagnetismus. Kde který dominuje, závisí na poloze vaší elektrody. Pokud je blízko zdroje, dominuje elektromagnetismus, dále je to pak difuze. Takže když máte elektrodu blízko neuronu, můžete naslouchat jednotlivým změnám potenciálu a signálem, který přijímáte, jsou křivky neurálních vzruchů (angl. neural spiking waveforms). Když se vzdálíte zhruba o 100 mikronů (0,1 milimetru), což je šířka lidského vlasu, daný neuron už neslyšíte. Není možné stvořit dostatečně citlivý systém, abyste byli schopni na větší vzdálenost zaznamenat tu konkrétní změnu lokálního membránového potenciálu v tom neuronu. K tomu je ještě potřeba dodat, že ve vzorku mozkové tkáně o velikosti 100x100x100 mikronů bývá kolem 40 neuronů.
Lex: Takže když se vzdálíte o 100 mikronů, uslyšíte jiných 40 neuronů?
DJ: Ano.
Lex: Takže vy se snažíte umístit do mozku co nejvíce elektrod a poslouchat, co se tam děje?
DJ: Ano, a software to dekóduje.
Pokud jde o to, proč ECoG nebo EEG vůbec funguje – v mozku se neustále aktivují různé neurony a díky ECoG nebo EEG vidíte celkovou změnu v potenciálu tohoto nabitého média. To je to, co zaznamenáváte, když jste dále. Vidíte kombinovaný souhrn změn akčních potenciálů. Jde o mnohem pomaleji se měnící signály – gama nebo beta vlny, které lze detekovat, když spíte, když jsou synchronizovány. Čili ve větší vzdálenosti difúzní fyzika dominuje nad elektromagnetismem a nejste schopni poslouchat konkrétní neurony.
Lex: Neuronů je spousta.
DJ: Ano, ale většina z nich mlčí, nic moc nedělá. Zřejmě musí dostat konkrétní podnět. Podobně jako temná energie a temná hmota, existují i temné neurony. 🙂
Lex: Většinou jsou potichu, ale když už se ozvou, jde o hluboké věci. 🙂
Lex: Jak tedy funguje celý systém Neuralinku?
DJ: Jsou tři hlavní komponenty. Implantát N1 neboli Link, neurochirurgický robot R1 a aplikace B1, využívající velmi jednoduchý model strojového učení, který dekóduje nervové signály. Z implantátu vycházejí vlákna s elektrodami. Ty se implantují do svrchní vrstvy mozkové kůry do hloubky asi 3–5 mm v motorické oblasti. Vláken je 64, na každém je 16 elektrod rozmístěných v délce 3-4 milimetry na konci vlákna. Elektrody jsou od sebe vzdáleny asi 200 mikronů. Můžete tedy naslouchat neuronům podél celé hloubky implantované části vlákna. Součástí systému je také náš vlastní čip, takzvaný ASIC, který zesiluje neurální signály, digitalizuje je a má mechanismus, jenž detekuje vzruchy (angl. spikes), a posílá je přes Bluetooth do externího zařízení, telefonu nebo počítače, ve kterém je spuštěna uživatelská aplikace Neuralinku.
Lex: Takže signál je zpracováván na implantátu, který pak rozhoduje, co pošle ven?
DJ: Ano, implantát musí komprimovat velké množství zaznamenávaného signálu. Máme 1024 elektrod, vzorkování na 10 kHz s 10 bity každá. To je 200 megabitů dat pro čip každou sekundu. Máme omezené možnosti, jak data poslat ven. Musí tedy existovat určitá míra komprese. Z implantátu jsou vysílána jen data, která nás zajímají. Takže algoritmus detekce vzruchů musí být přímo v implantátu. Na externím zařízení se pak nachází model strojového učení, který dekóduje záměry uživatele, tedy co chce udělat s kurzorem pomyslné myši.
Lex: K tomu je ještě externí nabíječka?
DJ: Ano. Většinu objemu implantátu zabírá baterie, lithium-iontový článek. Implantát má průměr 23 mm a tloušťku 9 mm. Je umístěn do díry vyvrtané v lebce. Vlákna s elektrodami mají na konci speciální smyčku, aby je robot mohl zachytit. Vlákna jsou placatá, mají tloušťku 5–6 mikronů. Na konci u poslední elektrody mají šířku 16 mikronů a s každou další elektrodou se rozšiřují až na 84 mikronů. Průměrný lidský vlas má tloušťku 80–100 mikronů.
Nabíjení je indukční. To mají i mobilní telefony, ale u nich je jedno, jak se telefon při nabíjení zahřeje. U implantátu na tom záleží. Nelze zvýšit teplotu o více než 2 °C. Indukční nabíjení bez zahřívání si vyžádalo spoustu inovací. Hodně nám pomáhá rozvoj v oblasti nositelné elektroniky.
Všechny elektrody jsou schopné jak zaznamenávat, tak i stimulovat. Vlákno je vlastně drátem s polymerovou izolací. Kovový vodič je v průřezu slepen z následujících vrstev: titan, platina, zlato, platina, titan. Dráty mají šířku 2 mikrony. Izolátorem vláken je polyamid. Na tloušťku má vlákno v průřezu 2 mikrony polyamidu, 4 mikrony vodiče a 2 mikrony polyamidu z druhé strany.
Lex: Co je potřeba k návrhu a výrobě takové věci, jako je elektrodové vlákno?
DJ: Výběr materiálů není nějak výjimečný. Existovaly jiné laboratoře, které už s podobnými materiály experimentovaly. Musíme však ještě potvrdit životnost a spolehlivost těchto mikroelektrod.
Lex: Jak obtížné je jejich implantování do mozku pomocí robota R1?
DJ: Je velmi těžké s nimi manévrovat rukama. To je jeden z důvodů, proč vůbec robota R1 potřebujeme. Dalším důvodem je to, že jednou plánujeme naše zařízení implantovat milionům lidí a tolik neurochirurgů prostě není. Doufáme, že robot jednou bude provádět prakticky celou operaci.
Dá se říct, že robot je vlastně samostatný produkt, na kterém pracujeme. Je to víceosý portálový systém se specializovanou operační hlavou, který v sobě má spoustu pokročilé optiky a pohybové mechanismy pro implantační jehlu. Robot s pomocí optiky a strojového vidění vyhledá cíle pro implantaci vláken, chirurg je potvrdí a robot implantuje. Hledáme způsoby, jak provádět implantaci více vláken najednou. Provádíme také důkladné ověření správnosti implantace. Snažíme se umisťovat všechna vlákna do hloubky kolem 3–4 mm od povrchu, protože rozpětí jejich 16 elektrod v současné verzi je zhruba 3 mm a všechny je chceme mít v mozku.
Lex: Kolik neuronů slyší každá elektroda?
DJ: Každá elektroda může zaznamenat 0 až 40 neuronů, ale prakticky vzato vidíme maximálně 2–3. Podle tvaru zaznamenaných vzruchů (angl. spike) umíme i rozlišit, ze kterého neuronu daný vzruch pochází. Náš algoritmus detekce vzruchů se nazývá BOSS (angl. buffer online spike sorter). Měří šest parametrů, které dokonale popisují tvar zaznamenaného vzruchu a času, kdy k němu došlo. Z těchto hodnot pak počítáme statistický odhad pravděpodobnosti, zda se objevil vzruch, a můžeme také určit, že konkrétní vzruch vypadá jinak než ten druhý, takže musí pocházet z jiného neuronu. To vše je prováděno přímo v implantátu. Pomocí našeho vlastního procesoru (ASICu) s velmi nízkou spotřebou energie a přesně kontrolovaným zahříváním. K tomu doba zpracování signálu od vstupu k výstupu je kratší než mikrosekunda.
Mít co nejnižší latenci, neboli opoždění, je pro nás velmi důležité. Právě teď je jejím největším zdrojem Bluetooth. Ten rozhodně nebude naším konečným bezdrátovým komunikačním protokolem. Primární motivací pro výběr Bluetooth byl fakt, že všechno má Bluetooth. Můžete se pomocí něho připojit k jakémukoliv zařízení. V této rané fázi je pro nás důležitá interoperabilita. Pokud máte přístup k telefonu nebo počítači, můžete ovládat cokoliv.
Lex: Můžeš tedy vysvětlit, jak funguje vaše digitální telepatie?
DJ: Jde o ovládání kurzoru a kliknutí na pomyslné počítačové myši. Chceme tím pomáhat kvadruplegikům získat zpět část jejich nezávislosti. Pokud máte přístup k počítači a telefonu, celý svět se vám znovu otevře.
Lex: Jak se pohybuje kurzorem pomocí telepatie?
DJ: Noland říká, že používá „Sílu“ jako ve Hvězdných válkách. 🙂 Uživatel se učí rozhraní používat, a ono se učí, jakým způsobem on ho používá. Model strojového učení se neustále aktualizuje.
Lex: Jak funguje celý proces od nalezení kandidáta po operaci a první použití rozhraní?
DJ: Máme registr pacientů, do kterého se mohou hlásit dobrovolníci. Noland to udělal. Je třeba splnit mnoho lékařských kritérií. Pak následuje předběžný pohovor a návštěva u kandidáta doma, protože jednou z nejrevolučnějších vlastností našeho systému je to, že jej můžete používat doma. Uživatelé nemusejí jít do laboratoře a připojovat se k nějakým specializovaným zařízením, jako tomu bylo u předchozích systémů. U kandidáta chceme vidět, jak vypadá jeho domácí prostředí nebo jaké další asistenční technologie používá.
Lex: Jak probíhá proces implantace?
DJ: Proces zabere 2–4 hodiny. U Nolanda to bylo asi 3,5 hodiny. Před samotnou implantací vláken je potřeba vykonat mnoho kroků. Provést anestezii, skenování CT, abychom se ujistili, že vrtáme díru v lebce na správném místě. Před operací děláme také sken fMRI – pacient během něj přemýšlí o pohybech ruky a podle toho, která oblast se na scanu aktivuje, určíme přesné místo pro implantaci vláken v motorické oblasti mozku. CT před operací to místo potvrdí nebo upřesní.
Pak chirurg provede kožní řez, kraniektomii (trepanaci lebky), durektomii (odstranění mozkových plen). Potom teprve přichází řada na robota R1. Ten vybere místa pro implantaci vláken. Neurochirurg každé vybrané místo potvrdí nebo upřesní. Pak robot vlákna implantuje do vybraných míst. To trvá 20–40 minut. U Nolanda to bylo asi 30 minut. Poté neurochirurg vloží do lebky takzvanou durální náhražku (místo tvrdé pleny mozkové), aby chránila vlákna i mozek. Vloží implantát do lebky, přišroubuje ho k ní čtyřmi šrouby a zašije přes něj zpátky kůži s vlasy.
Lex: Co se dělo, když se Noland probudil? Kdy poprvé rozhraní použil?
DJ: Asi hodinu po operaci, když se probudil, jsme zařízení zapnuli a ujistili se, že zaznamenáváme neurální signály. Zachytili jsme dokonce aktivitu, kterou byl Noland schopen modulovat. Myslel na to, že zatíná pěst a my jsme na obrazovce viděli, jak se vzruchy objevují a zase mizí.
Lex: Jaký je to pro tebe pocit mít rozhraní konečně u člověka? Je to historický okamžik?
DJ: Před námi už bylo mnoho jiných průkopníků. Těžíme z jejich práce. Před operací jsem nemohl spát. Měli jsme vše důkladně otestované. Věděli jsme, že rozhraní je velmi bezpečné a připravené pro člověka, ale i tak nebylo jasné, jak to celé dopadne. Například nebylo jisté, zda implantační jehly budou fungovat tak jako u zvířat. Měli jsme připravených asi 40 jehel pro případ, že by se lámaly. Nakonec jsme použili jen jednu.
Operace začala kolem 7:00 ráno a v 10:30 bylo vše hotovo. Poprvé vidět, že implantát funguje, byla obrovská úleva. Jsme ohromně vděční Nolandovi a jeho rodině a taky mnoha dalším, kteří se do studie přihlásili. Jsou skutečnými průkopníky. Říkám jim neurální astronauti nebo neuralnauti.
Byl to důležitý milník, ale naše práce teprve začíná. Doufáme, že z toho Noland i my vytěžíme co nejvíce. Je to významný okamžik pro naši firmu a doufejme i pro mnoho lidí, kterým můžeme pomoci.
Lex: Je známo, že se Nolandovi z mozku vysunula velká část vláken a výkon jeho rozhraní nejprve klesl, ale později byl znovu obnoven. Jaké byly příčiny a jak jste dokázali výkon navrátit?
DJ: Hlavní věc je, že se výkon podařilo vrátit tam, kde byl původně, a ve skutečnosti ještě zlepšit. Noland znovu překonal vlastní světový rekord v přenosové rychlosti rozhraní. Zpracovávání signálu bylo po problému optimalizováno.
Asi čtyři týdny po operaci se ukázalo, že se vlákna vysouvají z mozku. Noland si všiml, že se mu jeho implantát používá čím dál hůř. V té době jsme s rozhraním hodně experimentovali, takže jsme očekávali, že ve výkonu bude určitá variabilita, ale pokles byl trvalý. Měříme impedanci elektrod pro kontrolu jejich správné funkce. Pokud se nějakým dramatickým způsobem změní, víme, že se něco děje. Jestliže také na některých elektrodách dlouhodobě nevidíme žádné vzruchy, máme informaci, že je něco špatně. Elektrody se nacházejí podél celé hloubky implantované části vláken, čili můžeme detekovat i jejich pohyb ve tkáni. U Nolanda všechny tyto ukazatele naznačovaly, že některé elektrody byly vytaženy. Mělo to samozřejmě dopad na model strojového učení, protože pokud se počet vstupů, které jdou do modelu mění (snižuje), je ho potřeba aktualizovat.
Stále jsme však měli použitelné signály, takže jsme se začali zabývat nejen výskytem vzruchů detekovaných pomocí algoritmu BOSS, o kterém už byla řeč, ale také jejich intenzitou. Jakmile jsme změnili algoritmus tak, aby nám neposkytoval pouze data z algoritmu BOSS, ale také sílu zaznamenávaných signálů, umožnilo nám to aktualizovat model s novou sadou vstupů, a to nám pomohlo navrátit výkon do předchozích hodnot.
Hledáme způsoby, jak vysouvání vláken eliminovat, abychom měli mnohem více aktivních elektrod (více informací v našem článku zde). Je to momentálně priorita číslo jedna. Lidský mozek je 10x větší než mozek opice nebo ovce. Je to velmi odlišné prostředí. Více se v lebce pohybuje. Mnohem víc, než jsme čekali. Proto provádíme klinické testy. Chceme odhalit možné způsoby selhání. Už díky první implantaci máme obrovské množství dat a informací, díky kterým můžeme problémy s vysouváním vláken vyřešit. A to je něco, v čem je Neuralink velmi dobrý. Jakmile máme stanovené jasné cíle a přesně definovaný problém, díky spoustě talentů napříč mnoha obory ho dokážeme velmi rychle vyřešit.
Druhá část rozhovoru Lexe Fridmana s DJ Seem se objeví na našem webu již brzy.
Noland Arbaugh, první uživatel rozhraní Neuralinku, chystá na tento víkend trochu bláznivou výzvu – chce…
Rozhovor s neurochirurgem Mattem MacDougallem nabízí fascinující pohled do zákulisí inovativní technologie mozkových implantátů. MacDougall…
V přehledu novinek o síti Starlink se nejprve podíváme, jak satelitní konstelace na nízké oběžné…
Nová kniha Reentry od Erica Bergera se zaměřuje na vývoj Falconu 9 a kosmické lodi…
Dnešní článek vám představí novou anténu určenou pro příjem signálu družic Starlink. Na rozdíl od…
NASA před časem udělila SpaceX kontrakt na vývoj USDV (U.S. Deorbit Vehicle), což je upravená…
Zobrazit komentáře
wau, super rozhovor. netusil som ze implantat sa srobuje do lebky, brr a teda pre mna hodne prekvapujuci fakt je, ze v oblasti, ktoru zaberaju, su len jednotky neuronov.
Já Ti nevim. Mluvíme tu o milimetrech krychlových, přičemž výš se píše, že " ve vzorku mozkové tkáně o velikosti 100x100x100 mikronů bývá kolem 40 neuronů."
presne, sialena presnost
Ta stabilizacia elektrod bude pri pohybujucom sa mozgu asi zlozitejsia zalezitost :(
Mají na to plán: https://www.elonx.cz/necekana-prezentace-od-neuralinku-plna-novinek-druhy-uzivatel-dostane-vylepseny-implanat-uz-tento-tyden/
parádní čtenímoc děkuji jen tak dál .
Díky!
díík!
Nemáte za co. Jak by řekl uhlobaron Ptáček: Mě to baví ;)
Ještě taky řekl, že Samota zabíjí a nejdůležitější je láska.