Neurochirurgický robot (Zdroj: Neuralink)
Vítejte u druhého dílu další série o Neuralinku, která původně měla být samostatným článkem, ale rozrostla se. Znova to dokazuje, že i když je Neuralink dlouhodobě skoupý na informace, budete-li hledat, najdete toho dost. Pokud se tedy chcete dovědět vše o neurochirurgickém robotu Neuralinku, jste na správném místě.
Neuralink postupně vyvíjí nové vylepšené verze všech komponentů rozhraní. Je známo, že jeho neurologický robot měl přinejmenším dvě hlavní vývojové verze, z nichž každá měla mnoho podverzí. Tato (druhá) část seriálu obsahuje informace o první oficiálně představené verzi robota, tedy té, kterou jsme měli možnost vidět na první prezentaci Neuralinku (v červenci 2019) a která byla detailněji představena v následujících odborných pracích a patentech:
Připomeňme si pro úplnost, jak vypadal celý systém neurálního rozhraní Neuralinku, jehož byl tento robot součástí, tak jak je popsán v souvisejícím patentu nazvaném Implantace zařízení s použitím zásobníku:
Neuralink se svojí koncepcí snažil reagovat na problémy, se kterými se potýkala předchozí neurální rozhraní. Byly to například:
První verze robota byla dost hrubá. Bylo na ní vidět, že Neuralink se zde ještě „učil“. Už na první pohled bylo patrné, že šlo o jakoby narychlo smontované komponenty bez větší snahy o jakoukoliv optimalizaci nebo miniaturizaci. Další verze, jak uvidíme v následující části seriálu, už pak vypadala úplně jinak.
První oficiální verze měla mnoho různých podverzí. V jednom z dřívějších rozhovorů Elon Musk uvedl, že Neuralink vyrobil okolo 20 nebo 30 kusů této verze robota. Je pravděpodobné, že každý z nich se něčím lišil, což potvrzují také výše zmíněné žádosti o patent. Inženýři firmy hledali optimální architekturu. V první „komerční“ verzi evidentně nešlo o to, aby robot nějak vypadal, ale o to vymyslet a realizovat cílovou architekturu, kterou později bude možné optimalizovat.
Pojďme si detailněji představit jednotlivé komponenty rozhraní v této verzi, s důrazem na architekturu a fungování robota. Opět šlo o:
Robotický „implantátor“ elektrodových vláken: (A) „Loaded needle pincher cartridge (NPC)“ čili snadno vyměnitelný zásobník s jehlou a takzvaným pinčem; (B) „Low-force contact brain position sensor“ čili vysoce citlivý senzor pozice/pohybů mozku; (C) Světelné zdroje produkující světlo o různých vlnových délkách; (D) Pohon/motor jehly; (E) Jedna ze čtyř kamer zaměřená na jehlu během implantace vláken; (F) Kamera s širokoúhlým objektivem snímající oblast implantace; (G) Stereoskopické kamery. (Zdroj: Neuralink)
Neuralink vyrobil celou řadu vláken, hledal jejich optimální architekturu. Proto vzniklo mnoho verzí vyprodukovaných z různých materiálů. Vlákna měla různé rozměry, tvar a počty elektrod. Některé z nich jsou zobrazeny na obrázku níže. Jejich šířka se pohybovala mezi 5 a 50 mikrometry, tloušťka mezi 4 a 6 mikrometry a dlouhá byla kolem 20 milimetrů. Malé rozměry a flexibilita zlepšovaly biokompatibilitu, díky čemuž mohly zůstat v těle mnohem déle bez vyvolání imunitní reakce organismu.
V různých verzích materiáloví inženýři firmy experimentovali také se záchytným systémem elektrodových vláken. Místo oček mohla být vlákna zakončena háčky, pohárky nebo výčnělky různých tvarů.
Je zajímavé, že Neuralink, v době kdy vyvíjel tuto verzi robota, rozvažoval také dvě zcela rozdílné koncepce architektury čipu řídícího práci elektrod. Na prezentaci pokroku pak už ukázal jen jednu z nich. Patent Implantace zařízení s použitím zásobníku, však představuje oba následující systémy:
Čipy jsou vysoce specializované a Neuralink si je navrhuje a vyrábí sám. Více jsme o čipu typu „one-for-all“ psali zde.
Část robota, která zahrnuje „šicí stroj“ a strojové vidění, se nazývá implantační hlavice (angl. inserter head). V jednotlivých podverzích první verze robota se hlavice značně lišily, ale většinou zahrnovaly následující podsystémy:
Na internetu se občas objeví informace, že robot prováděl také implantaci pouzdra s čipem a elektronikou, tedy tu část rozhraní, která je implantována do lebky, ale není to pravda. První ani druhá verze robota tuto činnost neprovádí – nemá k tomu žádné komponenty. Implantaci pouzdra vykonává lidský neurochirurg. Ten je zatím potřebný také pro výběr (přesněji akceptaci) cílových míst pro vpichy vláken s elektrodami.
Před nástupem robota do akce je tedy nutné, aby neurochirurg provedl takzvanou kraniotomii, čili odstranil část lebky (nebo do ní vyvrtal otvor) spolu s kůží a vlasy. Po implantování všech vláken do mozku pak neurochirurg do odstraněné části lebky vloží pouzdro s elektronikou, ukotví ho a zašije přes něj kůži s vlasy. Po operaci na pacientovi teoreticky není nic vidět.
Vlákna robot v této verzi implantoval do hloubky okolo 1–3 mm. V některých verzích používal takzvaný „touch-down sensor“, pomocí kterého určoval hloubku vpichu. Cartridge s jehlou mohla být v případě poškození nebo znečištění jehly velmi rychle vyměněna za novou (v čase do jedné minuty).
Jehla byla vyráběna z wolframo-rheniového drátu o průměru 40 μm, který byl elektrochemicky vyleptaný na 24 μm. Špička jehly byla navržena tak, aby zapadla do záchytného očka na elektrodových vláknech a poté snadno penetrovala mozkovou tkáň.
Jehla byla připevněna k lineárnímu motoru, který umožňoval měnit rychlost zavádění a byl schopen extrémně rychlé retrakce (vysunutí z tkáně), aby bylo po implantaci zajištěno bezpečné oddělení vlákna od jehly.
Pinč (angl. pincher) byl z wolframového drátu, byl na konci zahnutý a byl schopen lineárního pohybu i rotace kolem své osy. Jeho účelem bylo přidržování vláken u jehly tak, aby se s nimi dalo lépe manipulovat.
Robot pomocí strojového vidění vyhodnocoval snímky pořízené kamerou, ale jeho součástí bylo v některých verzích také zpracování videa. K tomu některé verze měly rovněž mikrofony, různé chemické senzory, teploměry nebo senzory síly či tlaku. Kamery bývaly chlazeny, aby se zvýšila jejich citlivost. K jejich chlazení bylo použito kapalného dusíku nebo i jiných chladících metod. Kamery mohly používat polarizační filtry, které snižovaly lesk snímaných objektů. Některé kamery měly širokoúhlé objektivy.
Kamery mohly být orientovány v různých úhlech vůči sobě. Bylo to například 45°, ale i jiné úhly. Díky tomu systém strojového vidění mohl určovat (triangulovat) polohu snímaných objektů v prostoru. Kamery se v některých verzích mohly i pohybovat nebo vysouvat, aby měly „lepší výhled“ nebo je bylo možné lépe zaostřit.
Zdroje světla byly umístěny buďto v blízkosti kamer, nebo i v jiných částech robota. Blízkost kamer byla výhodná, protože zaručovala co nejmenší stíny.
V některých verzích bylo osvětlení konfigurováno tak, aby usnadňovalo nejen rozlišení různých materiálů, ale také různých biologických tkání, jako například mozkové kůry a krevního systému. To umožňovalo robotu minimalizovat pravděpodobnost poškození cév. Příkladem může být použití světla jantarové barvy o vlnové délce 590 nm. Takové světlo je absorbováno krevním hemoglobinem.
Na implantační hlavici bylo několik různých nezávislých zdrojů světla. Z nich každý mohl svítit různými vlnovými délkami, nejčastěji 405 nm, 525 nm, 650 nm nebo i obyčejným bílým světlem. Osvětlení různými vlnovými délkami se mohlo rychle měnit.
Některé verze robota kvůli zvýšení přesnosti používaly také černobílé snímky.
Proces implantace vlákna do mozku pak probíhal ve čtyřech krocích:
Všechny subsystémy vykonávající tyto funkce využívaly technologii precizního počítačového vidění, tedy počítačového rozeznávání objektů nebo jejich tvarů a jiných vlastností. Robot v této verzi byl schopen implantovat kolem 6 vláken za minutu. Pokud vlákna měla 32 elektrod, šlo o rychlost implantace 192 elektrod za minutu.
Šlo o to, aby robot pomocí automaticky navlékl elektrodové vlákno na jehlu. Vlákna k tomu měla na jednom svém konci speciální očka, která měla obvykle rozměry okolo 16 × 50 μm. Po navléknutí bylo vlákno přidrženo k implantaci takzvaným pinčem. Systém pro zachycení vláken byl v některých podverzích robota součástí implantační hlavice, zatímco v jiných byl od ní oddělen.
K přidržení zásobníku s vlákny byla používána speciální cartridge (podavač vláken). Ten zajišťoval to, aby byl robot schopen na jehlu pohodlně navléknout vlákna, která byla dočasně umístěna (přilepena) v zásobníku. V některých verzích robota byly potřebné cartridge dvě – jedna pro levou a druhá pro pravou stranu mozku. Cartridge bez vláken a s vlákny je zobrazena na třech obrázcích níže:
Rozměry objektů, se kterými robot pracoval, byly tak malé, že běžné osvětlení bílým světlem neumožňovalo kamerám dostatečně dobře snímat jejich tvary. Systém tak měl několik různých zdrojů světla, produkujících paprsky o různých vlnových délkách podle toho, jaký materiál osvětlovaly. Například, pokud bylo elektrodové vlákno vyrobeno z biokompatibilního polyamidu, bylo použito světlo o vlnové délce ve spektru mezi 390 nm a 425 nm.
Díky speciálnímu osvětlení mohly kamery mnohem ostřeji zaznamenat cílové objekty. Zdrojem osvětlení mohly být LED diody nebo i lasery.
Proces zachycení vlákna pomocí robotické manipulace se v různých podverzích robota lišil, ale obecně zachycení probíhalo následovně:
Zmíněné kamery snímaly cílový prostor pod různými úhly, tak aby mohly být prováděny triangulace. Jedna z kamer byla obvykle vybavena mikroskopem. K přitisknutí vlákna ke kanyle jehly byl používán pinč. Ten přidržoval vlákno tak, aby ho bylo možné vytáhnout ze zásobníku.
Zde šlo o výběr vhodných míst pro implantaci vláken. Robot se hlavně musel vyhnout krevnímu systému, tak aby nedošlo ke krvácení. Probíhalo to takto:
Robot měl v databázi detailní 3D mapu lebky a cílové oblasti mozku. Podle orientačních bodů na lebce a měření hloubky, byl schopen precizně cílit definované struktury mozku. Díky strojovému vidění a softwaru rozpoznávajícímu struktury tkání systém minimalizoval krvácení a obranné reakce organismu, což jsou klíčové výhody individuálního zavádění elektrod.
Proces implantace typicky probíhal následovně:
Proces implantace elektrodových vláken představený na hmotě imitující mozkovou tkáň: 1. Robot je připraven k implantaci, vlákno je zachyceno v jehle. (i) jehla a kanyla. (ii) dříve implantované vlákno. 2. Robot se dotýká povrchu imitované tkáně. 3. Jehla penetruje tkáň a zavádí vlákno do požadované hloubky. (iii) vpichované vlákno. 4. Robot se oddaluje, vlákno je implantováno. (iv) implantované vlákno. (Zdroj: Neuralink)
Robot mohl pracovat i v auto-implantačním režimu, ve kterém byl schopen implantovat dříve zmíněných 6 vláken (čili 192 elektrod) za minutu. Neurochirurg však mohl kdykoliv převzít kontrolu, potvrzovat vybraná místa a nebo i provádět jejich úpravy. Místa pro vpichy byla vybírána tak, aby se vlákna vyhýbala cévám, byla geometricky výhodná pro záznam a stimulaci mozkové aktivity a byla co nejblíže u sebe.
Z důvodu předcházení infekcím byl robot vybaven sterilními kryty a automatickým ultrazvukovým čištěním implantační jehly.
Po vpichu elektrodového vlákna robot následujícím způsobem ověřoval, zda byla implantace úspěšná:
Ověření implantace bylo prováděno buďto systémem strojového vidění v implantační hlavici, nebo s použitím oddělené sestavy kamer a osvětlení.
Implantační hlavice byla připevněna k takzvanému pojezdovému stolu (angl. travel stage). Ten umožňoval její mikronově přesné pohyby ve všech směrech s posuvem 400 × 400 × 150 mm v osách x, y, z, tedy dopředu-dozadu, vlevo-vpravo a nahoru-dolů.
Robot byl také schopen korigovat pohyby mozku v lebce při dýchání, čili se při implantaci dynamicky přizpůsoboval pohybům mozku a tím redukoval riziko poškození mikrožilek v mozkové kůře.
Celé rozhraní je samozřejmě počítačem. Elon Musk implantát přirovnává k chytrým hodinkám voperovaným do hlavy.
Implantát má svůj operační systém a jeho hlavním úkolem je dekódování mozkové činnosti. Zpětně pak také kódování informací tak, aby rozhraní fungovalo obousměrně a mohlo také mozek stimulovat.
Sám robot (ve všech verzích) má rovněž svou výpočetní jednotku. Ta řídí jeho pohyb, strojové vidění a prezentaci potřebných dat na monitorech. Na obrázku níže je představen typický výpočetní systém, který řídil implantačního robota verze 1.0. Ten se v různých podverzích rovněž lišil. Řídící jednotka vykonávala předprogramované instrukce nižší úrovně anebo také úkoly vyšší úrovně, čili reakce na situace, které systém sám vyhodnotil pomocí strojového učení nebo vidění.
Součástí počítačové jednotky robota představované verze bylo speciální uživatelské rozhraní, které zobrazovalo získané snímky z kamer. Počítač sestavoval stereoskopický kompozitní snímek mozkové tkáně v místě implantace. Potřeboval k tomu minimálně dvě kamery, které cílovou oblast snímaly z různých úhlů. Na snímky mohl také aplikovat filtry, například prostorový pásmový filtr (angl. spatial band pass filter), pro identifikaci krevních cév na základě jejich rozměrů a tvarů.
Uživatelské rozhraní umožňovalo neurochirurgovi vybírat cílová místa pro implantaci elektrodových vláken. V některých verzích robota systém mohl být naprogramován i tak, že schvalování neurochirurga vůbec nepotřeboval.
Dalším výpočetním komponentem rozhraní byl telefon nebo počítač, do kterého se implantát připojoval pomocí technologie Bluetooth. Byla k tomu potřebná speciální aplikace v daném zařízení. Rozhraní mohlo využívat také celou řadu vstupních zařízení (ovladačů). Šlo o aparáty pro snímání pohybu nebo rozpoznávání gest (například Microsoft Kinect), různé gamepady (například z Microsoft Xbox), zařízení pro rozpoznávání očních gest (například Google Glass), zařízení pro rozpoznávání hlasu (například Siri), joysticky nebo tablety.
Systém mohl využívat i lékařská zobrazovací zařízení, jako je počítačová tomografie, magnetická rezonance, polohová emisní tomografie nebo ultrasonografie.
Neuralink v patentech uvádí, že popsaného robota a procesy s ním spojené je možné použít k provádění chirurgických zákroků nejen v mozku, ale i v jiných biologických tkáních jako například ve svalech, játrech, slinivce břišní, slezině, ledvinách, močovém měchýři, střevech, srdci, žaludku, kůži nebo tlustém střevu. Robot mohl vykonávat operace nejen u lidí, ale v jakémkoli vhodném mnohobuněčném organismu. Neuralink mezi vhodnými organismy uvádí ryby, ptáky, hlodavce, krávy, ovce, prasata, koně a primáty. Operace mohly být vykonávány jak v živých, tak i v mrtvých tkáních.
Jak je uvedeno ve vůbec první zveřejněné vědecké práci Neuralinku, pod kterou je podepsán sám Elon Musk, firma s tímto systémem prokázala průměrnou úspěšnost zavádění elektrod 87,1 ± 12,6 % během 19 zkušebních operací. Systém ještě stále vyžadoval provádění manuálních úprav vybraných míst pro implantaci, aby se zabránilo poškození mikrovaskulatury na povrchu mozkové kůry. To zpomalovalo průměrný čas zavádění elektrod. I s těmito zásahy neurochirurga byla celková operační doba pro celý implantát (1024 elektrod) v průměru ~45 minut při přibližné rychlosti zavádění 29,6 elektrod za minutu.
Neuralink tedy dále potvrdil, že robotická implantace tenkých polymerových elektrod je účinným a škálovatelným přístupem pro záznam činnosti velkého počtu neuronů v definovaných oblastech mozku.
V příští (poslední) části, si posvítíme na nejnovější variantu robota. Je však možné, že na prezentaci pokroku Neuralinku, která byla aktuálně odložena na 30. listopadu, se ukáže, že už robot vypadá úplně jinak. Zkusíme se tedy zamyslet i nad tím, jak by robot mohl vypadat v blízké nebo i vzdálenější budoucnosti.
| < Předchozí část | Následující část > |
Předchozí články ze série Neuralink pod lupou:
Rozhovor s neurochirurgem Mattem MacDougallem nabízí fascinující pohled do zákulisí inovativní technologie mozkových implantátů. MacDougall…
V přehledu novinek o síti Starlink se nejprve podíváme, jak satelitní konstelace na nízké oběžné…
Nová kniha Reentry od Erica Bergera se zaměřuje na vývoj Falconu 9 a kosmické lodi…
Dnešní článek vám představí novou anténu určenou pro příjem signálu družic Starlink. Na rozdíl od…
NASA před časem udělila SpaceX kontrakt na vývoj USDV (U.S. Deorbit Vehicle), což je upravená…
Noland Arbaugh je prvním uživatelem implantátu Neuralinku a používá ho už tři čtvrtě roku. Při…
Zobrazit komentáře
Pekný obsiahly článok.
Aké sú informácie k publikovaniu práce Elonom a nie ľuďmi ktorí sa na na nej skutocne podieľali? Nejedná sa o kontroverziu, resp. neštandard?
Psal jsem o tom už dříve:
https://www.elonx.cz/co-se-deje-uvnitr-neuralinku-byvali-zamestnanci-vidi-problem-mimo-jine-v-elonu-muskovi/
"Vědečtí pracovníci Neuralinku, dříve zvyklí publikovat výsledky svého výzkumu, byli nespokojeni s Muskovým postojem k publikování jejich materiálů. Elon je toho názoru, že jeho inženýři mají vyvíjet produkt, ne psát referáty. Ale když už ostatní lídři v roce 2019 přesvědčili Muska, že by společnost měla zveřejnit takzvaný „whitepaper“ představující některé z jejích inovací, Musk rozhodl, že na publikaci bude uveden jako její jediný autor."
Elon je prostě Elon. Podle něj jeho pracovníci mají být zaměřeni na vývoj co nejlepšího produktu a ne myslet na to, aby něco publikovali, aby si to pak mohli napsat do CV a jít někam dále...
Z určitého uhlu pohľadu je to pekne demotivujúce, pokiaľ niečo vypracujú a i napíšu. A podpíše sa pod to niekto iny 🤣
Čtu to jedním dechem. 👍
Snad jediné, co tam chybí, jsou 'historky z natáčení'. Ale časem se určitě něco objeví.
Děkujeme!
Rádo se stalo :)