馬斯克署名論文首次公開(kāi)透露Neuralink腦機(jī)接口及N1腦部傳感器芯片原理!馬斯克竟是第一作者?!貢獻(xiàn)多大?
今天,大家想必又被馬斯克刷屏了,馬斯克在社交媒體平臺(tái)X上宣布,在昨天(28日),人類首次接受腦機(jī)接口(Neuralink)芯片植入,植入者恢復(fù)良好。
這是人類首次在在人體身上實(shí)現(xiàn)腦機(jī)接口芯片的植入,消息受到全球媒體的關(guān)注,我國(guó)新華網(wǎng)等各大媒體均紛紛轉(zhuǎn)載這條信息,可見(jiàn)馬斯克又干了一件不得了的大事。
從馬斯克公司腦機(jī)接口項(xiàng)目操作流程看,手術(shù)將由機(jī)器人“R1”操作植入物“N1”植入大腦區(qū)域。約15分鐘植入完成后,“N1”內(nèi)的芯片將用于記錄大腦信號(hào)并將其無(wú)線傳輸到Neuralink的解碼運(yùn)動(dòng)意圖應(yīng)用程序。應(yīng)用程序解碼大腦信號(hào)后,通過(guò)藍(lán)牙連接來(lái)控制外部設(shè)備。患者則使用Neuralink應(yīng)用程序并通過(guò)藍(lán)牙連接來(lái)控制外部鼠標(biāo)和鍵盤(pán),從而去做自己想做的事。
N1是由Neuralink于2019年研發(fā)成功的腦部可植入式傳感器芯片,該芯片可以將細(xì)胞膜表面電位記錄下來(lái),并通過(guò)濾波等處理將其轉(zhuǎn)化為數(shù)字信號(hào)。
那么,Neuralink腦機(jī)接口以及N1傳感器芯片的原理是怎樣的呢?
此前,Neuralink在生物學(xué)預(yù)印論文網(wǎng)站biorxiv上發(fā)布了學(xué)術(shù)論文《An integrated brain-machine interface platform with thousands of channels》,首次公開(kāi)透露了該技術(shù)的部分細(xì)節(jié)。有意思的是,論文的第一作者是Elon Musk,沒(méi)錯(cuò),就是馬斯克!好奇馬斯克對(duì)這項(xiàng)腦機(jī)接口技術(shù)的貢獻(xiàn)有多大?(該論文可在文末點(diǎn)擊【閱讀原文】查看)
Neuralink腦機(jī)接口N1傳感器芯片的超細(xì)聚合物探針
N1腦部傳感器芯片高效實(shí)現(xiàn)的關(guān)鍵之一在于“線”,為了更可靠的在大腦中植入這些線,Neuralink還做了手術(shù)機(jī)器人R1。
所謂的“線”其實(shí)是采用多種具有生物相容性的薄膜材料制造的微小位移神經(jīng)探針,尺寸小,靈活性強(qiáng)。探針使用的主基板和電介質(zhì)是聚酰亞胺,這種材料封裝著金質(zhì)薄膜跡線。
研究團(tuán)隊(duì)創(chuàng)建了小而靈活的電極“線”陣列。每個(gè)薄膜陣列由具有電極觸點(diǎn)和跡線的“線”區(qū)和“傳感器”區(qū)組成,“傳感器”區(qū)的定制芯片薄膜接口可以實(shí)現(xiàn)信號(hào)放大和采集。
晶圓級(jí)微加工工藝使得這些器件的高通量制造成為可能。每個(gè)晶圓上繪制了10個(gè)薄膜器件,而每個(gè)薄膜器件具有3072個(gè)電極觸點(diǎn)。
每個(gè)陣列由48或96個(gè)線程,每個(gè)線程包含32個(gè)獨(dú)立電極。采用倒裝芯片鍵合工藝將集成芯片鍵合到薄膜傳感器區(qū)域中的電極觸點(diǎn)上。
這樣一來(lái)就不用擔(dān)心這些“線”會(huì)像切皮蛋那樣對(duì)待大腦了,縮小“線”的橫截面積會(huì)最小化大腦中組件的位移。研究團(tuán)隊(duì)在保持高數(shù)量的電極通道的同時(shí),使用步進(jìn)光刻和其他微加工技術(shù)以亞微米級(jí)的分辨率制作金屬膜。
在陣列中,研究團(tuán)隊(duì)設(shè)計(jì)和制造了20多種不同的“線”和電極類型:
我們的新型聚合物探針。A. “線性邊緣”探頭,有 32 個(gè)電極觸點(diǎn),間隔 50 μm。B.具有32個(gè)電極觸點(diǎn)的“樹(shù)”探頭,間隔為75μm。C.增加了面板A中螺紋設(shè)計(jì)的單個(gè)電極的放大倍率,強(qiáng)調(diào)了它們的小幾何表面積。D.兩種表面處理的電極阻抗分布(在1 kHz下測(cè)量):PEDOT(n = 257)和IrOx(n = 588)。
線寬范圍在5到50μm之間,包含幾種幾何形狀的記錄點(diǎn)。線的直徑在4到6μm之間,包括最多三層絕緣層和兩層導(dǎo)體。典型線長(zhǎng)約為20mm。每條“線”都以 (16 × 50)平方微米的環(huán)作為尾巴,方便穿針。
由于金電極的幾何表面積很小,研究團(tuán)隊(duì)采用表面改性來(lái)降低電生理學(xué)的阻抗,并增加界面的有效電荷承載能力。兩種表面處理材料分別為聚苯乙烯磺酸鹽(PEDOT)和金屬銥氧化物(IrOx),后者雖然電阻更高,但是長(zhǎng)時(shí)間使用的穩(wěn)定性和生物相容性更好。
能夠可靠植入N1腦部傳感器芯片的穿線機(jī)器人
用薄膜聚合物做成的探針精細(xì)又靈活,問(wèn)題是它們太軟太靈活了,這增加了植入手術(shù)的難度。
Neuralink為此專門(mén)開(kāi)發(fā)了一種用于植入柔性探針的神經(jīng)外科機(jī)器人。這種機(jī)器人每分鐘能植入6根探針,快速可靠,能避開(kāi)血管并從分散的大腦區(qū)域進(jìn)行記錄。
機(jī)器人的植入頭鑲嵌在400mm × 400mm × 150mm的行程三軸平臺(tái)上,并安裝有一個(gè)小型、可快速插撥的針組。
針由鎢-錸線材電蝕刻而成,直徑24μm。針尖被設(shè)計(jì)成鉤環(huán),用于輸送和植“線”,并穿透腦膜和腦組織。針組由線性馬達(dá)驅(qū)動(dòng),允許可變植入速度和快速回縮加速度(高達(dá)30,000 mm s-2),以幫助探針和針頭分離。
夾鉗是一根50μm的鎢絲,在尖端處彎曲,并能軸向和旋轉(zhuǎn)地驅(qū)動(dòng)。它在輸送過(guò)程中負(fù)責(zé)探針的支撐,并確保其沿針道植“線”。
下圖顯示了用這種機(jī)器人把電極插入瓊脂“果凍”的過(guò)程。
1. 插入器用一根線接近大腦代理。i. 針頭和套管。ii. 先前插入的螺紋。2. 插入器觸地在大腦代理表面上。3. 針穿透組織代理,將線推進(jìn)到所需的深度。iii. 插入螺紋。4. 插入器拉開(kāi),將線留在組織代理中。iv. 插入螺紋。
穿線機(jī)器人還包含成像組件(圖中的E),用于將針引導(dǎo)到線環(huán),插入目標(biāo),實(shí)時(shí)查看和驗(yàn)證。
此外,插入器頭包含六個(gè)獨(dú)立的光模塊(圖中的C),每個(gè)模塊能夠獨(dú)立地以405 nm、525 nm和650 nm幾種波長(zhǎng)的光或者白光進(jìn)行照射。
405nm照明用于激發(fā)聚酰亞胺的熒光,令光學(xué)組件和計(jì)算機(jī)視覺(jué)可靠地定位于16×50μm2的區(qū)域,執(zhí)行亞微米視覺(jué)伺服以引導(dǎo),再用650nm照射通過(guò)小孔。
立體攝像機(jī)基于軟件計(jì)算的單眼擴(kuò)展景深,用525nm光照射精確估計(jì)皮質(zhì)表面的位置。
機(jī)器人電極插入器;插圖中所示的插入器頭的放大視圖。A. 裝載針鉗墨盒。B.低力接觸式腦位置傳感器。C. 具有多個(gè)獨(dú)立波長(zhǎng)的光模塊。D.針電機(jī)。E.四個(gè)攝像頭中的一個(gè)在插入過(guò)程中聚焦在針頭上。F.具有手術(shù)區(qū)域廣角視圖的攝像機(jī)。G. 立體相機(jī)。
這個(gè)機(jī)器人還會(huì)把植入位置記錄到具有顱骨界標(biāo)的公共坐標(biāo)系中,當(dāng)與深度跟蹤相結(jié)合時(shí),能夠精確地瞄準(zhǔn)解剖學(xué)定義的腦結(jié)構(gòu)。
集成的定制軟件套件允許預(yù)先選定所有植入位置,這樣可以優(yōu)化植入路徑的規(guī)劃,最大限度地減少“線”的纏結(jié)和繃緊。
規(guī)劃?rùn)C(jī)器人功能時(shí),Neuralink強(qiáng)調(diào)了在植入過(guò)程中避免脈管系統(tǒng)的能力,這是機(jī)器人的關(guān)鍵優(yōu)勢(shì)之一。這一點(diǎn)是非常重要,因?yàn)檠X屏障的損傷被認(rèn)為在大腦對(duì)異物的炎癥反應(yīng)中起關(guān)鍵作用。
這個(gè)機(jī)器人具有自動(dòng)植入模式,整個(gè)植入過(guò)程可以自動(dòng)化,但外科醫(yī)生能夠?qū)ζ浔3滞耆刂疲绻枰?,可以進(jìn)行手動(dòng)微調(diào)。
整個(gè)外科機(jī)器人是無(wú)菌的,能對(duì)針進(jìn)行自動(dòng)無(wú)菌超聲波清潔。針組是插入器頭部與腦組織直接接觸的部分,屬于消耗品,在手術(shù)中可在一分鐘內(nèi)更換。
該系統(tǒng)在19次手術(shù)中平均植入成功率為87.1±12.6%(平均值±s.d.)。每個(gè)手術(shù)平均插入時(shí)間為45分鐘,插入速率約為每分鐘29.6個(gè)電極。
用于處理傳感器信號(hào)的專用ASIC芯片
用數(shù)千個(gè)電極位置的長(zhǎng)期記錄大腦信號(hào),向電子設(shè)備和封裝提出了極大的挑戰(zhàn)。
高密度的記錄通道要求信號(hào)放大和數(shù)模轉(zhuǎn)換必須集成在陣列組件中。而且這個(gè)集成的組件必須能放大微弱的神經(jīng)信號(hào)(< 10 μVRMS),同時(shí)抑制噪聲。在最小的功耗和尺寸下,對(duì)放大的信號(hào)進(jìn)行采樣和數(shù)字化,并實(shí)時(shí)處理這些信號(hào)。
Neuralink的專用集成電路(ASIC)可以達(dá)到上面的要求。該集成電路由三個(gè)部分組成:256個(gè)獨(dú)立可編程放大器(Neuralink把它叫做Analog Pixel)、片上模數(shù)轉(zhuǎn)換器(ADC)、用于序列化數(shù)字化輸出的外圍控制電路。
封裝的傳感器設(shè)備。A.單個(gè)神經(jīng)處理ASIC能夠處理256個(gè)數(shù)據(jù)通道。這種特殊的封裝設(shè)備包含 12 個(gè)這樣的芯片,總共 3,072 個(gè)通道。B.聚對(duì)二甲苯-c基材上的聚合物線。C. 鈦合金外殼(蓋子取下)。D. 用于電源和數(shù)據(jù)的數(shù)字 USB-C 連接器。
Analog Pixel具有高度可配置性:增益和濾波特性可以進(jìn)行校準(zhǔn),以解決因工藝變化和電生理環(huán)境導(dǎo)致的信號(hào)質(zhì)量變化。
1、片上模數(shù)轉(zhuǎn)換器以19.3kHZ、10bit分辨率進(jìn)行采樣。
2、每個(gè)Analog Pixel消耗5.2μW,包括時(shí)鐘驅(qū)動(dòng)器在內(nèi),整個(gè)ASIC功耗6mW。
Neuralink專用集成電路的性能參數(shù)如下表:
ASIC構(gòu)成了模塊化記錄平臺(tái)的核心,便于研發(fā)人員更換組件。
在整個(gè)腦機(jī)接口系統(tǒng)中,ASIC和其他專用集成電路一起放在印刷電路板上。系統(tǒng)由一個(gè)FPGA、實(shí)時(shí)溫度加速度與磁場(chǎng)傳感器、全帶寬數(shù)據(jù)傳輸USB-C連接器組成。
該系統(tǒng)封裝在涂有聚二甲苯的鈦金屬外殼中,聚對(duì)二甲苯的作用是防止液體進(jìn)入延長(zhǎng)使用壽命。
Neuralink制造了兩種不同配置的系統(tǒng):一個(gè)包含1536通道(System A),一個(gè)包含3072通道(System B)。System A采用了新的ASIC,System B采用了功能相當(dāng)?shù)阅芤?guī)格較差的早期版本。二者的差異如下:
- System B的優(yōu)勢(shì)是最大化信道密度,用于要求極高信道數(shù)的場(chǎng)景。
- System A的優(yōu)勢(shì)是制造起來(lái)更快更可靠,它的制造速度比System A快五倍,產(chǎn)量更高。
連接以太網(wǎng)的基站將來(lái)自這些系統(tǒng)的數(shù)據(jù)流轉(zhuǎn)換成多點(diǎn)傳送10G以太網(wǎng)UDP數(shù)據(jù)包,允許下游用戶以多種方式處理數(shù)據(jù),比如實(shí)時(shí)可視化數(shù)據(jù),或?qū)?shù)據(jù)寫(xiě)入磁盤(pán)。
每個(gè)基站最多可以同時(shí)連接三個(gè)植入物。這些設(shè)備還有軟件生態(tài)系統(tǒng)的支持,允許零配置的即插即用性。當(dāng)連接電纜時(shí),系統(tǒng)可以自動(dòng)傳輸神經(jīng)數(shù)據(jù)。
如何記錄腦電波
Neuralink使用換向電纜進(jìn)行電生理記錄,可以不受動(dòng)物活動(dòng)的限制。System A可以同時(shí)記錄1536個(gè)通道中的1344個(gè),在記錄時(shí)可以任意指定通道配置的精度。系統(tǒng)B可以同時(shí)記錄所有3072個(gè)通道。二者使用在線檢測(cè)算法實(shí)時(shí)處理數(shù)字化寬帶信號(hào)以識(shí)別動(dòng)作電位(尖峰信號(hào))。
但是實(shí)時(shí)腦機(jī)接口對(duì)尖峰檢測(cè)的要求,與大多數(shù)傳統(tǒng)神經(jīng)生理學(xué)不同。電生理學(xué)家可以并花費(fèi)大量時(shí)間離線處理數(shù)據(jù),而實(shí)時(shí)檢測(cè)的腦機(jī)接口必須最大化解碼效率。
考慮到這些因素,Neuralink設(shè)置了>0.35 Hz的閾值來(lái)量化記錄尖峰單元的電極數(shù)量。腦機(jī)接口解碼器通常在沒(méi)有尖峰分類的情況下運(yùn)行,保證性能損失最小。
上圖展示了System A的實(shí)驗(yàn)數(shù)據(jù)。在這個(gè)實(shí)驗(yàn)的1280個(gè)植入電極中,44個(gè)插入電極中有40個(gè)成功檢測(cè)到信號(hào),顯示了局部場(chǎng)和尖峰活動(dòng)圖。右側(cè)展示了尖峰信號(hào)的疊加圖。
研究人員記錄了所有1280個(gè)植入通道。在這個(gè)陣列種,尖峰的產(chǎn)生量是通道的53.4 %,許多尖峰出現(xiàn)在多個(gè)相鄰的通道上,這和在其他高密度探針中觀察到的結(jié)果一樣。在19個(gè)腦機(jī)接口手術(shù)中觀察到尖峰產(chǎn)生量為59.10±5.74%,最高值為85.5 %。
結(jié)語(yǔ)
Neuralink的腦機(jī)接口技術(shù)由腦部可植入傳感器芯片和解碼讀取系統(tǒng)等構(gòu)成,未來(lái)有望幫助癲癇、漸凍癥、失明等病癥患者恢復(fù)感覺(jué)、視覺(jué)、運(yùn)動(dòng)等能力在神經(jīng)系統(tǒng)疾病的治療當(dāng)中也大有可為。但當(dāng)前設(shè)備限制了這一技術(shù)在臨床當(dāng)中的應(yīng)用。
Neuralink的成果推進(jìn)了這一領(lǐng)域的落地應(yīng)用,但從臨床到更大范圍的應(yīng)用,不僅有賴于多學(xué)科領(lǐng)域的基礎(chǔ)研究進(jìn)展,在安全、倫理、價(jià)格等諸多方面也有許多值得進(jìn)一步討論的地方。
你覺(jué)得呢?
本文主要資料來(lái)自:
量子位《馬斯克一作!Neuralink腦機(jī)接口細(xì)節(jié)公布,特殊材料防大腦損傷,專用芯片助技術(shù)落地》
biorxiv網(wǎng)站《An integrated brain-machine interface platform with thousands of channels》