大腦的多感官整合是一個(gè)將不同模態(tài)感官信息進(jìn)行結(jié)合的過(guò)程，它對(duì)于許多生物完成決策、記憶和學(xué)習(xí)等任務(wù)至關(guān)重要。例如，大黃蜂可同時(shí)利用視覺(jué)和觸覺(jué)信息識(shí)別物體。多感官整合機(jī)制依賴高度并行且異步觸發(fā)的神經(jīng)元和突觸網(wǎng)絡(luò)。

　　為了實(shí)現(xiàn)神經(jīng)元和突觸的基本功能，以人工突觸為代表的神經(jīng)形態(tài)器件獲得了廣泛關(guān)注與研究。然而，與大腦多感官整合機(jī)制相關(guān)的高級(jí)功能尚未在神經(jīng)形態(tài)器件和系統(tǒng)中得到開(kāi)發(fā)與驗(yàn)證。此外，如何從硬件層面在神經(jīng)形態(tài)器件中實(shí)現(xiàn)認(rèn)知智能與類腦智能也是亟待解決的難題。

　　在研究團(tuán)隊(duì)設(shè)計(jì)的神經(jīng)形態(tài)運(yùn)動(dòng)感知系統(tǒng)中，加速度計(jì)和陀螺儀分別獲取加速度和角速度信號(hào)，這兩種運(yùn)動(dòng)信號(hào)被編碼為兩個(gè)脈沖序列，隨后被傳輸至高性能突觸晶體管進(jìn)行處理。兩個(gè)脈沖序列的相關(guān)性和時(shí)序關(guān)系影響器件的突觸可塑性，從而影響器件輸出。系統(tǒng)通過(guò)對(duì)脈沖平均發(fā)放率和突觸器件輸出電流進(jìn)行判定，實(shí)現(xiàn)運(yùn)動(dòng)信號(hào)的分類識(shí)別。

　　該系統(tǒng)可檢測(cè)視覺(jué)、觸覺(jué)等多個(gè)模態(tài)的傳感信息。對(duì)來(lái)自不同類型傳感器的信息進(jìn)行有效整合，可顯著提升運(yùn)動(dòng)識(shí)別的準(zhǔn)確率（高于94%），并且實(shí)驗(yàn)結(jié)果符合大腦的感知增強(qiáng)效應(yīng)。此外，該系統(tǒng)可進(jìn)一步貼附于人體皮膚或裝載于小型無(wú)人機(jī)，完成人體動(dòng)作識(shí)別、無(wú)人機(jī)飛行模式識(shí)別等復(fù)雜任務(wù)。

　　相關(guān)論文信息：https://doi.org/10.1038/s41467-023-36935-w