存內(nèi)計(jì)算(CIM)芯片相比傳統(tǒng)馮諾依曼架構(gòu)芯片在宏單元層級(jí)實(shí)現(xiàn)了高能效,但系統(tǒng)層級(jí)的復(fù)雜周邊電路使得系統(tǒng)能效仍然受限,系統(tǒng)/宏單元能效比通常低40%,使其在面向神經(jīng)網(wǎng)絡(luò)和推薦系統(tǒng)應(yīng)用領(lǐng)域仍然存在一些挑戰(zhàn)。此外,對(duì)存儲(chǔ)主導(dǎo)(例如推薦系統(tǒng)的嵌入層)的操作,需要大量的片外訪問(wèn),由于嵌入表不能被完全存儲(chǔ)到片上,即使采用內(nèi)容可尋址存儲(chǔ)器(CAM),仍會(huì)導(dǎo)致大量的片外訪問(wèn)和較高的片上CAM搜索功耗。

針對(duì)上述挑戰(zhàn),微電子所集成電路制造技術(shù)重點(diǎn)實(shí)驗(yàn)室劉明院士團(tuán)隊(duì)提出了一種具有Z型脈動(dòng)陣列CIM 主干(backbone)和分塊/分行自行關(guān)斷(block/self-gating)CAM的存內(nèi)計(jì)算處理器。本工作針對(duì)不同的卷積和矩陣向量乘法(MVM)操作,提出了一種可重構(gòu)Z型存儲(chǔ)訪問(wèn)結(jié)構(gòu)和一種存內(nèi)計(jì)算脈動(dòng)陣列來(lái)提升系統(tǒng)/宏單元能效比。團(tuán)隊(duì)還提出了一種基于數(shù)據(jù)分布特性的分塊/分行自行關(guān)斷的CAM宏單元以減小片外訪問(wèn)和片上搜索功耗。該工作在28nm CMOS工藝下成功流片,對(duì)神經(jīng)網(wǎng)絡(luò)和推薦系統(tǒng)應(yīng)用分別實(shí)現(xiàn)了37.9-81.5TOPS/W和12.3-56.1nJ/request的系統(tǒng)能效。

基于該成果的文章“A 41.7TOPS/W@INT8 Computing-in-Memory Processor with Zig-Zag Backbone-Systolic CIM and Block/Self-Gating CAM for NN/Recommendation Applications”入選2024年VLSI會(huì)議。微電子所博士生戴卓玉為第一作者,微電子所岳金山助理研究員和劉明院士為通訊作者。

圖1:CIM-CAM處理器整體架構(gòu)圖

圖2:28nm高能效CIM-CAM芯片照片與關(guān)鍵參數(shù)