基于Transformer神經(jīng)網(wǎng)絡(luò)的大模型(BERT、GPT等)的廣泛應(yīng)用,讓機器具備了更接近人類的理解和表達能力,體現(xiàn)了人工智能在提高生產(chǎn)力上的巨大潛力。注意力機制在Transformer的計算能耗和延遲中起重要作用,針對注意力機制設(shè)計高能效和高速的加速器具有較高的研究意義。但現(xiàn)有注意力加速器的硬件架構(gòu)中存在兩個主要局限性,首先,常用的輸入固定、權(quán)重固定以及輸出固定的脈動陣列架構(gòu)無法在數(shù)據(jù)復(fù)用、寄存器使用和利用率之間取得平衡;其次,逐層計算的操作順序?qū)е轮虚g結(jié)果的 SRAM 訪問開銷過高。這些局限阻礙了加速器能效和速度進一步提升。

為應(yīng)對上述挑戰(zhàn),中國科學(xué)院微電子研究所集成電路制造技術(shù)全國重點實驗室科研團隊設(shè)計了一種高能效、高利用率注意力加速器硬件架構(gòu)。該架構(gòu)采用內(nèi)外積混合的 “平衡脈動陣列”(Balanced Systolic Array)結(jié)構(gòu)。團隊基于數(shù)據(jù)復(fù)用理論公式指導(dǎo),確定最佳的內(nèi)外積混合陣列形狀,其能效相比傳統(tǒng)脈動陣列提升了40%,利用率達99.5%。在操作流程上,團隊提出了“多行交織”(Multi-Row Interleaved)的操作順序,使 SRAM 能耗降低了 31.7%。基于上述兩種技術(shù),團隊設(shè)計的注意力加速器在能效方面提升了39%,在吞吐量×能效方面較現(xiàn)有工作提升了38%。

此項研究成果以“An Energy-Efficient High-Utilization Hardware Architecture for Attention Mechanism in Transformer using Balanced Systolic Array and Multi-Row Interleaved Operation Ordering”為題在第62屆國際設(shè)計自動化會議(DAC)上進行了口頭報告。碩士研究生周海洋為第一作者,呼紅陽助理研究員為通訊作者。

該工作獲得了國家自然科學(xué)基金青年基金項目和基礎(chǔ)科學(xué)中心項目的資助。

、

圖1.?傳統(tǒng)注意力加速器的局限性

圖2.?提出的平衡脈動陣列結(jié)構(gòu)