從google，youtube專注的圖像語音處理到facebook公司研究的社交網(wǎng)絡(luò)，從基因編碼到氣候變化。不可否認(rèn)，人工智能的浪潮已經(jīng)洶涌而來，已經(jīng)深入到各個科學(xué)領(lǐng)域。以模型創(chuàng)新為源頭，以芯片和系統(tǒng)技術(shù)為載體，與領(lǐng)域快速融合并呈現(xiàn)顛覆性應(yīng)用的人工智能生態(tài)正在快速形成。 

　　2017年12月8日晚，中科院自動化所程鍵研究員做客微電子學(xué)院主辦的“類腦芯片技術(shù)與應(yīng)用專題系列”科學(xué)前沿講座，為國科大的同學(xué)們帶來了人工智能背景下，關(guān)于“深度神經(jīng)網(wǎng)絡(luò)優(yōu)化及計算”的講座。

　　在程健老師的理解中，芯片，大數(shù)據(jù)和深度學(xué)習(xí)是人工智能的三大要素，而芯片是人工智能的核心競爭力。上世紀(jì)80年代以來，人工智能計算已經(jīng)走過了以CPU為核心的科學(xué)計算時代，正在經(jīng)歷以GPU為核心的智能計算時代，未來可能要進(jìn)入新型微處理單元為核心的自主計算時代。 

　　在智能計算時代，程健老師表示，復(fù)雜模型和瞬時計算帶來的密集計算問題，不同應(yīng)用場景對計算設(shè)備的不同要求，摩爾定理的逐漸失效，是當(dāng)今芯片產(chǎn)業(yè)的三種挑戰(zhàn)。為了突破芯片發(fā)展的壁壘，人工智能芯片應(yīng)運而生。一類是以模擬人類神經(jīng)元的神經(jīng)形態(tài)的芯片。如IBM公司研發(fā)的TrueNorth芯片，突破了馮諾依曼框架，做出了開創(chuàng)性的工作。但此類芯片僅僅得到了原理上的驗證，性能有待提高。 

　　另一類是以MIT的Eyeriss芯片和中科院計算的寒武紀(jì)芯片為代表的神經(jīng)網(wǎng)絡(luò)芯片，結(jié)構(gòu)采用卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。卷積運算導(dǎo)致運算部件與cache和DRAM頻繁的數(shù)據(jù)交換，產(chǎn)生大量的中間結(jié)果。因此，擁有更多片上cache的GPU芯片架構(gòu)，更適合神經(jīng)網(wǎng)絡(luò)的芯片結(jié)構(gòu)。 

　　接著，程健老師詳細(xì)介紹了有關(guān)深度神經(jīng)網(wǎng)絡(luò)優(yōu)化計算。為了方便同學(xué)們理解，程鍵老師引用了大量直觀的圖表和數(shù)據(jù)，介紹了低秩分解，剪枝，量化，低精度四種優(yōu)化算法的基本原理，并展示了各種優(yōu)化算法帶來的芯片性能上的提高。對于一些艱深的理論，程老師緊緊結(jié)合同學(xué)們課堂學(xué)習(xí)經(jīng)歷。例如，將降低計算復(fù)雜度的低秩分解算法簡化理解為矩陣的奇異值分解的降秩過程，使同學(xué)們更容易地領(lǐng)悟到了優(yōu)化算法的精髓。

　　講座最后，同學(xué)們紛紛與老師交流，對于智能芯片的未來，對于深度神經(jīng)網(wǎng)絡(luò)優(yōu)化算法的細(xì)節(jié)提出自己的疑問，表達(dá)不同的見解。講座在熱烈的討論氛圍中結(jié)束。 

　　本次講座程健老師由人工智能的大背景切入，逐步深入，分享了關(guān)于人工智能芯片，神經(jīng)網(wǎng)絡(luò)芯片和深度神經(jīng)網(wǎng)絡(luò)優(yōu)化計算最新的科研成果，引起了同學(xué)們極大的學(xué)習(xí)興趣，使同學(xué)們獲益匪淺。