12月13日,集成電路制造技術重點實驗室舉辦第一期“集成電路名家講壇”講座。本場講座聚焦“大模型算力芯片的機遇與挑戰”,邀請北京艾捷科芯科技有限公司蔣毅敏博士深入剖析了大語言模型的發展趨勢、計算方法以及面臨的機遇與挑戰,吸引了眾多對大模型算力芯片領域感興趣的與會者。羅慶研究員主持講座。
蔣毅敏詳細介紹了大語言模型,講解了其自然語言理解、廣義分類以及有條件和無條件自然語言生成等主要功能。通過對transformer基礎算法和GPT-2架構參數配置的解讀,介紹了大語言模型的強大特性,強調了其內存受限模型的性質,解析了計算帶寬、內存帶寬和算術強度等指標,展示了模型計算時間受限于處理器的計算和內存帶寬以及內存受限對模型運行時間的影響。
蔣毅敏指出,每年模型參數的幾何級增長將帶來算力和內存需求的指數級增長。同時,半導體工業的發展規律提供了芯片算力每兩年增加3倍、內存帶寬每兩年增加1.6倍的預期。對于我國而言,地緣政治的因素賦予了大模型算力芯片特殊的歷史機遇,中國必須建立起國產GPU供應鏈。他還提出了當前我國GPU發展困境的應對策略。與會人員同蔣毅敏進行了深入的技術交流。
蔣毅敏獲清華大學學士、美國馬里蘭大學碩士和博士學位,先后創立了中天聯科(Availink Inc.)公司,迅捷聯動(北京)科技有限公司任公司董事長,北京艾捷科芯科技有限公司,曾獲美國國家航空航天局(NASA)專利獎,中國國家廣播電影電視總局科技進步一等獎,北京市海外高層次人才獎,中關村高端領軍人才聚集獎,美國馬里蘭大學杰出校友獎等獎勵。

蔣毅敏作報告

講座現場
綜合信息