工業(yè)物聯(lián)網(wǎng)，包括半導(dǎo)體制造的晶圓制造EDA工具的研發(fā)會(huì)涉及大量工藝和設(shè)備參數(shù)，如何在保證企業(yè)敏感參數(shù)前提下，有效利用機(jī)器學(xué)習(xí)進(jìn)行精確工藝仿真是目前的核心技術(shù)難點(diǎn)。聯(lián)邦學(xué)習(xí)允許多個(gè)參與方在不披露原始訓(xùn)練樣本的情況下，分布式、協(xié)同式地訓(xùn)練深度學(xué)習(xí)模型，可為隱私敏感、注重IP保護(hù)的智能物聯(lián)網(wǎng)應(yīng)用提供算法保障。但在傳統(tǒng)的聯(lián)邦學(xué)習(xí)框架中，客戶端需執(zhí)行包括前向和反向傳播在內(nèi)的多輪次密集計(jì)算，很可能超出典型物聯(lián)網(wǎng)終端在計(jì)算性能、能量和存儲(chǔ)容量方面所允許的上限。服務(wù)器和客戶端之間的頻繁通信也容易成為制約系統(tǒng)性能的瓶頸。行業(yè)亟需一種更高效的聯(lián)邦學(xué)習(xí)框架，使這一隱私保護(hù)方案在物聯(lián)網(wǎng)（IoT）系統(tǒng)中的部署成為可能。 

　　近日，微電子所陳嵐研究員團(tuán)隊(duì)提出了一種面向物聯(lián)網(wǎng)應(yīng)用的計(jì)算、通信高效的聯(lián)邦學(xué)習(xí)框架“FedQNN”（圖1），首次將超低位寬量化技術(shù)集成到聯(lián)邦學(xué)習(xí)中，允許客戶端以輕量化的定點(diǎn)格式執(zhí)行絕大部分計(jì)算負(fù)載，極大地降低了計(jì)算功耗（圖2，a）。在通信方面，本框架利用稀疏和量化策略對(duì)上行和下行數(shù)據(jù)進(jìn)行壓縮。在對(duì)多個(gè)數(shù)據(jù)集和模型的實(shí)驗(yàn)結(jié)果表明，本框架能在不明顯影響模型精度的前提下，降低90% 的終端計(jì)算能耗、將模型尺寸壓縮30倍以上，極大地減小了通信帶寬需求和傳輸數(shù)據(jù)量（圖2，b），顯著降低了聯(lián)邦學(xué)習(xí)的部署成本，提高了其在IoT系統(tǒng)中的實(shí)用性，為解決智能晶圓制造EDA工具領(lǐng)域的數(shù)據(jù)隱私保護(hù)問(wèn)題提供了新方法。 

      上述研究成果以“FedQNN: a Computation-Communication Efficient Federated Learning Framework for IoT with Low-bitwidth Neural Network Quantization”為題發(fā)表在物聯(lián)網(wǎng)領(lǐng)域國(guó)際頂級(jí)期刊《IEEE Internet of Things Journal》上 （DOI: 10.1109/JIOT.2022.3213650）。EDA中心博士生紀(jì)愚為文章第一作者，陳嵐研究員為通訊作者。 

圖1. FedQNN算法的系統(tǒng)框架圖

圖2. 不同數(shù)據(jù)集下的學(xué)習(xí)曲線圖