某網(wǎng)按：本文為英特爾中國研究院最新研究成果，主要介紹了一個名為“動態(tài)外科手術(shù)”算法，有效地解決了處理大型網(wǎng)絡(luò)時重訓練時間長，誤剪枝率高的問題。利用該算法，我們可以輕易地將LeNet和AlexNet這兩個經(jīng)典網(wǎng)絡(luò)的參數(shù)總量分別壓縮108倍和17.7倍。
英特爾中國研究院于近期提出了一種名為“動態(tài)外科手術(shù)”的神經(jīng)網(wǎng)絡(luò)壓縮算法，獲得了業(yè)內(nèi)的廣泛關(guān)注以及國內(nèi)外專家的高度評價。利用該方法，研究人員可以在保證原始模型性能不降的前提下大幅度壓縮網(wǎng)絡(luò)結(jié)構(gòu)。讓我們帶您一起深入淺出地理解這一算法。
如果您有定期關(guān)注IT、互聯(lián)網(wǎng)新聞的習慣，想必不會對深度學習（deep learning）一詞感到陌生。深度學習的概念源于早期的針對人工神經(jīng)網(wǎng)絡(luò)的研究，其理念的核心在于通過深層神經(jīng)網(wǎng)絡(luò)（deep neural networks）完成對樣本數(shù)據(jù)抽象表示的“學習”。自2006年深度學習的概念被首度提出，如今已經(jīng)極大程度地改變了人工智能乃至整個互聯(lián)網(wǎng)、IT領(lǐng)域的生態(tài)。經(jīng)過十年的發(fā)展，該技術(shù)在包括人臉識別、語音識別、物體檢測和自然語言處理在內(nèi)的多個領(lǐng)域都表現(xiàn)出了頂尖的性能。
主流的深度網(wǎng)絡(luò)之一：深度卷積神經(jīng)網(wǎng)絡(luò)
(圖片來源：A tutorial on deep learning [3])
然而，深度學習距離“天下無敵”也還有一定的距離。制約其發(fā)展的主要瓶頸之一是深度網(wǎng)絡(luò)極高的模型復雜度和消費級電子產(chǎn)品極有限的硬件資源之間的矛盾。事實上，時下許多主流的深度網(wǎng)絡(luò)都包含千萬級甚至是過億的學習參數(shù)，而如此海量的參數(shù)給模型的存儲和計算都帶來了相當大的壓力。因而，如何對訓練好的深度網(wǎng)絡(luò)進行壓縮就成了困擾研究人員的一大難題。2015年的論文Learning both weights and connections for efficient neural networks提出了一種網(wǎng)絡(luò)剪枝（network pruning）算法，可以在保持數(shù)據(jù)表示能力的前提下，將深度網(wǎng)絡(luò)中的學習參數(shù)壓縮10倍以上，在學界引起了廣泛討論。該論文也被發(fā)表在機器學習領(lǐng)域的頂級國際會議神經(jīng)信息處理系統(tǒng)大會（Conference on Neural Information Processing Systems,以下簡稱“NIPS”），獲得了巨大的影響力。
神經(jīng)網(wǎng)絡(luò)剪枝策略
(圖片來源：Learning both weights and connections for efficient neural networks [1])
今年，英特爾中國研究院認知計算實驗室郭怡文、姚安邦和陳玉榮三位研究員在深度學習領(lǐng)域取得突破性進展。他們所提出的動態(tài)外科手術(shù)（dynamic network surgery）算法，極其有效地解決了處理大型網(wǎng)絡(luò)時重訓練時間長，誤剪枝率高的問題。利用該算法，我們可以輕易地將LeNet和AlexNet這兩個經(jīng)典網(wǎng)絡(luò)的參數(shù)總量分別壓縮108倍和17.7倍。
英特爾中國研究院認知計算實驗室郭怡文、陳玉榮和姚安邦
該算法采取了剪枝與嫁接相結(jié)合、訓練與壓縮相同步的策略完成網(wǎng)絡(luò)壓縮任務。通過網(wǎng)絡(luò)嫁接操作的引入，避免了錯誤剪枝所造成的性能損失，從而在實際操作中更好地逼近網(wǎng)絡(luò)壓縮的理論極限。
動外科手術(shù)策略
（虛線代表當前被切斷的網(wǎng)絡(luò)連接，而綠線代表通過嫁接重新建立的網(wǎng)絡(luò)連接[2]）
目前，該方法已被撰寫成文，并將發(fā)表在本年度的NIPS會議上。作為機器學習領(lǐng)域的頂級會議，NIPS近年來一直保持著極低的論文接收率。而獲準發(fā)表的論文也都會得到業(yè)內(nèi)人士的極大關(guān)注，從而對機器學習的發(fā)展產(chǎn)生相當?shù)耐苿幼饔?。?jù)悉，NIPS本年度收到的稿件總量約為2500篇，而接收率還不到23%。相信英特爾中國研究院的這項工作將會對學界和工業(yè)界產(chǎn)生巨大的影響。
圖片來源：
[1] Han, Song, et al. "Learning both weights and connections for efficient neural networks." Advances in Neural Information Processing Systems, 2015.
[2] Guo, Yiwen, Yao, Anbang and Chen, Yurong. “Dynamic network surgery for efficient DNNs.” Arixv preprint, arXiv:1608.04493v1, 2016.
[3] Yu, Kai. “A tutorial on deep learning.” China Workshop on Machine Learning and Applications, 2012.
