AI領(lǐng)域的深度學(xué)習(xí)模型越具創(chuàng)新性，其規(guī)模就越大。GPT-3是今年最熱門的自主語言處理模型的一個很好的例子。要達到像人類一樣寫作的準確性和速度水平，該模型需要1750億個參數(shù)，350GB內(nèi)存和至少1200萬美元的投資。但除成本外，這種大型人工智能模型還面臨著巨大的能耗問題。

馬薩諸塞大學(xué)阿默斯特分校的研究人員發(fā)現(xiàn)，訓(xùn)練一個大型人工智能模型所需的計算能力可以產(chǎn)生超過60萬磅的二氧化碳排放——這是一輛普通汽車使用壽命的5倍！這些模型通常需要更多的能量來處理和生成設(shè)置(或稱為推理階段)。據(jù)英偉達估計，80-90%的運行神經(jīng)網(wǎng)絡(luò)模型來自推理過程，而非訓(xùn)練過程。

為了在人工智能領(lǐng)域取得更大的進得更大的進步，我們必須做出巨大的環(huán)境權(quán)衡。但事實并非如此。大型模型可以縮小到在日常工作站或服務(wù)器上運行，而不需要犧牲準確性和速度。

過去:平均計算能力每3.4個月翻一番。

十多年前，斯坦福大學(xué)(StanfordUniversity)的研究人員發(fā)現(xiàn)，用于驅(qū)動視頻游戲中的圖形處理器(稱為Gpu)可以用于深度學(xué)習(xí)模型。這個發(fā)現(xiàn)引發(fā)了一個競爭，比如為深度學(xué)習(xí)應(yīng)用創(chuàng)建越來越強大的特殊硬件。相反，科學(xué)家創(chuàng)建的模型越來越大。邏輯上，更大的模型會導(dǎo)致更準確的結(jié)果。硬件功能越強大，這些模型的運行速度就越快。

OpenAI的研究證明，這種假設(shè)已經(jīng)在這個領(lǐng)域得到了廣泛的應(yīng)用。從2012年到2018年，深度學(xué)習(xí)模型的計算能力平均每3.4個月翻一番。因此，這意味著人工智能的計算能力在6年內(nèi)增加了30萬倍。例如，這種能力不僅用于培訓(xùn)算法，也用于生成設(shè)置。麻省理工學(xué)院(MIT)最近的一項研究表明，我們可能比想象中更快地達到計算能力的上限。

更重要的是，資源的限制使得深度學(xué)習(xí)算法的使用僅限于那些有能力使用它的人。當深度學(xué)習(xí)可以應(yīng)用于從醫(yī)學(xué)成像檢測癌細胞到阻止在線仇恨言論的所有領(lǐng)域時，我們不能限制訪問。然而，我們無法承受建立更大、更耗電模型帶來的環(huán)境后果。

未來的消耗:越來越小。

幸運的是，研究人員發(fā)現(xiàn)了一些新的方法來縮小深度學(xué)習(xí)模型，并通過更智能的算法改變訓(xùn)練數(shù)據(jù)集的應(yīng)用。這樣，大型模型就可以在生產(chǎn)環(huán)境中以較低的能耗運行，而且還可以根據(jù)用例達到預(yù)期的效果。

這些技術(shù)可能會使機器學(xué)習(xí)普及，為更多沒有數(shù)百萬美元投資培訓(xùn)算法并投入生產(chǎn)的組織服務(wù)。這對邊緣用例尤為重要。想想相機、汽車儀表盤、智能手機等微型設(shè)備。在這些用例中，大型專用AI硬件在物理上不實用。

研究者們正在通過刪除神經(jīng)網(wǎng)絡(luò)中不必要的連接，或者通過簡化數(shù)學(xué)操作來縮小模型。這類小型快速模型可在任何地方運行，其精度和性能與大型模型相似。也就是說，我們不再需要爭相使用最強的計算能力，從而對環(huán)境造成更大的破壞。使大型模型變得更小，更有效率是深度學(xué)習(xí)的未來。

另外一個主要問題是針對不同的用例，在新的數(shù)據(jù)集中一遍又一遍地訓(xùn)練大型模型。一個叫遷移學(xué)習(xí)的技術(shù)可以幫助預(yù)防這個問題。遷移學(xué)習(xí)以預(yù)先訓(xùn)練的模型為起點。模型知識可以通過有限的數(shù)據(jù)集轉(zhuǎn)移到新的任務(wù)，而不需要從零開始重新訓(xùn)練原模型。這是降低新模型訓(xùn)練所需的計算能力、能源和資金的關(guān)鍵一步。

什么是底線？

模型可以在任何可能的情況下縮小，以減少計算能力的使用。知識可以回收再利用，而不是從零開始深入學(xué)習(xí)的訓(xùn)練過程。最后，找到降低模型尺寸和相關(guān)計算能力的方法(在不犧牲性能或精度的情況下)將是深度學(xué)習(xí)的下一個重大突破。這樣，任何人都可以以更低的成本在生產(chǎn)中運行這些應(yīng)用，而不需要在環(huán)境中做出巨大的犧牲。當我們把大型人工智能放在小地方時，一切都是可能的，甚至有助于阻止氣候變化的毀滅性影響。

成都融和實業(yè)排隊叫號系統(tǒng)廠家(yuanshangpin.cn)是一家集研發(fā)、生產(chǎn)、營銷、服務(wù)于一體的高新技術(shù)企業(yè).主營智能排隊叫號系統(tǒng)、醫(yī)院分診系統(tǒng)、排隊機、叫號機、評價器(好差評系統(tǒng))、呼叫器、多媒體查詢及信息發(fā)布配套系統(tǒng)等,公司產(chǎn)品已廣泛應(yīng)用于不動產(chǎn)登記、智慧醫(yī)療、智慧稅務(wù)、智慧政務(wù)、智慧金融、智慧通訊、智慧服務(wù)大廳、智慧機關(guān)單位等服務(wù)窗口行業(yè).咨詢電話：028-87438905。