工業(yè)智能領(lǐng)域的深度學(xué)習(xí)模型越具創(chuàng)新性，其規(guī)模就越大。GPT-3是今年最熱門的自主語(yǔ)言處理模型的一個(gè)很好的例子。要達(dá)到像人類一樣寫作的準(zhǔn)確性和速度水平，該模型需要1750億個(gè)參數(shù)，350GB內(nèi)存和至少1200萬(wàn)美元的投資。但除成本外，這種大型人工智能模型還面臨著巨大的能耗問(wèn)題。

馬薩諸塞大學(xué)阿默斯特分校的研究人員發(fā)現(xiàn)，訓(xùn)練一個(gè)大型人工智能模型所需的計(jì)算能力可以產(chǎn)生超過(guò)60萬(wàn)磅的二氧化碳排放——這是一輛普通汽車使用壽命的5倍！這些模型通常需要更多的能量來(lái)處理和生成設(shè)置(或稱為推理階段)。據(jù)英偉達(dá)估計(jì)，80-90%的運(yùn)行神經(jīng)網(wǎng)絡(luò)模型來(lái)自推理過(guò)程，而非訓(xùn)練過(guò)程。

為了在人工智能領(lǐng)域取得更大的進(jìn)得更大的進(jìn)步，我們必須做出巨大的環(huán)境權(quán)衡。但事實(shí)并非如此。大型模型可以縮小到在日常工作站或服務(wù)器上運(yùn)行，而不需要犧牲準(zhǔn)確性和速度。

過(guò)去:平均計(jì)算能力每3.4個(gè)月翻一番。

十多年前，斯坦福大學(xué)(StanfordUniversity)的研究人員發(fā)現(xiàn)，用于驅(qū)動(dòng)視頻游戲中的圖形處理器(稱為Gpu)可以用于深度學(xué)習(xí)模型。這個(gè)發(fā)現(xiàn)引發(fā)了一個(gè)競(jìng)爭(zhēng)，比如為深度學(xué)習(xí)應(yīng)用創(chuàng)建越來(lái)越強(qiáng)大的特殊硬件。相反，科學(xué)家創(chuàng)建的模型越來(lái)越大。邏輯上，更大的模型會(huì)導(dǎo)致更準(zhǔn)確的結(jié)果。硬件功能越強(qiáng)大，這些模型的運(yùn)行速度就越快。

OpenAI的研究證明，這種假設(shè)已經(jīng)在這個(gè)領(lǐng)域得到了廣泛的應(yīng)用。從2012年到2018年，深度學(xué)習(xí)模型的計(jì)算能力平均每3.4個(gè)月翻一番。因此，這意味著人工智能的計(jì)算能力在6年內(nèi)增加了30萬(wàn)倍。例如，這種能力不僅用于培訓(xùn)算法，也用于生成設(shè)置。麻省理工學(xué)院(MIT)最近的一項(xiàng)研究表明，我們可能比想象中更快地達(dá)到計(jì)算能力的上限。

更重要的是，資源的限制使得深度學(xué)習(xí)算法的使用僅限于那些有能力使用它的人。當(dāng)深度學(xué)習(xí)可以應(yīng)用于從醫(yī)學(xué)成像檢測(cè)癌細(xì)胞到阻止在線仇恨言論的所有領(lǐng)域時(shí)，我們不能限制訪問(wèn)。然而，我們無(wú)法承受建立更大、更耗電模型帶來(lái)的環(huán)境后果。

未來(lái):越來(lái)越小。

幸運(yùn)的是，研究人員發(fā)現(xiàn)了一些新的方法來(lái)縮小深度學(xué)習(xí)模型，并通過(guò)更智能的算法改變訓(xùn)練數(shù)據(jù)集的應(yīng)用。這樣，大型模型就可以在生產(chǎn)環(huán)境中以較低的能耗運(yùn)行，而且還可以根據(jù)用例達(dá)到預(yù)期的效果。

這些技術(shù)可能會(huì)使機(jī)器學(xué)習(xí)普及，為更多沒(méi)有數(shù)百萬(wàn)美元投資培訓(xùn)算法并投入生產(chǎn)的組織服務(wù)。這對(duì)邊緣用例尤為重要。想想相機(jī)、汽車儀表盤、智能手機(jī)等微型設(shè)備。在這些用例中，大型專用AI硬件在物理上不實(shí)用。

研究者們正在通過(guò)刪除神經(jīng)網(wǎng)絡(luò)中不必要的連接，或者通過(guò)簡(jiǎn)化數(shù)學(xué)操作來(lái)縮小模型。這類小型快速模型可在任何地方運(yùn)行，其精度和性能與大型模型相似。也就是說(shuō)，我們不再需要爭(zhēng)相使用最強(qiáng)的計(jì)算能力，從而對(duì)環(huán)境造成更大的破壞。使大型模型變得更小，更有效率是深度學(xué)習(xí)的未來(lái)。

另外一個(gè)主要問(wèn)題是針對(duì)不同的用例，在新的數(shù)據(jù)集中一遍又一遍地訓(xùn)練大型模型。一個(gè)叫遷移學(xué)習(xí)的技術(shù)可以幫助預(yù)防這個(gè)問(wèn)題。遷移學(xué)習(xí)以預(yù)先訓(xùn)練的模型為起點(diǎn)。模型知識(shí)可以通過(guò)有限的數(shù)據(jù)集轉(zhuǎn)移到新的任務(wù)，而不需要從零開(kāi)始重新訓(xùn)練原模型。這是降低新模型訓(xùn)練所需的計(jì)算能力、能源和資金的關(guān)鍵一步。

降低模型尺寸和相關(guān)計(jì)算能力將是重大突破？

模型可以在任何可能的情況下縮小，以減少計(jì)算能力的使用。知識(shí)可以回收再利用，而不是從零開(kāi)始深入學(xué)習(xí)的訓(xùn)練過(guò)程。最后，找到降低模型尺寸和相關(guān)計(jì)算能力的方法(在不犧牲性能或精度的情況下)將是深度學(xué)習(xí)的下一個(gè)重大突破。這樣，任何人都可以以更低的成本在生產(chǎn)中運(yùn)行這些應(yīng)用，而不需要在環(huán)境中做出巨大的犧牲。當(dāng)我們把大型人工智能放在小地方時(shí)，一切都是可能的，甚至有助于阻止氣候變化的毀滅性影響。

成都融和實(shí)業(yè)排隊(duì)叫號(hào)系統(tǒng)廠家(yuanshangpin.cn)是一家集研發(fā)、生產(chǎn)、營(yíng)銷、服務(wù)于一體的高新技術(shù)企業(yè).主營(yíng)智能排隊(duì)叫號(hào)系統(tǒng)、醫(yī)院分診系統(tǒng)、排隊(duì)機(jī)、叫號(hào)機(jī)、評(píng)價(jià)器(好差評(píng)系統(tǒng))、呼叫器、多媒體查詢及信息發(fā)布配套系統(tǒng)等,公司產(chǎn)品已廣泛應(yīng)用于不動(dòng)產(chǎn)登記、智慧醫(yī)療、智慧稅務(wù)、智慧政務(wù)、智慧金融、智慧通訊、智慧服務(wù)大廳、智慧機(jī)關(guān)單位等服務(wù)窗口行業(yè).咨詢電話：028-87438905。