摘自——techradar

如今，層出不窮的智能設(shè)備已滲透進(jìn)我們的生活里，語音助手、面部識(shí)別攝像頭，甚至是你的個(gè)人電腦都會(huì)或多或少的裝有這些東西。然而，它們并不能通過魔法來工作，需要一些東西來支持它們所做的所有數(shù)據(jù)處理。一些設(shè)備可以通過大量的數(shù)據(jù)中心在云端完成。其他設(shè)備則是通過人工智能（AI）芯片的幫助來完成所有處理。

據(jù)了解，AI技術(shù)的發(fā)展和應(yīng)用在美國、中國和歐盟等世界主要國家中已經(jīng)成為國家戰(zhàn)略，在國家的科技發(fā)展和產(chǎn)業(yè)競(jìng)爭中占據(jù)越來越重要的位置。同時(shí)，AI技術(shù)在手寫識(shí)別(例如MNIST數(shù)據(jù)集)、人臉識(shí)別(例如Facebook的DeepFace)、語音識(shí)別(例如亞馬遜的Alexa、Apple的Siri、微軟的Cortana)、機(jī)器人技術(shù)(例如機(jī)器人操作系統(tǒng))、自動(dòng)駕駛(例如TartanRacing)，甚至智力游戲(例如Google的AlphaGo)和視頻游戲(例如Pac-mAnt)等領(lǐng)域得到了廣泛應(yīng)用。隨著人工智能的發(fā)展，產(chǎn)生了更多的專業(yè)技術(shù)，比如神經(jīng)網(wǎng)絡(luò)模型、機(jī)器學(xué)習(xí)等，依靠經(jīng)驗(yàn)學(xué)習(xí)而不是編程來做出決策。反過來，機(jī)器學(xué)習(xí)為深度學(xué)習(xí)奠定了基礎(chǔ)，深度學(xué)習(xí)涉及分層算法，以便更好地理解數(shù)據(jù)。

但是什么是人工智能芯片呢?它和其他設(shè)備上的芯片有什么不同?這篇文章將為您介紹AI芯片的重要性，用于不同應(yīng)用的不同類型的AI芯片，以及在設(shè)備中使用AI芯片的好處。

為什么其他芯片不適合人工智能

在20世紀(jì)80年代，我們看到了個(gè)人電腦的興起。這是由CPU(中央處理單元)實(shí)現(xiàn)的，它執(zhí)行程序中指令所指定的基本算術(shù)、邏輯、控制和輸入/輸出操作。它是PC的大腦。為此，在CPU領(lǐng)域也成就了許多巨頭，包括英特爾和AMD。

然而，當(dāng)談到CPU的發(fā)展時(shí)，我們還必須提到arm, arm的芯片架構(gòu)始于20世紀(jì)80年代的個(gè)人電腦，但直到移動(dòng)計(jì)算、智能手機(jī)和平板電腦的崛起，arm才成為一個(gè)有力的參與者。2005年，市面上98%的手機(jī)都至少使用了某種形式的arm架構(gòu)。2013年，全球共生產(chǎn)了100億個(gè)arm芯片，全球近60%的移動(dòng)設(shè)備中都有基于arm的芯片?？梢钥闯?，arm是人工智能芯片領(lǐng)域的重要組成部分。

AI處理單元

在人工智能處理方面，GPU通常比CPU好，但它們并不完美。該行業(yè)需要專門的處理器來實(shí)現(xiàn)人工智能應(yīng)用程序的高效處理、建模和推理。因此，芯片設(shè)計(jì)者現(xiàn)在正致力于創(chuàng)建優(yōu)化執(zhí)行這些算法的處理單元。它們有許多類型，如NPU、TPU、DPU、SPU等，我們統(tǒng)稱它們?yōu)锳I處理單元(AI PU)。

AI PU的創(chuàng)建是為了執(zhí)行機(jī)器學(xué)習(xí)算法，通常通過人工神經(jīng)網(wǎng)絡(luò)等預(yù)測(cè)模型進(jìn)行操作。它們通常被分類為訓(xùn)練或推理，因?yàn)檫@些過程通常是獨(dú)立執(zhí)行的。

我們已經(jīng)在現(xiàn)實(shí)世界中看到了一些應(yīng)用:

監(jiān)控系統(tǒng)或區(qū)域免受威脅，如涉及實(shí)時(shí)面部識(shí)別的安全系統(tǒng)(IP攝像頭、門攝像頭等)。

用于零售或企業(yè)與客戶互動(dòng)的機(jī)器人

語音助手的自然語言處理

AI處理器vs GPU

有些人可能會(huì)問——GPU不是已經(jīng)能夠執(zhí)行AI模型了嗎? GPU確實(shí)有一些屬性可以方便處理AI模型。

Gpu可以處理二維或三維的圖形，因此需要同時(shí)并行處理多個(gè)函數(shù)串。人工智能神經(jīng)網(wǎng)絡(luò)也需要并行處理，因?yàn)樗鼈冇蟹种Ч?jié)點(diǎn)，就像動(dòng)物大腦中的神經(jīng)元一樣。所以，GPU可以很好地完成這一部分。

然而，神經(jīng)網(wǎng)絡(luò)也需要卷積，也就是需要卷積神經(jīng)網(wǎng)絡(luò)CNN，而這正是GPU出錯(cuò)的地方。簡而言之，GPU基本上是為圖形而優(yōu)化的，而不是為神經(jīng)網(wǎng)絡(luò)而優(yōu)化的——它們充其量只是一個(gè)代理。

我們?yōu)槭裁葱枰玫紺NN？

首先對(duì)于普通的神經(jīng)網(wǎng)絡(luò)來說也會(huì)遇到一些問題。假設(shè)我們要做圖像識(shí)別，把一張圖片丟到機(jī)器，機(jī)器能理解的就是每個(gè)像素點(diǎn)的值，我們?cè)诖罱ê蒙窠?jīng)網(wǎng)絡(luò)模型之后，需要做的就是用數(shù)據(jù)訓(xùn)練，最終需要確定的是每一個(gè)神經(jīng)元參數(shù)，這樣我們就可以確定模型了。

假設(shè)我們輸入的是50*50像素的圖片，這依然有2500個(gè)像素點(diǎn)，而我們生活中基本都是RGB彩色圖像，有三個(gè)通道，那么加起來就有2500*3=7500個(gè)像素點(diǎn)。

如果用普通的全連接，深度比較深時(shí)，那需要確認(rèn)的參數(shù)太多了，對(duì)于計(jì)算機(jī)的計(jì)算能力，和訓(xùn)練模型來說都是比較困難的事。所以，普通神經(jīng)網(wǎng)絡(luò)的問題是：需要確認(rèn)的參數(shù)太多。

這時(shí)，CNN就會(huì)出場(chǎng)。CNN是一種多層神經(jīng)網(wǎng)絡(luò)，擅長處理圖像特別是大圖像的相關(guān)機(jī)器學(xué)習(xí)問題。CNN通過一系列方法，成功將數(shù)據(jù)量龐大的圖像識(shí)別問題不斷降維，最終使其能夠被訓(xùn)練。說的直白一點(diǎn)，就是通過縮小樣本，減小輸入的特征變量，從而減少參數(shù)量，這樣可以大大減少分析時(shí)間。

神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)大體都長這樣：

其實(shí)卷積神經(jīng)網(wǎng)絡(luò)依舊是層級(jí)網(wǎng)絡(luò)，只是層的功能和形式做了變化，可以說是傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的一個(gè)改進(jìn)。這里就不再贅述。

另一個(gè)需要考慮的重要因素是目前人工智能的發(fā)展速度如此之快。世界各地的研究人員和計(jì)算機(jī)科學(xué)家都在以指數(shù)級(jí)的速度不斷提高人工智能和機(jī)器學(xué)習(xí)的標(biāo)準(zhǔn)，而CPU和GPU作為兼收所有硬件的發(fā)展，根本無法跟上。同時(shí)摩爾定律已經(jīng)跟不上現(xiàn)在的發(fā)展速度了，即使在最佳狀態(tài)下也無法跟上人工智能的發(fā)展步伐。

人工智能的加速最終將依賴于一種專門的人工智能加速器，比如AI PU。一般需要AI PU作以下用途:

與GPU相比，加速機(jī)器學(xué)習(xí)任務(wù)的計(jì)算數(shù)倍(近10K倍)

與GPU和CPU相比，機(jī)器學(xué)習(xí)任務(wù)能耗低，資源利用率高

AI SOC的組成部分

雖然AI PU構(gòu)成了芯片上AI系統(tǒng)的大腦，但它只是組成芯片的一系列復(fù)雜組件中的一部分。介紹一下AI SoC的組成、與AI PU配對(duì)的組件以及它們?nèi)绾螀f(xié)同工作。

NPU

這是神經(jīng)處理單元或矩陣乘法引擎，AI SoC的核心操作在此執(zhí)行。值得指出的是，對(duì)于人工智能芯片制造商來說，這也是任何人工智能SoC脫穎而出的秘密武器。

控制器

這些是處理器，通常基于RISC-V，ARM，或自定義邏輯指令集架構(gòu)(ISA)開發(fā)，用于控制和通信所有其他塊和外部處理器。

是否在本地控制是一個(gè)基本的問題，設(shè)計(jì)之前就要想好它會(huì)被用在哪兒，它在哪里被使用，它被誰使用？

SRAM

這是用于存儲(chǔ)模型或中間輸出的本地內(nèi)存。你可以把它想象成你家的冰箱。雖然它的存儲(chǔ)空間很小，但它可以非常快速和方便地抓取東西，比如數(shù)據(jù)。在某些情況下，尤其是與邊緣人工智能相關(guān)的情況下，速度是至關(guān)重要的，這在智能駕駛領(lǐng)域尤為凸顯。

在一個(gè)芯片中包含多大的SRAM是基于成本和性能的決定。更大的SRAM需要更高的前期成本，但使用DRAM的次數(shù)會(huì)更少，DRAM是一種典型的、更便宜的內(nèi)存，主板上的內(nèi)存條就是，所以從長遠(yuǎn)來看，它是值得的。

另一方面，較小的SRAM前期成本較低，但需要更多的訪問DRAM;這種方法效率較低，但如果市場(chǎng)要求某一特定用例需要一種更廉價(jià)的芯片，則可能需要降低成本。

處理速度是SRAM大小之間的區(qū)別，就像RAM影響計(jì)算機(jī)的性能和處理性能需求的能力一樣。

I / O

它是把這些塊（blocks）連接到SoC外部的組件，例如DRAM和潛在的外部處理器。這些接口對(duì)于AI SoC能否最大化發(fā)揮性能至關(guān)重要。例如，如果一個(gè)V8引擎連接到一個(gè)4加侖的油箱，它就必須每隔幾個(gè)街區(qū)就去加油。因此，接口及其連接對(duì)象(DRAM、外部處理器等)需要顯示AI SoC的潛在性能。例如，DDR是DRAM的接口。所以，如果把SRAM比作冰箱，那么DRAM就像雜貨店。它有更大的存儲(chǔ)空間，但它需要更多的時(shí)間去搬運(yùn)。

互連結(jié)構(gòu)

互連結(jié)構(gòu)是處理器(AI PU、控制器)與SoC上所有其他模塊之間的連接。像I/O一樣，互連結(jié)構(gòu)在提取AI SoC的所有性能方面必不可少。不過，我們通常只會(huì)注意到芯片中的互連結(jié)構(gòu)。

無論您的處理器有多快或多么具有開創(chuàng)性，只有當(dāng)您的互連結(jié)構(gòu)能夠跟上并不會(huì)產(chǎn)生總體性能的延遲時(shí)，創(chuàng)新才會(huì)起作用，就像高速公路如果沒有足夠的車道，高峰時(shí)段照樣堵車。

所有這些部件都是構(gòu)成人工智能芯片的關(guān)鍵。雖然不同的芯片可能有額外的組件或?qū)@些組件不同的優(yōu)先級(jí)，正如SRAM，這些基本組件以共生的方式一起工作，以確保AI芯片可以快速和有效地處理AI模型。與CPU和GPU不同，AI SoC的設(shè)計(jì)還遠(yuǎn)未成熟。

AI芯片用例

市場(chǎng)上有許多不同的芯片，所有的命名方案都取決于設(shè)計(jì)公司。這些芯片有不同的用法，包括它們所使用的模型，以及它們所加速的應(yīng)用程序。

訓(xùn)練和推理

人工智能本質(zhì)上是利用人工神經(jīng)網(wǎng)絡(luò)模擬人類大腦，其目的是替代我們大腦中的生物神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)是由一群一起工作的節(jié)點(diǎn)組成的，可以被調(diào)用來執(zhí)行一個(gè)模型。

這就是人工智能芯片發(fā)揮作用的地方。它們特別擅長處理這些人工神經(jīng)網(wǎng)絡(luò)，并被設(shè)計(jì)用來做兩件事:訓(xùn)練+推理。

為訓(xùn)練而設(shè)計(jì)的芯片實(shí)際上扮演著網(wǎng)絡(luò)教師的角色，就像一個(gè)在學(xué)校的孩子。一個(gè)原始的神經(jīng)網(wǎng)絡(luò)最初是不發(fā)達(dá)的，通過輸入大量的數(shù)據(jù)來進(jìn)行訓(xùn)練。訓(xùn)練是依賴于計(jì)算的，所以我們需要專注于訓(xùn)練的AI芯片，它能夠快速有效地處理這些數(shù)據(jù)。芯片越強(qiáng)大，網(wǎng)絡(luò)學(xué)習(xí)速度就越快。

一旦一個(gè)網(wǎng)絡(luò)經(jīng)過訓(xùn)練，它就需要用于推理的芯片，以便使用現(xiàn)實(shí)世界中的數(shù)據(jù)，如面部識(shí)別、手勢(shì)識(shí)別、自然語言處理、圖像搜索、垃圾郵件過濾等。將推理視為你最有可能在人工智能系統(tǒng)中看到的方面，除非你從事的是訓(xùn)練方面的人工智能開發(fā)。

你可以把訓(xùn)練看作是在編篡一本字典，而推理則類似于查找單詞并理解如何使用。兩者都是必要、共生的。

值得注意的是，為訓(xùn)練而設(shè)計(jì)的芯片也可以進(jìn)行推理，但推理芯片不能進(jìn)行訓(xùn)練。

云計(jì)算和邊緣

我們需要了解的AI芯片的另一個(gè)方面是，它可以用于云應(yīng)用和邊緣端，當(dāng)然，這也是需要訓(xùn)練和推理的。

云計(jì)算之所以有用，是因?yàn)樗目稍L問性，因?yàn)樗墓δ芡耆梢栽诜莗rem情況下使用。在這些用例中，您不需要設(shè)備上的芯片來處理任何推理，這可以節(jié)省電力和成本。然而，在隱私和安全方面，它也有缺點(diǎn)，因?yàn)閿?shù)據(jù)存儲(chǔ)在云服務(wù)器上，可能會(huì)遭到黑客攻擊。對(duì)于推理用例，它也可能效率較低，因?yàn)樗鼪]有邊緣芯片那么專業(yè)。

處理“邊緣推理”的芯片也可以在一個(gè)設(shè)備上，比如面部識(shí)別攝像頭。因?yàn)樗械臄?shù)據(jù)都存儲(chǔ)在設(shè)備上，而且芯片通常都是為特定目的而設(shè)計(jì)——例如，面部識(shí)別攝像頭會(huì)使用一種擅長運(yùn)行面部識(shí)別模型的芯片。但如在設(shè)備上增加另一個(gè)芯片會(huì)增加成本和電力消耗。重要的是要使用邊緣AI芯片來平衡成本和功率，以確保設(shè)備對(duì)其細(xì)分市場(chǎng)來說成本剛剛好，或者不是太耗電。

以下是這些應(yīng)用程序和芯片通常是如何配對(duì)的:

云+訓(xùn)練

這種配對(duì)的目的是開發(fā)用于推理的人工智能模型。這些模型最終細(xì)化為特定于用例的AI應(yīng)用程序。這些芯片功能強(qiáng)大，運(yùn)行成本昂貴，而且設(shè)計(jì)的目的是盡可能快地進(jìn)行訓(xùn)練。

比如英偉達(dá)DGX-2系統(tǒng)，DGX-2 使用 16 個(gè) SXM3 GPU 卡提供每秒 2 千萬億次浮點(diǎn)運(yùn)算的計(jì)算性能，可提供 10 倍的深度學(xué)習(xí)性能，而功耗僅為 10kW。它由16個(gè)NVIDIA V100張量核心GPU組成。另一個(gè)就是英特爾Habana Gaudi芯片。

人們每天都需要大量訓(xùn)練的應(yīng)用程序包括Facebook photos和谷歌translate。

云+推理

這是在設(shè)備上無法進(jìn)行需要強(qiáng)大的處理能力的推理。這是因?yàn)閼?yīng)用程序需要利用更大的模型并處理大量數(shù)據(jù)。

例如高通Cloud AI 100，這是用于大規(guī)模云數(shù)據(jù)中心的人工智能的大型芯片。還有就是阿里巴巴的含光800，Graphcore Colossus Mk2 GC200 IPU。

訓(xùn)練芯片被用于訓(xùn)練Facebook的照片或谷歌翻譯，云推理芯片用于處理你輸入的數(shù)據(jù)，使用這些公司創(chuàng)建的模型。其他例子包括人工智能聊天機(jī)器人或大型科技公司運(yùn)營的人工智能服務(wù)。

邊緣+推理

使用設(shè)備上的邊緣芯片進(jìn)行推理可以消除任何與網(wǎng)絡(luò)不穩(wěn)定或延遲有關(guān)問題，并且更好地保護(hù)所使用數(shù)據(jù)的隱私和安全性。其優(yōu)點(diǎn)是在上傳大量數(shù)據(jù)時(shí)所需的帶寬，特別是圖像或視頻等可視化數(shù)據(jù)，無需相關(guān)成本，因此只要成本和功耗達(dá)到平衡，就可以比云計(jì)算更便宜、更高效。

比如耐能Kneron芯片，KL520和最近推出的KL720芯片，這是為設(shè)備上使用而設(shè)計(jì)的低功耗、低成本的芯片。比如他們的KL520，它能夠給 2D、3D 圖像識(shí)別提供支持，適配各種 2D、3D 傳感器，適用于結(jié)構(gòu)光、ToF、雙目視覺等 3D 傳感技術(shù)并計(jì)算不同神經(jīng)網(wǎng)絡(luò)模型，且兼具規(guī)格、性能、成本等多重優(yōu)點(diǎn)，解決 3D 模組相對(duì)較貴、芯片成本高和硬件功耗高等問題。正是這樣，這顆芯片能被廣泛應(yīng)用于智能門鎖、門禁系統(tǒng)、機(jī)器人、無人機(jī)、智能家電、智能玩具等智能物聯(lián)網(wǎng)領(lǐng)域。其他的比如英特爾Movidius和谷歌的Coral TPU。

應(yīng)用領(lǐng)域包括面部識(shí)別監(jiān)控?cái)z像頭，用于行人和危險(xiǎn)檢測(cè)或駕駛意識(shí)檢測(cè)的車輛攝像頭，以及用于語音助手的自然語言處理。

所有這些不同類型的芯片及其不同的實(shí)現(xiàn)、模型和用例都是未來AIoT發(fā)展的必要條件。如果得到5G等其他新興技術(shù)的支持，它們的性能將會(huì)更上一層樓。無論是在家里還是在工作中，人工智能正在迅速成為我們生活的重要組成部分，人工智能芯片空間的發(fā)展將迅速，不久的將來將會(huì)有更多類型的芯片問市，讓我們的工作生活更加便利迅捷。