在今年五月，英偉達發(fā)布了基于全新Ampere架構(gòu)打造的GPU A100。

據(jù)該公司CEO黃仁勛介紹，A100 采用臺積電當時最先進的7 納米工藝打造，擁有 540 億個晶體管，面積高達 826mm2，GPU 的最大功率也達到了 400W。又因為同時搭載了三星 HBM2 顯存、第三代 Tensor Core和帶寬高達600GB/s 的新版 NVLink，英偉達的A100在多個應(yīng)用領(lǐng)域也展現(xiàn)出強悍的性能。 

從英偉達提供的數(shù)據(jù)可以看到，如果用 PyTorch 框架跑 AI 模型，相比上一代 V100 芯片，A100 在 BERT 模型的訓(xùn)練上性能提升 6 倍，BERT 推斷時性能提升 7 倍。而根據(jù)MLPerf組織在十月底發(fā)布的最新推理基準測試（Benchmark）MLPerf Inference v0.7結(jié)果，英偉達A100 Tensor Core GPU在云端推理的基準測試性能是最先進英特爾CPU的237倍。

但英偉達不止步于此。在昨日，他們發(fā)布了面向AI超級計算的全球最強GPU——A100 80GB；與此同時，他們還帶來了一體式AI數(shù)據(jù)中心NVIDIA DGX Station A100以及NVIDIA Mellanox 400G InfiniBand產(chǎn)品。

全球最強的AI超算GPU

據(jù)英偉達方面介紹，公司全新的 A100 80GB GPU的最大特點在于采用了HBM2E內(nèi)存技術(shù)，能將A100 40GB GPU的高帶寬內(nèi)存增加一倍至80GB，這樣的設(shè)計也讓英偉達成為業(yè)內(nèi)首個實現(xiàn)了2TB/s以上的內(nèi)存帶寬的企業(yè)。 

“若想獲得HPC和AI的最新研究成果，則需要構(gòu)建最大的模型，而這需要比以往更大的內(nèi)存容量和更高的帶寬。A100 80GB GPU所提供的內(nèi)存是六個月前推出的前代產(chǎn)品的兩倍，突破了每秒2TB的限制，使研究人員可以應(yīng)對全球科學(xué)及大數(shù)據(jù)方面最嚴峻的挑戰(zhàn)?！盢VIDIA應(yīng)用深度學(xué)習研究副總裁Bryan Catanzaro表示。

此外，第三代Tensor Core核心、MIG技術(shù)、結(jié)構(gòu)化稀疏以及第三代NVLink和NVSwitch，也是全新GPU能夠獲得市場認可的保證。

從英偉達提供的資料我們可以看到，該公司的第三代Tensor Core核心通過全新TF32，能將上一代Volta架構(gòu)的AI吞吐量提高多達20倍；通過FP64，新核心更是能將HPC性能提高多達2.5倍；而通過 INT8，新核心也可以將AI推理性能提高多達20倍，并且支持BF16數(shù)據(jù)格式。

MIG技術(shù)則能將單個獨立實例的內(nèi)存增加一倍，并可最多提供七個MIG，讓每個實例具備10GB內(nèi)存。英偉達方面表示，該技術(shù)是一種安全的硬件隔離方法，在處理各類較小的工作負載時，可實現(xiàn)GPU最佳利用率。例如在如RNN-T等自動語言識別模型的AI推理上，單個A100 80GB MIG實例可處理更大規(guī)模的批量數(shù)據(jù)，將生產(chǎn)中的推理吞吐量提高1.25倍。

至于結(jié)構(gòu)化稀疏，則可以將推理稀疏模型的速度提高2倍；包括第三代NVLink和NVSwitch在內(nèi)的新一代互連技術(shù)，則可使GPU之間的帶寬增加至原來的兩倍，將數(shù)據(jù)密集型工作負載的GPU數(shù)據(jù)傳輸速度提高至每秒600 gigabytes。

除了性能提升以外，基于A100 40GB的多樣化功能設(shè)計的A100 80GB GPU也成為需要大量數(shù)據(jù)存儲空間的各類應(yīng)用的理想選擇。

以DLRM等推薦系統(tǒng)模型為例，他們?yōu)锳I訓(xùn)練提供了涵蓋數(shù)十億用戶和產(chǎn)品信息的海量表單。但A100 80GB可實現(xiàn)高達3倍加速，使企業(yè)可以重新快速訓(xùn)練這些模型，從而提供更加精確的推薦；在TB級零售大數(shù)據(jù)分析基準上，A100 80GB將其性能提高了2倍，使其成為可對最大規(guī)模數(shù)據(jù)集進行快速分析的理想平臺；對于科學(xué)應(yīng)用，A100 80GB可為天氣預(yù)報和量子化學(xué)等領(lǐng)域提供巨大的加速。

“作為NVIDIA HGX AI超級計算平臺的關(guān)鍵組件，A100 80GB還可訓(xùn)練如GPT-2這樣的、具有更多參數(shù)的最大模型。”英偉達方面強調(diào)。

下一代400G InfiniBand

在發(fā)布A100 80GB的同時，英偉達還帶了下一代的400G InfiniBand產(chǎn)品。在講述英偉達的新品之前，我們有必要先了解一下什么是InfiniBand。

所謂InfiniBand，是一種網(wǎng)絡(luò)通信協(xié)議，它提供了一種基于交換的架構(gòu)，由處理器節(jié)點之間、處理器節(jié)點和輸入/輸出節(jié)點(如磁盤或存儲)之間的點對點雙向串行鏈路構(gòu)成。每個鏈路都有一個連接到鏈路兩端的設(shè)備，這樣在每個鏈路兩端控制傳輸(發(fā)送和接收)的特性就被很好地定義和控制。而早前被英偉達收購的Mellanox則是這個領(lǐng)域的專家。

資料顯示，Mellanox為服務(wù)器，存儲和超融合基礎(chǔ)設(shè)施提供包括以太網(wǎng)交換機，芯片和InfiniBand智能互連解決方案在內(nèi)的大量的數(shù)據(jù)中心產(chǎn)品，其中，更以InfiniBand互連，是這些產(chǎn)品中重中之重。

據(jù)英偉達介紹，公司推出的第七代Mellanox InfiniBand NDR 400Gb/s上帶來了更低的延遲，與上一代產(chǎn)品相比，新的產(chǎn)品更是實現(xiàn)了數(shù)據(jù)吞吐量的翻倍。又因為英偉達為這個新品帶來了網(wǎng)絡(luò)計算引擎，這就讓其能夠獲得額外的加速。

英偉達進一步指出，作為一個面向AI超級計算的業(yè)界最強大的網(wǎng)絡(luò)解決方案，Mellanox NDR 400G InfiniBand交換機，可提供3倍的端口密度和32倍的AI加速能力。此外，它還將框式交換機系統(tǒng)的聚合雙向吞吐量提高了5倍，達到1.64 petabits/s，從而使用戶能夠以更少的交換機，運行更大的工作負載。

“基于Mellanox InfiniBand架構(gòu)的邊緣交換機的雙向總吞吐量可達51.2Tb/s，實現(xiàn)了具有里程碑意義的每秒超過665億數(shù)據(jù)包的處理能力?！庇ミ_方面強調(diào)。而通過提供全球唯一的完全硬件卸載和網(wǎng)絡(luò)計算平臺，NVIDIA Mellanox 400G InfiniBand實現(xiàn)了大幅的性能飛躍，可加快相關(guān)研究工作的進展。

“我們的AI客戶的最重要的工作就是處理日益復(fù)雜的應(yīng)用程序，這需要更快速、更智能、更具擴展性的網(wǎng)絡(luò)。NVIDIA Mellanox 400G InfiniBand的海量吞吐量和智能加速引擎使HPC、AI和超大規(guī)模云基礎(chǔ)設(shè)施能夠以更低的成本和復(fù)雜性，實現(xiàn)無與倫比的性能?！?NVIDIA網(wǎng)絡(luò)高級副總裁Gilad Shainer表示。

從他們提供的數(shù)據(jù)我們可以看到，包括Atos、戴爾科技、富士通、浪潮、聯(lián)想和SuperMicro等公司在內(nèi)的全球領(lǐng)先的基礎(chǔ)設(shè)施制造商，計劃將Mellanox 400G InfiniBand解決方案集成到他們的企業(yè)級產(chǎn)品中去。此外，包括DDN、IBM Storage以及其它存儲廠商在內(nèi)的領(lǐng)先的存儲基礎(chǔ)設(shè)施合作伙伴也將支持NDR。

全球唯一的千兆級工作組服務(wù)器

為了應(yīng)對不同開發(fā)者對AI系統(tǒng)的需求，在推出芯片和連接解決方案的同時，英偉達在2017年還推出一體式的AI數(shù)據(jù)中心NVIDIA DGX Station。作為世界上首款面向 AI 開發(fā)前沿的個人超級計算機，開發(fā)者只需要對其執(zhí)行簡單的設(shè)置，就可以用Caffe、TensorFlow等去做深度學(xué)習訓(xùn)練、高精度圖像渲染和科學(xué)計算等傳統(tǒng)HPC應(yīng)用，避免了裝驅(qū)動和配置環(huán)境等麻煩，這很適合高校、研究所、以及IT力量相對薄弱的企業(yè)。

昨日，英偉達今日發(fā)布了全球唯一的千兆級工作組服務(wù)器NVIDIA DGX StationA100 。作為開創(chuàng)性的第二代人工智能系統(tǒng)，DGX Station A100加速滿足位于全球各地的公司辦公室、研究機構(gòu)、實驗室或家庭辦公室中辦公的團隊對于機器學(xué)習和數(shù)據(jù)科學(xué)工作負載的強烈需求。而為了支持諸如BERT Large推理等復(fù)雜的對話式AI模型，DGX Station A100比上一代DGX Station提速4倍以上。對于BERT Large AI訓(xùn)練，其性能更是提高近3倍。

從性能來看，英偉達方面表示，DGX Station A100的AI性能可達2.5 petaflops，是唯一一臺配備四個通過NVIDIA NVLink完全互連的全新NVIDIA A100 Tensor Core GPU的工作組服務(wù)器，可提供高達320GB的GPU內(nèi)存，能夠助力企業(yè)級數(shù)據(jù)科學(xué)和AI領(lǐng)域以最速度取得突破。

作為唯一支持NVIDIA多實例GPU（MIG）技術(shù)的工作組服務(wù)器，單一的DGX Station A100最多可提供28個獨立GPU實例以運行并行任務(wù)，并可在不影響系統(tǒng)性能的前提下支持多用戶。

為了支持更大規(guī)模的數(shù)據(jù)中心工作負載，DGX A100系統(tǒng)還將配備全新NVIDIA A100 80GB GPU使每個DGX A100系統(tǒng)的GPU內(nèi)存容量增加一倍（最高可達640GB），從而確保AI團隊能夠使用更大規(guī)模的數(shù)據(jù)集和模型來提高準確性。

“全新DGX A100 640GB系統(tǒng)也將集成到企業(yè)版NVIDIA DGX SuperPODTM 解決方案，使機構(gòu)能基于以20 個DGX A100系統(tǒng)為單位的一站式AI超級計算機，實現(xiàn)大規(guī)模AI模型的構(gòu)建、訓(xùn)練和部署。”英偉達方面強調(diào)。

該公司副總裁兼 DGX系統(tǒng)總經(jīng)理Charlie Boyle則表示：“DGX Station A100將AI從數(shù)據(jù)中心引入可以在任何地方接入的服務(wù)器級系統(tǒng)。數(shù)據(jù)科學(xué)和AI研究團隊可以使用與NVIDIA DGX A100系統(tǒng)相同的軟件堆棧加速他們的工作，使其能夠輕松地從開發(fā)走向部署。”

從英偉達提供的資料我們可以看到，配備A100 80GB GPU的NVIDIA DGX SuperPOD系統(tǒng)將率先安裝于英國的Cambridge-1超級計算機，以加速推進醫(yī)療保健領(lǐng)域研究，以及佛羅里達大學(xué)的全新HiPerGator AI超級計算機，該超級計算機將賦力這一“陽光之州”開展AI賦能的科學(xué)發(fā)現(xiàn)。

在今年發(fā)布的第二季財報上，英偉達數(shù)據(jù)中心業(yè)務(wù)首超游戲，成為公司營收最大的業(yè)務(wù)板塊。從營收增長上看，與去年同期相比，英偉達數(shù)據(jù)中心業(yè)務(wù)業(yè)務(wù)大幅增長167%，由此可以看到英偉達在這個市場影響力的提升以及公司對這個市場的信心。

考慮到公司深厚的技術(shù)積累和過去幾年收購所做的“查漏補缺”，英偉達必將成為Intel在數(shù)據(jù)中心的最強勁挑戰(zhàn)者。