芯耀
66
?
摩爾定律為計算機行業(yè)提供了一段顯著的增長和穩(wěn)定的時期，晶體管密度以預(yù)測的節(jié)奏加倍，不僅推動了五十年的處理器性能提升，而且推動了通用計算模型的興起。然而，根據(jù)麻省理工學(xué)院和亞琛大學(xué)的研究人員的論文，摩爾定律帶來的這一切都將結(jié)束。
麻省理工學(xué)院計算機科學(xué)與人工智能實驗室的 Neil Thompson、哈佛大學(xué)的客座教授以及亞琛工業(yè)大學(xué)的研究生 Svenja Spanuth 討論說，摩爾定律的失效，以及深度學(xué)習(xí)和加密貨幣挖掘等新應(yīng)用，正在推動行業(yè)遠離通用微處理器，轉(zhuǎn)向有利于專用微處理器的模式?！巴ㄓ?a class="article-link" target="_blank" href="/baike/1386991.html">計算機芯片的興起非?？?，因此他們同樣會很快衰落”他們這樣爭辯道。
正如他們所指出的那樣，通用計算并不總是一般需求，在超級計算的早期階段，來自 Cray 等公司的定制矢量架構(gòu)主導(dǎo)了 HPC 行業(yè)。目前，NEC 構(gòu)建的矢量系統(tǒng)仍然存在這種情況。但由于摩爾定律在過去幾十年中不斷提高晶體管性價比，經(jīng)濟力量的重心基本偏向通用處理器。
這主要也是因為開發(fā)和制造定制芯片的成本在 3000 萬到 8000 萬美元之間，因此，對有高性能微處理器需求的用戶而言，采用專用架構(gòu)的好處也僅僅是九牛一毛，因為定制化的解決方案帶來的初始性能提升，通過縮小通用芯片中的晶體管就能達到，同時，晶體管縮小所產(chǎn)生的成本可以在數(shù)百萬個處理器中攤銷。
但摩爾定律所帶來的計算經(jīng)濟學(xué)正在發(fā)生變化。近年來，隨著底層的半導(dǎo)體材料達到物理極限，縮小晶體管變得更加昂貴。作者發(fā)現(xiàn)，在過去的 25 年中，建立一個領(lǐng)先的晶圓廠的成本每年增長 11％。2017 年，半導(dǎo)體行業(yè)協(xié)會估計建造一座新工廠需要花費約 70 億美元。這不僅增加了芯片制造商的固定成本，半導(dǎo)體制造商的數(shù)量也從 2002 年的 25 家減少到今天的四家：英特爾、臺積電、三星和格羅方德。
?
?
該團隊還重點介紹了美國勞工統(tǒng)計局（BLS）的一份報告，該報告試圖量化每美元的微處理器性能，根據(jù)這一指標(biāo)，BLS 發(fā)現(xiàn)微處理器的改進率從 2000 - 2004 年的 48％下降到 2004 - 2008 年的 29％，而 2008 - 2013 年每年僅為 8％。
所有這些都從根本上改變了縮小晶體管的成本和效益，正如作者所指出的，由于建造和運營新工廠的費用不斷上升，英特爾的固定成本有史以來第一次超過其可變成本。更令人不安的是，像三星和高通這樣的公司現(xiàn)在認為，在最新工藝節(jié)點上制造的晶體管的成本正在增加，這進一步阻礙了對更小尺寸的追求。這種想法可能是格羅方德最近放棄其 7nm 技術(shù)計劃決定背后的原因。
不僅僅是摩爾定律惡化的問題，專用處理器的另一個驅(qū)動因素是新應(yīng)用程序無法適用于通用計算芯片。對于初學(xué)者來說，你擁有移動設(shè)備和物聯(lián)網(wǎng)（IoT）這樣的平臺，這些平臺在能源效率和成本方面要求很高，并且需要大量部署，即使有相對強大的摩爾定律的支持，也需要定制芯片，而具有更嚴格要求的低容量應(yīng)用，例如軍用和航空硬件，也需要特殊用途設(shè)計的支持。但作者認為，通過深度學(xué)習(xí)實現(xiàn)了行業(yè)真正的分水嶺，深度學(xué)習(xí)是一種跨越幾乎所有計算環(huán)境的應(yīng)用程序類別 - 移動，桌面，嵌入式，云計算和超級計算。
深度學(xué)習(xí)及其首選硬件平臺 GPU，就是計算從通用處理器走向?qū)Ｓ锰幚砥鞯淖蠲黠@的例子。實際上半專業(yè)計算架構(gòu)的 GPU 已經(jīng)成為訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的平臺，因為它們能夠比 CPU 更有效地進行數(shù)據(jù)并行處理。作者指出，盡管 GPU 也被用于加速科學(xué)和工程應(yīng)用，但它的深度學(xué)習(xí)將可以被進一步專業(yè)化地應(yīng)用于大批量應(yīng)用中。當(dāng)然，這里要排除 GPU 在桌面游戲中已經(jīng)擁有大量應(yīng)用，因為桌面游戲是 GPU 最初設(shè)計的目的。
但對于深度學(xué)習(xí)，GPU 可能只是入門級的工具，英特爾，富士通和十幾家創(chuàng)業(yè)公司已經(jīng)有了人工智能和深度學(xué)習(xí)芯片，谷歌自己的 Tensor 處理單元（TPU）是專門用于訓(xùn)練和使用神經(jīng)網(wǎng)絡(luò)的，目前已進入第三次迭代?！皠?chuàng)建一個定制的處理器對谷歌而言非常昂貴，專家估計固定成本為數(shù)千萬美元，”作者寫道，“然而，好處也很大 - 他們聲稱他們的業(yè)績增長相當(dāng)于摩爾定律的七年 - 并且無需基礎(chǔ)設(shè)施成本使其更加值得去投入?！?/p>
?
Thompson 和 Spanuth 還指出，專用處理器越來越多地用于超級計算，他們提及 2018 年 11 月的超級計算機 TOP500 排名，這表明專業(yè)處理器（主要是 Nvidia GPU）而不是 CPU 是第一次負責(zé)大部分加速性能。作者還對列表進行了回歸分析，結(jié)果顯示具有專用處理器的超級計算機“每瓦特可以執(zhí)行的計算次數(shù)幾乎是僅使用通用處理器的計算速度的五倍”，這一結(jié)果非常高具有統(tǒng)計意義?！?/p>
Thompson 和 Spanuth 提供了一個數(shù)學(xué)模型，用于確定專業(yè)化的成本 / 收益，同時考慮到開發(fā)定制芯片的固定成本，芯片數(shù)量，定制實施提供的加速以及處理器改進的速度。由于后者與摩爾定律聯(lián)系在一起，因此速度放緩意味著即使預(yù)期的加速比較適中，專用芯片的合理化也會變得更加容易。
“因此，對于許多（但不是全部）應(yīng)用，現(xiàn)在獲得專用處理器在經(jīng)濟上是可行的 - 至少在硬件方面，”作者聲稱，“另一種看待這種情況的方法是考慮到在 2000 - 2004 年期間，市場規(guī)模約為 83,000 臺處理器的應(yīng)用程序需要專業(yè)化提供 100 倍的加速才值得，而在 2008 - 2013 年，這樣的處理器只需要 2 倍的加速?！?/p>
Thompson 和 Spanuth 還為專用處理器納入了重新定位應(yīng)用軟件的額外費用，他們認為每行代碼的價格為 11 美元。這在一定程度上使模型復(fù)雜化，因為必須考慮代碼庫的大小，這并容易追蹤。在這里，他們還指出，一旦代碼重新開發(fā)完成，它往往會阻止代碼庫移回通用平臺。
最重要的是，摩爾定律的緩慢消亡正在揭示過去的創(chuàng)新，市場擴張和再投資的良性循環(huán)。隨著越來越多的專業(yè)芯片開始蠶食計算機行業(yè)，這個周期變得支離破碎。由于較少用戶采用最新的制造節(jié)點，為晶圓廠融資變得更加困難，進一步減緩了技術(shù)進步。這會將計算機行業(yè)分割成專門領(lǐng)域。
其中一些領(lǐng)域，如深度學(xué)習(xí)，由于其規(guī)模和對專用硬件的適用性，將處于快車道。然而，像數(shù)據(jù)庫處理這樣的領(lǐng)域雖然被廣泛使用，可能會成為“死胡同”，因為這種類型的交易計算并不適合專用芯片，另外，像氣候模型等其他較小的領(lǐng)域，因為太小而無法保證自己定制的硬件，盡管它們可以從中受益。
作者預(yù)計，云計算將在某種程度上通過為較小和較少照顧的社區(qū)提供各種基礎(chǔ)設(shè)施來削弱這些差異的影響。越來越多的可用性更專業(yè)的云資源，如 GPU，FPGA，以及谷歌的 TPU，能夠創(chuàng)造一個更加平等的競爭環(huán)境。
當(dāng)然，這些都不意味著 CPU 甚至 GPU 都是失敗的，盡管作者沒有深入研究這一方面，但在未來很可能將專用、半專業(yè)和通用計算引擎集成在同一芯片或處理器封裝中，一些芯片制造商已經(jīng)開始了對這方面的研究。
例如，Nvidia 在其 Volta 一代 GPU 中采用了 Tensor Cores，這是其專門用于深度學(xué)習(xí)的專用電路，這樣 Nvidia 就能夠提供一個既能滿足傳統(tǒng)超級計算模擬又能深度學(xué)習(xí)應(yīng)用的平臺。同樣，CPU 正在與專用邏輯塊集成，用于加密 / 解密、圖形加速、信號處理，當(dāng)然還有深度學(xué)習(xí)，我們期待這種情況會越來越多的出現(xiàn)。
完整論文請查看：https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3287769
與非網(wǎng)編譯內(nèi)容，未經(jīng)許可，不得轉(zhuǎn)載！
