有了這款可擴(kuò)展、分布式的深度學(xué)習(xí)軟件，IBM就能和AI巨人一起共舞

IBM 公司在 21 世紀(jì)早期引進(jìn)了 Watson，從而進(jìn)入了人工智能現(xiàn)在的周期，并且從那時(shí)候開始在不斷加大力度。最近，IBM 發(fā)布了 PowerAI，IBM 的軟件工具包解決方案與 OpenPower 系統(tǒng)配合使用，針對(duì)那些不想完全從頭開始開發(fā)自己的 AI 解決方案，但是仍然希望定制滿足自己特定深度學(xué)習(xí)需求的企業(yè)。如今，IBM Research 公布了一項(xiàng)新突破，這將只會(huì)進(jìn)一步加強(qiáng) PowerAI 和其它的 AI 產(chǎn)品，這是一個(gè)在過去六個(gè)月中我所看到的突破性的分布式深度學(xué)習(xí)軟件。

擺脫單點(diǎn)瓶頸

所有一直關(guān)注人工智能的人都知道，深度學(xué)習(xí)在近幾年才真正發(fā)展起來。它為商業(yè)領(lǐng)域和消費(fèi)者的百個(gè)應(yīng)用程序提供支持，并且在持續(xù)增加。然而，阻礙深度學(xué)習(xí)進(jìn)一步激增的最大問題之一是可擴(kuò)展性問題?，F(xiàn)在大多數(shù) AI 服務(wù)器只是一個(gè)單一的系統(tǒng)，而不是多個(gè)系統(tǒng)的組合。最流行的開源深度學(xué)習(xí)軟件框架在多個(gè)服務(wù)器上表現(xiàn)不佳，造成了一個(gè)耗時(shí)的瓶頸。換句話說，盡管許多數(shù)據(jù)科學(xué)家已經(jīng)可以訪問 4 到 8 個(gè) GPU 服務(wù)器，他們不能利用它擴(kuò)展到單個(gè)節(jié)點(diǎn)之外，到目前為止，這個(gè)軟件并不是為此而設(shè)計(jì)的。

輸入 IBM DDL 庫(kù)：這個(gè)庫(kù)使用 IBM Research 的獨(dú)特集群方式構(gòu)建，連接到領(lǐng)先的開源 AI 框架（如：TensorFlow, Caffee, Torch, 和 Chainer）。通過 DDL，這些框架能擴(kuò)展到數(shù)十臺(tái) IBM 服務(wù)器，利用數(shù)百個(gè) GPU—一種舊的晝夜不同的處理模型。為了描繪一張照片，當(dāng) IBM 最初試圖用 ImageNet-22K 數(shù)據(jù)集來訓(xùn)練一個(gè)模型時(shí)，使用 ResNet-101 模型，在一臺(tái) Power “Minsky” 服務(wù)器上，加上 4 臺(tái)英偉達(dá) P100 GPU 加速器，花費(fèi) 16 天。16 天的訓(xùn)練意味著大大延遲了洞察力，以及嚴(yán)重阻礙生產(chǎn)力。

IBM 稱 DDL 為“深度學(xué)習(xí)的噴氣式引擎”—一個(gè)吸引人的名字，確實(shí)不太離譜。IBM 表示，使用 DDL 技術(shù)，能夠在 64 臺(tái) Power “Minsky”服務(wù)器上，一共 256 個(gè)英偉達(dá)的 P100GPU，將相同的流程縮減到 7 個(gè)小時(shí)。讓我重申一下：16 天縮減到 7 個(gè)小時(shí)。如果這些結(jié)果精確的話，那么為什么 IBM 認(rèn)為它可以真正的改變游戲規(guī)則？在 7 個(gè)小時(shí)內(nèi)，IBM 的新的圖像識(shí)別準(zhǔn)確度 33.8%的記錄，超過了微軟在業(yè)界創(chuàng)立的 10 天精確度 29.9%的記錄。為了完成這一切，IBM 表示，DDL 可以高效擴(kuò)展，上升到 256 個(gè) GPU，Caffe 深度學(xué)習(xí)框架的效率提升到 95%。

測(cè)試版已經(jīng)上線

開發(fā)者不用非要等到嘗試這項(xiàng)新技術(shù)。IBM research 正在為 IBM 系統(tǒng)提供一個(gè) DDL 測(cè)試版，IBM 系統(tǒng)現(xiàn)在已經(jīng)發(fā)布了新版本 IBM PowerAI (TensorFlow 和 Caffe,  Torch 和 Chainer 即將推出)的第四個(gè)版本。我認(rèn)為這將是 IBM 電源系統(tǒng)的一個(gè)重要的補(bǔ)充，他被稱作“瑞士軍刀加速器”—標(biāo)準(zhǔn) PCI Express、CAPI 和 NVLink 標(biāo)準(zhǔn)，都被封裝在一個(gè)平臺(tái)上。

關(guān)于 DDL，另外一個(gè)需要特別注意的是，它將不僅可以在本地使用，還可以在云端使用—通過云端服務(wù)商 Nimbix 提供。今天的異構(gòu)環(huán)境，靈活性是顯而易見的。開發(fā)者能夠在 Nimbix 者在 IBM Power 系統(tǒng)服務(wù)器上，使用測(cè)試版本。

總結(jié)

很有意思的事情是，這項(xiàng)新技術(shù)是來自于 IBM，而不是其它如谷歌或者 Facebook，這樣更大更響亮的 AI 組件支持者。看起來，IBM 能夠繼續(xù)攜“第一”到桌面上，IBM 不僅是企業(yè)領(lǐng)的主要參與者，還在深度學(xué)習(xí)領(lǐng)域也是。DDL 和 OpenPOWER 是秘密資源—我相信未來將給 IBM 所需要的結(jié)果—大大縮短訓(xùn)練時(shí)間，提高精確度和效率。我認(rèn)為消除了瓶頸，DDL 有潛力去實(shí)現(xiàn)打開深度學(xué)習(xí)的門閘。這對(duì) IBM、PowerAI 和 OpenPOWER 是真正改變游戲規(guī)則。

與非網(wǎng)編譯內(nèi)容，未經(jīng)允許，不得轉(zhuǎn)載！