芯耀
1822
目前，數(shù)字化浪潮席卷全球，人類社會已經(jīng)進(jìn)入智能時代。萬物互聯(lián)的數(shù)字化浪潮下，端—邊—云協(xié)同是實現(xiàn)數(shù)字化智能化的重要架構(gòu)之一。本文我們將簡要分析邊云協(xié)同的必要性，并介紹如何使用英特爾開源的OpenVINO™ 工具套件，在“端—邊—云”快速實現(xiàn)高性能人工智能推理。
1
邊云協(xié)同的必要性及OpenVINO™ 工具套件簡介
眾所周知，18世紀(jì)60年代人類開始了第一次工業(yè)革命，從此進(jìn)入“蒸汽時代”，接著進(jìn)入了電氣時代和信息時代，當(dāng)前人類社會正在發(fā)生第四次工業(yè)革命，即智能時代。英特爾首席執(zhí)行官帕特·基辛格在2021年世界互聯(lián)網(wǎng)大會烏鎮(zhèn)峰會上指出，要擁抱四大超級技術(shù)力量。這四大超級技術(shù)力量分別是：第一，無所不在的計算。計算能力正滲透到我們生活的方方面面，作為人和技術(shù)的交互點，跨越現(xiàn)有和新興設(shè)備。第二，無處不在的連接，即萬物互聯(lián)。第三，從云到邊緣的基礎(chǔ)設(shè)施。它創(chuàng)造一個動態(tài)可靠的路徑來連接計算和數(shù)據(jù)，實現(xiàn)規(guī)模和容量無限擴(kuò)展的云與無限延伸的智能邊緣相結(jié)合。第四是人工智能。這四大超級技術(shù)力量并不是技術(shù)孤島，而且相互協(xié)同，相互融合，共同推動產(chǎn)業(yè)的巨大變革。
四大超級技術(shù)力量使得數(shù)據(jù)一旦產(chǎn)生之后，能夠在相應(yīng)的節(jié)點做快速且及時的處理，從而減少數(shù)據(jù)處理的延時；高價值數(shù)據(jù)經(jīng)過邊緣提取后，高效率的傳遞到云端，借助云端的超級計算力量挖掘數(shù)據(jù)背后隱含的價值，讓用戶可以開發(fā)相應(yīng)的服務(wù)，實現(xiàn)科技向善。沒有邊云協(xié)同，這四大超級技術(shù)力量將被割裂，數(shù)據(jù)將成為孤島，智能時代要求的智能化、無人化和集群化將無法實現(xiàn)。如下圖所示，將云端規(guī)模開發(fā)的優(yōu)勢與邊緣端推理的好處結(jié)合起來，能夠使得邊云協(xié)同的優(yōu)勢發(fā)揮到最大化，將無限的數(shù)據(jù)變成可操作的洞察力。
下圖是一個智能制造工廠中，利用“端—邊—云”協(xié)同架構(gòu)，利用人工智能技術(shù)實現(xiàn)實時產(chǎn)品缺陷檢測的例子。在這個場景中，每個工位構(gòu)成了“端”，在工位上架設(shè)的攝像頭可以每秒采集超過400張產(chǎn)品生產(chǎn)過程中的圖片。因此，在端這一側(cè)利用 AI 推理技術(shù)，對實時產(chǎn)生的大量圖片進(jìn)行 AI 推理，從而避免將海量數(shù)據(jù)同時傳輸?shù)皆贫水a(chǎn)生的高成本及延時。生產(chǎn)流水線構(gòu)成了這個場景中的“邊”，一些更為復(fù)雜的推理任務(wù)可以實時的在邊側(cè)完成，并進(jìn)行跨工位的調(diào)度。最終所有的推理結(jié)果可以進(jìn)一步推送到云端，進(jìn)行數(shù)據(jù)集中以及更為深層次的分析，同時邊緣端產(chǎn)生的部分?jǐn)?shù)據(jù)也可以推送至云端，作為訓(xùn)練數(shù)據(jù)的補(bǔ)充，用于對深度學(xué)習(xí)模型進(jìn)行重訓(xùn)練，以獲得更高的準(zhǔn)確性。
通過上述的例子，我們可以看出，在邊云協(xié)同的架構(gòu)中，一個很重要的步驟就是將 AI 的推理擴(kuò)展到邊緣端，避免邊緣端產(chǎn)生的大量數(shù)據(jù)向云端同時進(jìn)行傳輸所引起的高成本，可以獲得接近或處于邊緣的近實時決策。而能夠?qū)崿F(xiàn)邊緣端方便進(jìn)行 AI 模型部署及推理加速的重要工具之一，就是由英特爾開源的OpenVINO™ 工具套件。
OpenVINO™ 工具套件經(jīng)過近四年的發(fā)展和演進(jìn)，現(xiàn)已正式發(fā)布了迄今為止變化最大的版本，即 OpenVINO™ 2022.1版本。在這一版本中，不僅支持包括基于 Tensorflow，PyTorch 在內(nèi)的深度學(xué)習(xí)框，更可以支持深受中國開發(fā)者喜愛的 PaddlePaddle 飛槳深度學(xué)習(xí)框架。同時，為了方便開發(fā)者在邊緣端部署深度學(xué)習(xí)模型，實現(xiàn)“一次撰寫，任意部署（Write once，deploy anywhere）”的目的，OpenVINO™ 可以支持包括英特爾 CPU、集成 GPU（iGPU）以及 VPU 在內(nèi)的多個硬件平臺的部署。只需要改動一行代碼，就可以實現(xiàn)多硬件平臺部署。
尤為值得一提的是，在 OpenVINO™ 2022.1版本中，為了使得開發(fā)者更加便捷的使用 OpenVINO™ 進(jìn)行深度學(xué)習(xí)的推理，更推出了 AUTO 插件（“auto device”）。開發(fā)者只需要使用這樣的一行代碼
就可以在邊緣端實施 AI 推理時，由 AUTO 插件自動化的檢測開發(fā)者環(huán)境中可以用來進(jìn)行 AI 推理的設(shè)備，并自動化的選擇更為合適的硬件設(shè)備進(jìn)行 AI 推理。另外，根據(jù)不同使用場景的使用需求不同，AUTO 插件在使用時，還允許開發(fā)者選擇不同的“performance hint”性能指標(biāo)模式，從而按照使用需求，獲得高吞吐量或者低延時的推理性能。
2
在微軟云機(jī)器學(xué)習(xí)平臺 Azure ML 上利用OpenVINO™ 快速實現(xiàn) AI 推理
除了在邊緣端可以很方便地利用 OpenVINO™ 工具套件進(jìn)行快速部署以外，在云端，比如微軟云 Azure 的機(jī)器學(xué)習(xí)平臺 Azure ML 上，也可以利用 OpenVINO™ 工具套件快速實現(xiàn)深度學(xué)習(xí)模型的部署，并進(jìn)行相應(yīng)的深度學(xué)習(xí)模型的優(yōu)化及推理加速。實現(xiàn)步驟如下：
步驟一
在 Azure 上注冊個人賬號，并在機(jī)器學(xué)習(xí)平臺上建立自己的工作室，就類似于建立一個自己運(yùn)行推理的專用路徑。工作室建立好之后，每次運(yùn)行 AI 推理時，只需要點擊“啟動工作室”之后，就可以進(jìn)入可以進(jìn)行模型部署及推理的頁面了。
步驟二
在啟動工作室之后，即進(jìn)入以下頁面。由于我們是利用OpenVINO™ notebooks的 notebook代碼示例資源，因此，我們在頁面上相應(yīng)選擇Notebooks，即進(jìn)入可以使用Jupyter Notebook 運(yùn)行代碼，進(jìn)行 AI 推理的頁面。
頁面地址：https://github.com/openvinotoolkit/openvino_notebooks
步驟三
在進(jìn)入 Notebooks 頁面后，即可根據(jù)界面提示由本地上傳所有 Notebooks 文件夾中的代碼示例。也可以新建終端 Terminals，在終端頁面以 git clone 的方式，直接將OpenVINO™ Notebooks 在 GitHub 上的資源導(dǎo)入在 Azure ML 平臺上的工作室。
所有 notebooks 代碼示例導(dǎo)入過后，即可看到文件夾內(nèi)包含的所有代碼示例。
步驟四
申請 Azure 上的計算資源，運(yùn)行 notebook 代碼。
以運(yùn)行 Notebook 213 機(jī)器問答代碼示例，在申請好并打開計算資源的使用后，運(yùn)行機(jī)器問答 notebook 代碼示例，運(yùn)行結(jié)果如下，
3
小結(jié)：
在上面的內(nèi)容中，我們跟大家分享了邊云協(xié)同的必要性，以及在邊緣端能夠?qū)崿F(xiàn)快速深度學(xué)習(xí)模型優(yōu)化、推理及任意部署的英特爾開源 OpenVINO™ 工具套件。并通過一個實例，向大家展示了如何在 Azure 機(jī)器學(xué)習(xí)平臺上利用 OpenVINO™ 快速實現(xiàn)深度學(xué)習(xí)模型的推理。
