芯耀
1302
文|??Juny
生成式AI技術(shù)無疑是當(dāng)前最大的時代想象力之一。資本、創(chuàng)業(yè)者、普通人都在涌入生成式AI里去一探究竟：“百模大戰(zhàn)”連夜打響，融資規(guī)模連創(chuàng)新高，各種消費類產(chǎn)品概念不斷涌現(xiàn)……根據(jù)Bloomberg Intelligence 的報告，2022年生成式AI 市場規(guī)模僅為400 億美元，預(yù)計到2032年這一數(shù)字將突破1.3 萬億美元，未來10 年的年均復(fù)合增速高達(dá)42%。
然而，表面上看著熱鬧非凡，但生成式AI技術(shù)的普及和轉(zhuǎn)化真的有我們想象的那么高嗎？
在經(jīng)歷了爆發(fā)式增長之后，6月以來，生成式AI聊天產(chǎn)品訪問量幾乎都出現(xiàn)了不同程度的下降。最新用戶調(diào)查顯示，有80%-90%以上的受訪者表示未來六個月都完全不會使用ChatGPT、Bard等聊天工具。從消費端看，大家目前似乎更多地把生成式AI產(chǎn)品當(dāng)成了一種追趕時尚潮流的玩具，而非持續(xù)使用的工具。
而在企業(yè)端，這樣的現(xiàn)象就更為明顯。一旦人們切換到工作模式時，生成式AI工具便很少出現(xiàn)在大家的工作流程中，甚至還被很多大型公司等明令禁止或限制性使用。
圖片來自于摩根史坦利調(diào)查報告
對于一個比較成熟技術(shù)的商業(yè)轉(zhuǎn)化來說，6個多月的時間并不算短。但目前，關(guān)于生成式AI的狂想焦點似乎仍然還停留在大模型和產(chǎn)品概念上，人們預(yù)期所想看到的繁榮生態(tài)和對經(jīng)濟社會所產(chǎn)生的變革性影響還尚未到來。
那么，究竟是什么桎梏著它的發(fā)展？
｜生成式AI的落地之困：如何打破基礎(chǔ)模型和開發(fā)者之間的“墻”？
所有人都不想錯過生成式AI浪潮。但當(dāng)前生成式AI的超高進入門檻，把大部分玩家擋在了門外。
過去這些年來，通過“深度學(xué)習(xí)+大算力”進行模型訓(xùn)練是實現(xiàn)人工智能最主流的技術(shù)途徑。但大模型的商業(yè)化落地，必須得先回到成本核算上。
首先，大模型對算力的需求極大，是一個巨型“吞金獸”。GPT-3.5模型的訓(xùn)練一次的成本約在300萬到460萬美元之間，一些更大的語言模型訓(xùn)練成本甚至高達(dá)1200 萬美元。自研大模型是一個“無底洞”，不具備雄厚資金實力的創(chuàng)業(yè)公司根本無法承擔(dān)。
此外，通用模型并不能解決所有問題，能幫企業(yè)完成的事情非常有限。大模型的訓(xùn)練都是基于互聯(lián)網(wǎng)上的公開數(shù)據(jù)完成，很多產(chǎn)品也相對孤立沒有形成一個連貫的、整體的工作流，不具備定制化能力。意味著開發(fā)人員需要結(jié)合私有數(shù)據(jù)做大量個性化調(diào)試，開發(fā)訓(xùn)練門檻極高。
而由于前期的巨額投入，就算大模型開始商業(yè)化之后，要實現(xiàn)盈利也往往需要長時間的積累。因此，要想生成式AI技術(shù)真正落地到各行各業(yè)中發(fā)揮效力，當(dāng)前急需一種可負(fù)擔(dān)、高效率、低門檻的解決方案，讓更多人參與到入生成式AI的開發(fā)中來。
那么，如何才能彌合從基礎(chǔ)模型到終端應(yīng)用之間的鴻溝？目前來看，提供一站式AI專業(yè)托管服務(wù)的云平臺或許是當(dāng)前的最佳解決路徑。
云平臺擁有充足、靈活的算力資源，中小型企業(yè)不必自行購買和維護昂貴的硬件設(shè)備，即可滿足個性化的開發(fā)需求。用戶可以通過 API和SDK，便捷地調(diào)用云平臺上的第三方資源和大包服務(wù)，將他們的應(yīng)用和服務(wù)與云平臺無縫銜接，最大化簡化開發(fā)流程。
此外，云平臺還能夠幫助解決數(shù)據(jù)的隱私安全問題。過去幾個月來，包括蘋果、三星、臺積電、美國銀行等很多大型企業(yè)都相繼出臺相關(guān)政策明令禁止員工使用ChatGP，紛紛開始自研大模型。而對于那些不具備自研實力的中小型企業(yè)來說，選擇能夠提供包括數(shù)據(jù)加密、身份驗證、合規(guī)性工具等安全措施的云平臺則是一個很好的低成本選項。
大量公司禁止在工作中使用聊天機器人等產(chǎn)品，圖片截自于雅虎財經(jīng)針對當(dāng)前的生成式AI浪潮，云平臺是否已經(jīng)具備大模型開發(fā)的相當(dāng)能力，能夠提供生成式AI的全流程服務(wù)呢？
在剛剛落幕的亞馬遜云科技紐約峰會上，我們看到了一份基于云的生成式AI完整解決方案。
｜ 亞馬遜云科技，創(chuàng)建生成式AI普惠新范式
此次，亞馬遜云科技延續(xù)了過去一貫的“務(wù)實”風(fēng)格，瞄準(zhǔn)當(dāng)前生成式AI應(yīng)用轉(zhuǎn)化所面臨的痛點問題，上新了一系列全新的功能和服務(wù)。從硬件到軟件，從開發(fā)端到應(yīng)用端，試圖打造一個功能最全、能力最強的生成式AI服務(wù)平臺。
Amazon Bedrock服務(wù)：搭建生成式AI開發(fā)的“快速通道”
針對開發(fā)層面基礎(chǔ)模型訓(xùn)練成本昂貴、環(huán)境部署復(fù)雜的問題，今年4月，亞馬遜云科技首次宣布推出Amazon Bedrock服務(wù)，允許用戶通過可擴展、可靠且安全的亞馬遜云科技托管服務(wù)，用API來便捷地訪問來自不同供應(yīng)商的基礎(chǔ)模型，并利用它們來構(gòu)建生成式AI應(yīng)用程序。
當(dāng)時，除了自家的Titan大模型之外，首發(fā)第三方合作商及基礎(chǔ)模型還包括AI21 Labs的Jurassic-2，Anthropic的Claude，以及Stability AI的Stable Diffusion。在這次的紐約峰會上，亞馬遜宣布再次增加前生成式AI領(lǐng)域的最大獨角獸之一的Cohere作為供應(yīng)商，也新增了包括Anthropic最新的語言模型 Claude 2，和Stability AI最新版文生圖模型套件 Stable Diffusion XL 1.0等基礎(chǔ)模型。
亞馬遜云科技認(rèn)為，未來一定不會是一個模型統(tǒng)管一切，Amazon Bedrock通過不斷集成業(yè)界最領(lǐng)先的基礎(chǔ)模型，用戶將可以根據(jù)自身需求來便捷地調(diào)用最合適的模型。
Amazon Bedrock支持模型，圖片來自亞馬遜云科技紐約峰會
但基礎(chǔ)模型有了之后，還有一個棘手的問題沒有解決——如何使用這些模型進行個性化的應(yīng)用開發(fā)？云平臺還要進一步解決私有數(shù)據(jù)學(xué)習(xí)、系統(tǒng)集成和調(diào)試以及任務(wù)自動執(zhí)行的問題。
舉一個我們在日常生活中經(jīng)常會遇到的電商退換貨的例子。你在電商平臺買了雙鞋子不太滿意想要找客服換一個顏色，如果此時客服是ChatGPT等通用聊天機器人，他會怎么回答你？——“抱歉，我的訓(xùn)練數(shù)據(jù)截止日期是2021年9月，沒有這雙鞋的相關(guān)信息?！?/p>
要想讓大模型真正發(fā)揮作用，首先要做的就是提前把公司內(nèi)部跟這雙鞋所有有關(guān)的信息都“喂”給模型，包括鞋的型號顏色、平臺的退換貨政策、庫存信息等等，模型才能準(zhǔn)確地給出反饋。在給出信息的同時，還需要AI一邊聊天一邊能在后臺有序、安全地執(zhí)行有關(guān)換貨的所有操作。
在過去這對于開發(fā)者來說是一個龐大的工程，但現(xiàn)在，亞馬遜新推出了一項名為Amazon Bedrock Agents服務(wù)，讓這一切變得觸手可及。
最新的Amazon Bedrock Agents服務(wù)能夠在基礎(chǔ)模型的基礎(chǔ)上，把對話的定義、模型外部信息獲取和解析、API調(diào)用、任務(wù)執(zhí)行等打包成為一個全托管式的服務(wù)，從而能夠及時、有針對性的輸出結(jié)果。
如此一來，開發(fā)者不必重巨資從頭開發(fā)自己的基礎(chǔ)模型，也不要花費大量的時間和人力去進行模型的個性化部署和調(diào)試，從而能讓開發(fā)者把更多的精力放在AI應(yīng)用的構(gòu)建和運營上，讓不具備雄厚資金和技術(shù)實力的中小型開發(fā)者都可以加入到生成式AI浪潮中來。
“向量數(shù)據(jù)+硬件算力”雙護航，鑄造應(yīng)用開發(fā)的最強大腦+最強底座
進行模型的定制開發(fā)，除了需要如Amazon Bedrock這樣的專業(yè)托管服務(wù)，也需要計算、存儲、安全等其他相關(guān)能力，來保證模型的持續(xù)可用、和迭代升級。
毋庸置疑，數(shù)據(jù)是人工智能出現(xiàn)和發(fā)展的基底。生成式AI為了學(xué)習(xí)和理解人類語言的復(fù)雜性，需要大量的訓(xùn)練數(shù)據(jù)，而這些訓(xùn)練數(shù)據(jù)通常是以“向量”的形式存在，也就是把自然語言轉(zhuǎn)化為計算機可以理解和處理的數(shù)字。
那么，什么是向量數(shù)據(jù)，為什么它對生成式AI的發(fā)展至關(guān)重要呢？
假設(shè)你正在使用一個音樂推薦軟件，我們可以把每首歌分別按照節(jié)奏、歌詞、旋律等三個特征進行量化標(biāo)記，比如第一首歌是（120，60，80），第二首歌是（100，80，70），當(dāng)你告訴系統(tǒng)你喜歡第一首歌的節(jié)奏時，系統(tǒng)便會找到這首歌的節(jié)奏向量數(shù)據(jù)“120”，在數(shù)據(jù)庫中查找與這個向量相似的其他向量，接著再把有相似特征的歌曲推薦給你。
當(dāng)然，不止是三維，一個數(shù)據(jù)還可以被標(biāo)注成更多緯度。在自然語言處理中，使用詞嵌入技術(shù)表示的“詞向量”通常是幾百維的，而在圖像處理中，使用像素值表示的圖像向量可能有數(shù)千到數(shù)百萬的維度。被“向量化”之后的數(shù)據(jù)將被存儲在向量數(shù)據(jù)庫之中，在高維空間中去高效地檢索和生成最相關(guān)或最相似的數(shù)據(jù)。
然而，要將數(shù)據(jù)進行向量化處理和儲存并不是一件容易的事，往往要耗費大量的人力和時間。針對這一問題，亞馬遜云科技此次推出了適用于 Amazon OpenSearch Serverless 的向量引擎，該向量引擎能夠支持簡單的 API 調(diào)用，可用于存儲和查詢數(shù)十億個 Embeddings（將高維度的數(shù)據(jù)映射到低維度空間的過程）。亞馬遜云科技還表示，未來所有亞馬遜云科技的數(shù)據(jù)庫都將具有向量功能，在AI數(shù)據(jù)層面成為開發(fā)者的“最強大腦”。
圖片來自亞馬遜云科技紐約峰會
除了向量引擎的支持，在算力層面，亞馬遜云科技也一直致力于構(gòu)建低成本、低延遲的云上基礎(chǔ)設(shè)施。
亞馬遜云科技和英偉達(dá)合作已超過12年，為人工智能、機器學(xué)習(xí)、圖形、游戲和高性能計算等各種應(yīng)用提供了大規(guī)模、低成本的 GPU 解決方案，在交付基于 GPU 的實例方面擁有無比豐富的經(jīng)驗。此次，亞馬遜云科技展示了最新基于英偉達(dá) H100 Tensor Core GPU 提供支持的P5實例，能夠?qū)崿F(xiàn)更低的延遲和高效的橫向擴展性能。
P5 實例將是第一個利用亞馬遜云科技第二代 Amazon Elastic Fabric Adapter（EFA）網(wǎng)絡(luò)技術(shù)的 GPU 實例。與上一代相比，P5實例的訓(xùn)練時間最多可縮短6倍，從幾天縮短到幾小時，這一性能提升將幫助客戶降低高達(dá)40%的訓(xùn)練成本。借助第二代 Amazon EFA，用戶能夠?qū)⑵?P5 實例擴展到超過 2 萬個英偉達(dá) H100 GPU，為包括初創(chuàng)公司、大企業(yè)在內(nèi)的所有規(guī)?？蛻籼峁┧璧某売嬎隳芰?。
降低生成式AI門檻，用產(chǎn)品最大化賦能用戶
除了面向生成式AI開發(fā)的工具和平臺之外，在企業(yè)的日常運營之中需要一些能夠拿來即用的生成式AI產(chǎn)品，來幫助提升工作和管理效率。關(guān)于這一點，亞馬遜云科技也陸續(xù)推出了一些在工作場景中直接可以使用的產(chǎn)品，這些產(chǎn)品既覆蓋底層開發(fā)人員也關(guān)注到了企業(yè)中大量的非技術(shù)人員。
比如在代碼開發(fā)領(lǐng)域，自從亞馬遜云科技在去年6月首次推出AI編程助手Amazon CodeWhisperer之后，現(xiàn)在該功能已經(jīng)成為了很多開發(fā)者日常必備工具之一。
Amazon CodeWhisperer基于幾十億行開源代碼訓(xùn)練，可以根據(jù)代碼注釋和現(xiàn)有代碼實時生成代碼建議，另外還能進行安全漏洞掃描。目前支持包括 Python、Java 和 JavaScript 15 種編程語言和包括 VS Code、IntelliJ IDEA、JupyterLab 和 Amazon SageMaker Studio等集成開發(fā)環(huán)境。
為了進一步提高開發(fā)效率，在紐約峰會上，亞馬遜云科技正式宣布 Amazon Glue Studio Notebooks 也能支持 Amazon CodeWhisperer。通過 Amazon Glue Studio Notebooks，開發(fā)人員可以用自然語言編寫特定任務(wù)，接著Amazon CodeWhisperer 可以直接在 Notebooks 中推薦一個或多個可完成此任務(wù)的代碼片段，供開發(fā)人員直接使用和編輯。
Amazon CodeWhisperer支持語言和環(huán)境，圖片來自亞馬遜云科技官網(wǎng)
而對于非開發(fā)類工作場景，通過將 Amazon Bedrock的大語言模型能力與支持自然語言問答的 Amazon QuickSight Q 相結(jié)合，為用戶提供了基于生成式AI的商業(yè)智能新服務(wù)。
比如你是一個財務(wù)分析師，你可以像跟ChatGPT聊天一樣用自然語言下達(dá)命令，在幾秒鐘內(nèi)Amazon QuickSight Q就能完成搜索關(guān)鍵財務(wù)信息或創(chuàng)建公司財務(wù)可視化圖表的操作，同時還能幫你總結(jié)出趨勢特點并提出建議。
類似拿來即用的產(chǎn)品還有幫助企業(yè)打破內(nèi)部信息孤島、加快數(shù)據(jù)驅(qū)動決策的Amazon Entity Resolution，以及能夠幫助醫(yī)療軟件供應(yīng)商便捷地構(gòu)建基于生成式AI的臨床應(yīng)用程序的Amazon HealthScribe等等，在各行各業(yè)擴大著生成式AI產(chǎn)品的使用場景。
｜ 釋放AI時代的“云力量”
生成式AI的發(fā)展需要云，更需要大量基于云的工具和服務(wù)。
大模型之后，下一階段生成式AI技術(shù)一定會朝著多樣性和個性化方向發(fā)展，我們既可以看到比較通用的生產(chǎn)力工具，也會看到各種瞄準(zhǔn)特定場景的AI產(chǎn)品。而在這個過程中，云平臺會起到越來越關(guān)鍵的作用。
一方面，云平臺會大大降低AI應(yīng)用開發(fā)的門檻。在平臺的算力和基礎(chǔ)模型支持下，開發(fā)者們基本無需關(guān)心硬件和基礎(chǔ)設(shè)施的問題，從而把更多的時間和精力放在業(yè)務(wù)和運營上。另一方面，云平臺能夠持續(xù)加快AI應(yīng)用的開發(fā)和運營效率。用戶可以通過直接調(diào)用API的方式進行應(yīng)用的開發(fā)和管理，并安全、便捷地在團隊或組織之間共享。
在云平臺的助力之下，未來的生成式AI將不再只是一場巨頭才能玩的“燒錢游戲”，更多普通人也將可以坐上牌桌。
作為云服務(wù)領(lǐng)域的行業(yè)領(lǐng)導(dǎo)者之一，亞馬遜云科技提供了200多種服務(wù)，涵蓋了計算、存儲、數(shù)據(jù)庫、網(wǎng)絡(luò)、開發(fā)者工具、安全、分析、物聯(lián)網(wǎng)、企業(yè)應(yīng)用等廣泛領(lǐng)域，云基礎(chǔ)設(shè)施覆蓋全球。同時，亞馬遜云科技還是人工智能和機器學(xué)習(xí)領(lǐng)域的領(lǐng)先者，多年來持續(xù)提供和更新著一系列端到端的AI相關(guān)服務(wù)，讓開發(fā)者可以靈活、便捷、低成本的開發(fā)和部署生成式AI應(yīng)用。
此次，亞馬遜云科技發(fā)布生成式AI工具“全家桶”，其核心目的就是要進一步降低生成式AI開發(fā)的門檻，讓更多不懂大模型、不懂人工智能的普通人也能快速加入生成式AI的開發(fā)和應(yīng)用之中。
生成式AI的重要性不在于模型有多大能力有多強，更重要的還是如何能夠從基礎(chǔ)模型演變成各個領(lǐng)域中的具體應(yīng)用，從而賦能整個經(jīng)濟社會的發(fā)展。
現(xiàn)在，亞馬遜云科技正在成為那個橋梁。
下載ECAD模型
