• 正文
    • ChatGPT到底是個什么鬼?
    • ChatGPT背后的芯片
    • 結語
  • 相關推薦
申請入駐 產業(yè)圖譜

ChatGPT爆火,能帶飛哪些芯片?

2023/02/15
1708
加入交流群
掃碼加入
獲取工程師必備禮包
參與熱點資訊討論

最近兩周,全球人民都想和一個叫ChatGPT的聊天,搞得服務器兩天宕機了五次......

這個在去年11月底,由人工智能實驗室OpenAI推出的AI程序,上線5天內收獲超100萬的注冊量,到今年1月末已經突破1億!要知道,TikTok達成1億小目標花了9個月,Twitter可是用了60個月!這“漲粉”速度不去帶貨真是可惜了......

能瞬間在全球范圍內成為“當紅炸子雞”,并且讓中國AI概念股股民狂喜的ChatGPT到底是何方神圣?它的爆火說明了什么?它的背后又和芯片有哪些關系?

閱讀本文,你將了解以下內容:

1. ChatGPT是什么?

2. ChatGPT背后的芯片

ChatGPT到底是個什么鬼?

官方點說,ChatGPT是由OpenAI開發(fā)的一個人工智能聊天機器人程序。將它的名字拆開來,“Chat”指聊天,就是它的展現形式;“GPT”則代表Generative Pre-trained Transformer(生成型預訓練變換模型),即支撐它運行的預訓練模型。ChatGPT使用了Transformer架構并訓練了大量的文本數據,能夠進行語言翻譯、問答、對話等任務。

從體驗上來說,它像是有想法、會學習的高階版“小愛同學”,能通過不斷的對話記住你提供的信息,來不斷豐富自己的語料庫并提供答案。

沒錯,在你對面的,是一個真正的工具“人”。

ChatGPT眼中的自己

AI出現了那么久?為什么這個這么火爆?

GPT的核心結構是Transformer。想要完整了解ChatGPT,得先從它說起。

Transformer是是一種采用自注意力機制的深度學習模型。簡而言之,神經網絡是一種非常有效的模型類型,用于分析圖像、視頻、音頻和文本等復雜數據類型。

在它之前,我們使用深度學習來處理輸入序列的方式是使用一種叫做循環(huán)神經網絡的RNN的模型。它要求輸入的數據必須順序正確,因為它只能按順序一對一的輸出,所以RNN很難達到并行化,這意味著我們不能通過使用更多的GPU來加快訓練。

來源:知乎用戶@張俊林

Transformer則能夠一次性處理所有輸入數據,不再要求順序準確,可以非常有效地進行并行化操作。也就是說,如果有合適的硬件條件,我們可以訓練一些真正的大模型

來源:知乎用戶@張俊林

GPT便是以此架構為基礎誕生的。

第一代的GPT-1在2018年發(fā)布,首次采用了 Transformer 架構作為特征抽取器,解決了傳統 RNN 結構的缺陷與效率問題。然而,當時的數據量只有1億多,和現在動輒千億比起來少得可憐,因此它的表現并不好,只在問題回答、語義相似度評估、語義確定、文本分類任務中簡單應用。畢竟數據量越大,機器學習得以學習的基礎越多,效果更精準、更智能的可能性就越高。

GPT-2在下一年發(fā)布,底層架構沒變,參數量有了大幅的提升。到了GPT-3,模型參數達到了1750億個,它已經可以完成答題、寫論文、文本摘要、語言翻譯和生成計算機代碼等真正意義的 AI 創(chuàng)作。

為什么前面幾版都悄無聲息,到了ChatGPT突然大爆了呢?

簡單來說,就是能力發(fā)生了質變,一下子變得好“牛”。

ChatGPT是在GPT-3衍生而出的GPT3.5上進行微調而誕生。

ChatGPT 采用了 RHLF (Reinforcement Learning from Human Feedback,基于人類反饋的強化學習)算法,采用人工標注的方式將NLP(Natural Language Processing,自然語言處理)和RL(Reinforced Learning 強化學習)結合起來,極大地提升了模型效率和學習能力。

此前的GPT-2和GPT-3為了大幅增加參數量,都采用無監(jiān)督學習模式,也就是輸入一堆數據,讓模型自己去學,不進行人工干涉。而到了ChatGPT,為了讓他更好用,引入了人工標注數據和強化學習,可以讓大模型更理解信息的含義,并進行自我判斷——也就是更貼近理想中的人工智能效果。也就是說,以前對的錯的一起全吸收了,現在則有人告訴它對錯,讓他更懂。

就像我們在使用ChatGPT的時候,前面問得越多、給出的信息越多,它提供的回答便會更符合我們的要求。


只要鋪墊夠多,2+5也可以是8

ChatGPT 代表著 AI 技術的新一輪突破,并且大概率預示著 NLP 技術有望迅速進入平民化應用時代,相關技術不僅對眾多的 C 端應用帶來革新,同時也將對 B 端應用產生重大影響。

微軟在2月7日宣布將ChatGPT引入旗下的搜索引擎必應和Edge瀏覽器。這一下子讓整個互聯網圈炸開了鍋,一些龍頭企業(yè)火速跟上:谷歌宣布推出AI對話機器人“Bard”(吟游詩人);百度宣布類似ChatGPT的項目“文心一言”3月面世......

短時間內重磅消息頻出,ChatGPT終于破圈,遍地開花。

ChatGPT背后的芯片

一般內容創(chuàng)作分為三個階段:專業(yè)生產內容(PGC)、用戶生產內容(UGC)、AI生產內容(AI Generated Content,AIGC)。早期專業(yè)視頻門戶網站采用PGC模式,而現在一些主流的社交平臺如抖音、小紅書、微博等是以UGC為核心的傳播方式。

目前以PGC、UGC為主,AIGC為輔,AIGC被認為是繼PGC和UGC后,新的內容創(chuàng)作方式。

ChatGPT只是AIGC中的一環(huán),如AI寫作、AI作曲以及此前爆火的AI繪畫等都屬于AIGC中的一種。隨著AI技術的成熟,過去的“人工智障”已經蛻變成“數字人”,在娛樂、金融、零售業(yè)等發(fā)揮著作用:早在2016年的里約奧運會上,寫稿機器人就參與了賽事報道。光百度推出的數字人系列就包括AI手語主播、虛擬偶像、虛擬編輯等,其AI技術已經用于央視,并參與了去年兩會的報道。

ChatGPT是一種基于大規(guī)模語言模型的超智能對話AI產品,無論是探討概念化的AIGC,還是爆火的ChatGPT,本質上是在探討其背后的AI產業(yè)鏈。

人工智能三大要素:數據、算法、算力,這三大要素相輔相成,缺一不可。

如前文所述,ChatGPT是基于OpenAI的第三代大模型GPT-3升級而來,從GPT一代到三代,模型參數量已經來到1750億個,理論上參數量會隨著算力的增長而增長,極限在哪尚未知。

而算力的來源就是芯片。ChatGPT的爆紅,勢必會推動AI芯片產業(yè)的發(fā)展。

來源:ChatGPT——生成式AI迎來拐點,商用落地前景可期,國泰君安證券

AIGC產業(yè)鏈可以分為計算硬件層、云計算平臺、模型層及應用層。雖然ChatGPT比拼的是模型層和應用層,但計算硬件層無疑是背后的支柱。

AI算力芯片泛指加速AI類應用用,主要分為GPU、FPGA、ASIC。由于CPU的算力很有限,且處理并行操作比較吃力,因此一般將CPU搭配加速芯片使用。具體來看,GPU最初是用于圖像處理的芯片,但其通用性強,適用于大規(guī)模并行計算,且算力遠優(yōu)于CPU,因此很適合人工智能,這一數據密集型的應用場景;FPGA的優(yōu)勢在于開發(fā)周期短、靈活性高,大量應用在線上數據中心、軍工領域等;ASIC的優(yōu)勢在于小型化、低功耗、高性能,一般用于消費電子,同時也適合AI運算場景。

ChatGPT背后的計算集群使用的是英偉達的AI芯片。OpenAI曾表示,ChatGPT 是與英偉達和微軟合作完成的超級AI。微軟在自己的云——Azue HPC Cloud中構建了超級計算機集群,將其提供給OpenAI。據悉,該超級計算機擁有 285000個CPU(中央處理器)內核和10000多顆AI芯片。

除了算力芯片外,AI對話程序在執(zhí)行計算期間需要大容量、高速的存儲支持,預計高性能存儲芯片需求也會增長。三星電子就表示,為GPU和人工智能加速器提供數據的高性能高帶寬內存 (HBM) 的需求將會擴大。從長遠來看,隨著AI聊天機器人服務的擴展,對用于CPU的128GB 或更大容量的高性能 HBM 和高容量服務器 DRAM 的需求預計會增加。

降本、降功耗成為發(fā)展AI專用芯片的方向。據了解,采購一片英偉達頂級GPU成本為8萬元,GPU服務器成本通常超過40萬元。對于ChatGPT而言,一次模型訓練成本超過1200萬美元。正如OpenAI CEO SamAltman曾在推文中所說的那樣:“用戶每次與ChatGPT進行聊天,會花費幾美分?!?/p>

隨著SoC技術的發(fā)展,越來越多的企業(yè)開始推出自研的AI專用芯片,如谷歌的張量處理器TPU、英偉達的數據處理器(DPU)BlueField系列、百度的昆侖系列、華為的昇騰系列、阿里巴巴平頭哥的含光800等。億歐智庫的數據顯示,隨著大算力中心的增加以及終端應用的逐步落地,中國AI芯片需求也持續(xù)上漲。2021年疫情緩解,市場回暖,產生較大增幅;類腦等新型芯片預計最早于2023年進入量產,因此2024及2025年或有較大增長,預計市場規(guī)模將于2025年達到1740億元。

從AI芯片的計算功能來看,由于AI應用模型首先要在云端經過訓練、調優(yōu)與測試,計算的數據量與執(zhí)行的任務量數以萬計,云端訓練需求是AI芯片市場的主流需求。而到后期,訓練好的AI應用模型轉移到端側,結合實時數據進行推理運算、釋放AI功能,推理需求逐漸取代訓練需求,帶動推理芯片市場崛起。2025年,云端推理與端側推理成為市場規(guī)模增長的主要拉動力,提升了逐漸下滑的AI芯片市場規(guī)模同比增速。

中國AI芯片市場入局者眾多,海思半導體已成為國內營收規(guī)模最大的集成電路設計企業(yè),以昇騰系列為主要GPU產品,在AI終端芯片具有優(yōu)勢。云端領域,百度可提供云上GPU服務器;海光信息、天數智心與登臨科技均以GPU為主打,是國內特定細分領域的主要競爭對手。

以下是2022年中國人工智能芯片企業(yè)TOP50:

結語

早幾年,AI創(chuàng)業(yè)的熱潮、資本的瘋狂涌入還歷歷在目,那時憑空出現的“AI專家”,被搶上天的“AI程序員”,終于在潮水退去后,沉寂下來。ChatGPT的成功破圈,似乎又看到了當初那股子“激情”再現。但ChatGPT還需要多久能落地?落地到底能給人們帶來些什么?落地過程中要花費多少成本?這個成本是否能夠承擔得起?

小冰CEO李笛在談到成本問題時表示,如果用ChatGPT的方法,小冰每天成本將高達3億元,一年成本超千億元。

且不說這沒日沒夜的電費賬單,就高昂的芯片價格和運營成本或許都能勸退不少“雄心壯志”的企業(yè)。所以,ChatGPT能發(fā)展到哪一步?又能帶動高端芯片產業(yè)幾分?一切難以下定論。

相關推薦

登錄即可解鎖
  • 海量技術文章
  • 設計資源下載
  • 產業(yè)鏈客戶資源
  • 寫文章/發(fā)需求
立即登錄