存算一體

DeepSeek掀起AI計(jì)算革命，算力瓶頸何解？ AI領(lǐng)域正在經(jīng)歷一場(chǎng)顛覆性的變革！DeepSeek，一款近期火爆全球的開源AI大模型，正與GPT-4、Sora等模型一起，掀起一場(chǎng)前所未有的算力競(jìng)賽。隨著AI訓(xùn)練規(guī)模的指數(shù)級(jí)增長，計(jì)算資源的短缺已經(jīng)成為無法忽視的問題——算力不足，功耗爆表，傳統(tǒng)芯片難以支撐未來AI需求！ 當(dāng)前主流的馮·諾依曼架構(gòu)已無法跟上AI發(fā)展的步伐，存儲(chǔ)與計(jì)算分離導(dǎo)致數(shù)據(jù)搬移成

國產(chǎn)AI芯片的發(fā)展歷程中，“泡沫破裂”似乎是一個(gè)難以回避的階段。特別是個(gè)別企業(yè)的市場(chǎng)表現(xiàn)引發(fā)了市場(chǎng)對(duì)AI芯片的擔(dān)憂。然而，這也并非全然是負(fù)面現(xiàn)象，更像是技術(shù)創(chuàng)新和市場(chǎng)篩選的必經(jīng)之路。

2024年，大模型技術(shù)的迅猛發(fā)展成為人工智能領(lǐng)域的核心驅(qū)動(dòng)力，其對(duì)硬件算力和存儲(chǔ)效率的極致需求，促使存算一體技術(shù)在全球范圍內(nèi)迎來前所未有的關(guān)注與突破。隨著模型參數(shù)規(guī)模的持續(xù)膨脹和應(yīng)用場(chǎng)景的不斷拓展，存算一體技術(shù)作為解決數(shù)據(jù)傳輸瓶頸、提升計(jì)算效率的關(guān)鍵方案，展現(xiàn)出巨大的發(fā)展?jié)摿Α?在大模型的推動(dòng)下，存算一體技術(shù)在學(xué)術(shù)界和產(chǎn)業(yè)界均取得了顯著進(jìn)展。學(xué)術(shù)研究聚焦于如何通過存內(nèi)計(jì)算優(yōu)化大模型的訓(xùn)練與推理效率

近年來，隨著AI應(yīng)用場(chǎng)景的爆發(fā)式增長，AI算法對(duì)算力的需求急劇上升，這一增速已顯著超越了摩爾定律所預(yù)測(cè)的硬件性能提升速度。傳統(tǒng)的計(jì)算芯片，在計(jì)算資源、處理時(shí)延以及功耗控制方面，逐漸顯現(xiàn)出難以滿足AI高并行計(jì)算需求的局限性。

近日，清華大學(xué)集成電路學(xué)院在2024 ACM/IEEE第51屆年度計(jì)算機(jī)體系結(jié)構(gòu)國際研討會(huì)(ISCA)上發(fā)表了國際首款面向視覺AI大模型的三維DRAM存算一體架構(gòu)，可大幅突破存儲(chǔ)墻瓶頸，并基于三維集成架構(gòu)特點(diǎn)，實(shí)現(xiàn)相似性感知計(jì)算，進(jìn)一步提高AI大模型的計(jì)算效率。