芯耀
543
SL1680 SoC本地運行DeepSeek R1 1.5B大模型
自DeepSeek大模型發(fā)布以來，深蕾半導(dǎo)體SoC團隊針對在端側(cè)運行DeepSeek大模型不斷進行研究，探索將DeepSeek大模型與SoC系列產(chǎn)品相結(jié)合的模式。目前已經(jīng)實現(xiàn)利用深蕾半導(dǎo)體的ASTRA SL1680 SoC本地運行DeepSeek R1 Distill Qwen2.5 1.5B大模型。
DeepSeek R1 Distill Qwen2.5 1.5B是DeepSeek R1發(fā)布中最小的模型 - 它可以在ASTRA SL1680上舒適地運行。
一、SL1680本地運行Deepseek-R1-1.5B大模型展示
執(zhí)行過程
要在ASTRA開發(fā)板上運行Qwen，我們將使用llama-cpp-python包，它為Georgi Gerganov的llamacpp提供了便捷的Python綁定。
除了在SL1680本地運行Deepseek-R1-1.5B大模型，還實現(xiàn)了運行Llama 3.2 1B大模型。
運行環(huán)境
系統(tǒng)：Linux(yocto)
硬件：SL1680 RDK開發(fā)板
產(chǎn)品化路徑
對于SL1680產(chǎn)品如何與大模型結(jié)合的問題，建議采用端側(cè)大模型與云端大模型相結(jié)合的工程化方式處理，本地能處理的用戶任務(wù)使用端側(cè)大模型快速解決和輸出，而較復(fù)雜的邏輯以及聯(lián)網(wǎng)功能則通過請求云端大模型API的方式實現(xiàn)。
如視頻所展示的，將Deepseek-R1-1.5B大模型部署到SoC本地，能夠?qū)崿F(xiàn)知識問答、FuntionCall等AI能力。通過將云端的大模型與端側(cè)的語音識別、機器視覺功能、端側(cè)小參數(shù)大模型相結(jié)合，從而讓AI賦能我們的產(chǎn)品，提升產(chǎn)品的智能化程度。
二、本地小參數(shù)大模型與端云大模型結(jié)合的應(yīng)用場景
1，多媒體終端：本地小參數(shù)大模型可在端側(cè)如智能大屏，快速處理一些常見的簡單任務(wù)，如語音助手對常見指令的快速響應(yīng)、文本的簡單摘要生成、數(shù)據(jù)加工整理、設(shè)備操控、產(chǎn)品說明、產(chǎn)品售后問題自助解決等。當(dāng)遇到復(fù)雜任務(wù)，如深度文本分析、多模態(tài)內(nèi)容生成時，可將任務(wù)發(fā)送到云側(cè)大模型進行處理，利用云側(cè)大模型強大的計算能力和豐富的知識儲備來完成。
2，智能辦公設(shè)備（MINI PC）：本地小參數(shù)大模型可以實時處理用戶的語音交互、文字輸入信息處理、智能控制等任務(wù)，作為用戶AI助手。而對于一些復(fù)雜的邏輯理解、內(nèi)容生成設(shè)計和決策任務(wù)等，則借助云側(cè)大模型的強大算力和更全面的數(shù)據(jù)分析能力來完成。
3，零售電商：在商品展示平臺的搜索推薦場景中，本地小參數(shù)大模型可以根據(jù)用戶在本地設(shè)備上的瀏覽歷史、購買行為、環(huán)境感知等數(shù)據(jù)，快速生成初步的推薦結(jié)果。當(dāng)用戶有更復(fù)雜的搜索需求，如對比不同商品的詳細參數(shù)、詢問商品的使用場景等問題時，云側(cè)大模型可以利用其龐大的商品知識庫和強大的語言理解能力，給出更準確、詳細的回答和推薦。
三、ASTRA SL1680 SoC介紹?
ASTRA SL1680是一款專為智能應(yīng)用設(shè)計的高性能系統(tǒng)級芯片（SoC），它擁有
Cortex A73是ARM公司設(shè)計的一款高性能CPU核心，適用于需要高性能計算的應(yīng)用場景，能夠提供強大的處理能力和多任務(wù)處理能力，為Deepseek-R1-1.5B大模型的運行提供堅實保障。
2，高達7.9 Top NPU算力：
NPU（Neural Processing Unit，神經(jīng)網(wǎng)絡(luò)處理單元）是專門用于加速神經(jīng)網(wǎng)絡(luò)計算的硬件單元。7.9 Top的算力使SL1680在神經(jīng)網(wǎng)絡(luò)計算方面有著極高的性能，為端云結(jié)合的應(yīng)用模式創(chuàng)造了有利條件。
3，64-bit高速內(nèi)存：
64位內(nèi)存架構(gòu)支持更大的內(nèi)存尋址空間，使得SL1680能夠同時處理更多的數(shù)據(jù)和運行更復(fù)雜的應(yīng)用程序。高速內(nèi)存則保證了數(shù)據(jù)訪問的迅速性，提升了整體性能。
