Arm Ethos-U85 NPU:利用小語言模型在邊緣側(cè)實(shí)現(xiàn)生成式 AI
隨著人工智能 (AI) 的演進(jìn),利用小語言模型 (SLM) 在嵌入式設(shè)備上執(zhí)行 AI 工作負(fù)載成為業(yè)界關(guān)注的焦點(diǎn)。Llama、Gemma 和 Phi3 等小語言模型,憑借其出色的成本效益、高效率以及在算力受限設(shè)備上的易部署性,贏得了廣泛認(rèn)可。Arm 預(yù)計(jì)這類模型的數(shù)量將在 2025 年繼續(xù)增長(zhǎng)。 Arm 技術(shù)以其高性能與低功耗的顯著優(yōu)勢(shì),為小語言模型提供了理想的運(yùn)行環(huán)境,能夠有效提升運(yùn)行效率,并進(jìn)