微軟的兩把刷子
昨天的大新聞——Meta開源了Llama 2模型,這或許將對大型模型公司構(gòu)成了巨大的沖擊,因為它能夠滿足許多公司對于更低成本和個性化需求的要求。和許多開源大型模型相比,Llama 2有著更強的能力,參數(shù)量包括70億、130億和700億規(guī)模。Llama 2的訓練數(shù)據(jù)量提升了40%,上下文長度擴展到4000個字符,對文本語義理解更強,還使用了人類反饋強化學習機制訓練了類似ChatGPT的對話應(yīng)用。當然,Llama 2的訓練成本也很高,網(wǎng)友估計超過2500萬美元。