6月10日,據小紅書技術團隊消息,小紅書hi lab(Humane Intelligence Lab,人文智能實驗室)團隊首次開源文本大模型 dots.llm1。據介紹,dots.llm1是一個大規模的Mixture of Experts(MoE)語言模型,在總共1420億參數中激活140億參數,dots.llm1在訓練11.2T token高質量數據后,達到了可與Qwen2.5-72B相媲美的性能。
小紅書首次開源文本大模型dots.llm1
界面快報 · 來源:界面新聞
小紅書
5.1k
- 小紅書Hi Lab團隊提出可大幅降低平均思考長度的強化學習訓練方式
- 追覓法務部辟謠“對賭失敗”:惡意造謠,懸賞征集線索
評論
暫無評論哦,快來評價一下吧!