📢 Gate 廣場大使招募開啓!🔥
加入 Gate 大使,不只是創作,更是一段精彩旅程!💡
成爲廣場大使,你將享有:
🎁 專屬福利,展現獨特價值
💰 廣場任務提醒,邊發帖邊賺錢
🎨 限量週邊,成爲 Gate 官方代言人
⭐ VIP5 + 廣場黃V,輕鬆脫穎而出
🚀 加入我們,成爲:
社區意見領袖
Web3 創意先鋒
優質內容傳播者
🎉 點擊報名,開啓你的大使之旅:https://www.gate.com/questionnaire/4937
📖 活動詳情:https://www.gate.com/announcements/article/38592
開源且可商用,300 億參數的MPT-30B 大模型的成本僅為GPT-3 的零頭
AI 大模型開發公司MosaicML 近日發布了新的可商用的開源大語言模型MPT-30B,擁有300 億參數,其功能明顯比前一代MPT-7B 語言模型(70 億參數)更強大,並且性能優於GPT-3。
此外,他們還發布了兩個經過微調的模型:MPT-30B-Instruct 和MPT-30B-Chat,它們構建在MPT-30B 之上,分別擅長單輪指令跟踪和多輪對話。
MPT-30B 模型具有的特點:
該模型已擴展到NVIDIA H100 上的8k token 上下文窗口,使其成為第一個在H100 上訓練的LLM。
MPT-30B 強於GPT-3?
MPT-30B 是商業Apache 2.0 許可的開源基礎模型,強於原始的GPT-3,並且與LLaMa-30B 和Falcon-40B 等其他開源模型具有競爭力。
MosaicML 用2 個月的時間訓練了MPT-30B,使用英偉達的H100 GPU 集群進行訓練。
如下圖,MPT-30B 的訓練數據:
MPT-30B 訓練成本
MosaicML 公司的首席執行官兼聯合創始人Naveen Rao 表示,MPT-30B 的訓練成本為70 萬美元(約502.44 萬元人民幣),遠低於GPT-3 等同類產品所需的數千萬美元訓練成本。
訓練定制的MPT-30B 模型需要多少時間和金錢?讓我們從基本模型開始。
如果您不想從頭訓練,只想微調現有模型呢?
下圖詳細列出了每個1B token 微調MPT-30B 的時間和成本。借助MosaicML 基礎設施,您可以對MPT-30B 模型進行全面微調,而無需擔心系統內存限制,而且只需幾百美元!
參考資料: