語言模型 BLOOM 開源

由 AI 創科 Hugging Face 主導並協調的 BigScience 項目公佈成果，推出具備1760億個參數的大型語言模型 BLOOM （BigScience Large Open-science Open-access Multilingual Language Model），其規模大過 OpenAI GPT-3 的 1750 億個參數，而且開放各界下載與存取。

BigScience 項目於去年 5 月啟動，有賴來自全球 60 個國家、逾 250 個機構，以及超過 1000 名研究人員的貢獻，最後由法國超級電腦 Jean Zay 執行 117 天訓練，才於今年 7 月完成 BLOOM 模型。

BLOOM 模型可理解 46 種語言及 13 種程式語言，包含法文、西班牙文、越南文、中文或多種印度及非洲語言，大約只有超過 30% 訓練資料為英文，因此用戶只需選擇一種語言，就能要求 BLOOM 撰寫食譜、翻譯或摘要，也能要求 BLOOM 撰寫程式碼。這是目前全球所開源的最大語言模型，而且透明化，公開了所用來訓練資料，開發時曾面臨的困境，以及評估其效能的方式。