FFM-Bloom
全球第一個繁體中文強化版的 FFM- Bloomz (176B / 7B) 全系列模型，採用 Bloom 大型語言模型為基礎，運用 AIHPC 超級電腦算力、優化的高效平行運算環境、大語言模型切割技術和大量繁體中文語料進行優化訓練。
FFM-Bloom
★ 台灣第一個專為企業提供的大語言模型 ★
★ 基於 768 GPU 及 AIHPC 超級電腦環境訓練高達 1,760 億參數 ★
★ 提供 FFM 大語言模型 176B/ 7B 選項，適用各種企業場景需求 ★
★ 強化繁中語料更貼近台灣用語與知識，同時支援多國語言 ★
適用情境
訓練 2 億個 tokens 僅需 5~6 小時 (以每小時處理 4,500 萬 tokens 算力為例)
兼具原生 Bloom 的多任務及泛化能力，並支援英文、繁中等 46 國語言
176B : 適合複雜的文本解析、推敲因果關係、歸納總結文章、產生有創意內容，及 7B 的各類適用情境
7B : 適合翻譯、情感分析、分類任務、聊天機器人問答、文章摘要
參數調整
Standard
全量參數微調 (Full parameter fine-tuning)，使用特定任務資料集對預訓練模型的所有參數進行微調，需要大量的 GPU 運算與儲存資源。
Standard
全量參數微調 (Full parameter fine-tuning)，使用特定任務資料集對預訓練模型的所有參數進行微調，需要大量的 GPU 運算與儲存資源。
PEFT
参数高效微调(Parameter-Efficient Fine-Tuning)，固定大部分預訓練參數，僅微調少量額外的模型參數，降低了運算和儲存成本，同時趨近與全量參數微調的效果，台智雲提供目前較常使用的以下兩種方式：
LoRA : (Low-Rank Adaptation of Large Language Models)，固定原本預訓練完成的模型參數權重，
Bitfit : 一種僅更新極小量參數(Simple Parameter-Efficient Fine-Tuning)的微調方法，固定大部分 transformer 參數，在訓練時只更新bias的參數或部分bias參數，適合用於資源非常有限的情境下進行。