什麼是 AFS
台灣半導體產業晶圓代工 Foundry 的創新模式，帶動全球 IC 設計業至整體半導體與科技產業生態系數十年的蓬勃發展，而生成式 AI 引爆生產力革命，揭示人工智慧系統的摩爾定律時代到來！
台智雲推出 AFS (AI Foundry Service)，透過 AIHPC 高速算力協助企業高效打造專屬大語言模型：在 AI 模型訓練(優化)階段，提供強化繁中語料的「FFM 福爾摩沙大模型」，企業只須準備資料即可展開大模型訓練，有效節省企業前期建置的時間和成本；在 AI 模型推論(部署)階段，除了「雲端」部署服務，更提供市場唯一、整合硬體和軟體的「地端」部署完整方案。
From ChatGPT to IndustrialGPT，AFS (AI Foundry Service) 為企業的 AI 鑄造廠，協助高效率打造符合企業文化與真實需求、提供獨特的實用性的專用模型，兼顧企業資安、合規與隱私的高安全需求，可放心與企業內部系統串接，更具低成本和低門檻優勢，專為企業的生成式 AI 應用和落地賦能。
AFS 特色與優勢
從優化到部署，給您ChatGPT做不到的機密隱私和專屬大模型
整合1,760億參數的預訓練「FFM 福爾摩沙大模型」
讓企業無須從零開始的專業應用磐石
低成本
提供超級電腦環境並按使用量計費，用多少算多少，數千元~數萬元即可快速展開企業大語言模型優化服務。
協助企業有效控管成本，避免浪費，省下龐大的建置成本、開發風險、硬體設備和人力投資環節。
低門檻
提供Llama3-FFM與FFM-Mistral的繁中大模型，以及雲端、地端的模型部署服務，企業無須從零開始建置，且具繁中語意理解與文本生成能力，更接地氣
協助企業快速上手和開發專屬大模型，並可依據各自的規模和需求選擇適合的解決方案。
高效率
基於AIHPC高速算力和no-code平台，企業的1億個tokens優化6小時即可完成，而一次的176B訓練最多可完成21億tokens訓練。
協助企業加速專屬大模型的訓練和部署落地，節省優化成本，強化企業效率。
高安全
符合企業資安、SLA、維運服務、合規與可受稽核等需求，可商業化授權，採租戶隔離制，並提供市場唯一配合地端各式資安需求的部署方案
有效確保企業用戶的機敏資料與紀錄隱私，降低資安風險，安全有保障。
AFS 一站式解決方案
相較自建AIHPC系統、預訓練大模型需耗資上億
協助企業在高效率、高安全的環境，進行模型優化和部署
模型即服務部署方案
AFS ModelSpace
提供企業多種開源大語言模型選擇，靈活配置模型運算資源
企業大模型優化方案
AFS Platform
提供企業〝成本最低〞且 〝效率最高〞的大語言模型訓練環境
企業大模型雲端部署方案
AFS Cloud
提供企業彈性模式部署方案，用多少付多少，免除不必要的成本浪費
AFS 應用案例
使用AFS開始打造企業專屬大語言模型
串接外部資料
企業知識管理
未來數值預測
應用案例參考
推論服務API
AIHPC 超速算力 ‧ FFM 大模型 ‧ AFS GenAI 解決方案
市場唯一， 開始打造部署企業大模型
AFS 影音
常見問題
台智雲的 AI Foundry Service (AFS) 是一套完整的企業級生成式 AI 解決方案，從大模型優化到推論雲/地端部署一站到位，包含協助企業微調專屬模型和建立推論服務的「AFS Platform+AFS Cloud」，以及包含多種繁中強化福爾摩沙大模型 (FFM) 和開源的可信賴大模型，協助企業快速雲端推論的「AFS ModelSpace」，以上服務均可使用 No-code 平台操作。
用戶若有建立企業專屬模型需求，透過「AFS Platform」快速選擇 FFM 基礎模型與高性能 throughput 算力配方，即可在數小時內完成數億 tokens 數量的模型微調訓練，同時利用「AFS Cloud」自動建立推論服務端點與獨立 API URL，就可進行企業生成式 AI 應用整合與 Chat/Playground 測試。
而針對不需再微調模型的企業，則可選用「AFS ModelSpace」上最新的 FFM 或開源大模型，直接呼叫 API 或透過 Chat/Playground 進行推論任務。「AFS ModelSpace」亦提供使用 Token 數 (by tokens) 或模型 by GPU-hours 的不同計費模式選擇。
- 「AFS Platform+AFS Cloud」：提供以「模型建立時間」的計費模式，費用根據選擇的基礎模型將有所差異。
- 「AFS ModelSpace」：提供以「使用 Token 數」和以「模型建立時間」的雙模計費模式，費用根據選擇的基礎模型將有所差異。
了解更多詳見價格資訊。
- 若有建立企業專屬大模型需求之用戶，可選用協助企業微調專屬模型和建立推論服務的「AFS Platform+AFS Cloud」。
- 若沒有微調模型需求之用戶，可選用能即時與多種FFM 和開源的大模型互動的「AFS ModelSpace」。
- 若有機敏資料與資安規範需求之用戶，可選用將專屬大模型地端部署在企業資料中心/私有雲的「FFM地端授權方案」。
了解更多詳見 AFS 產品方案。
台智雲的 AI Foundry Service (AFS) 專為企業用戶量身打造，符合企業的資安、SLA、維運服務和合規等方面需求。AFS 更提供完整一條龍服務，包括從企業用戶 POC 驗證、客製化模型優化 (Fine-tuning)、地端與雲端 Hybrid 模式的模型部署與推論，用戶可依據實際需求選擇適用的服務。請放心，台智雲不會保留用戶在使用 AFS 全系列服務，以及與任何產品互動過程中的所有客戶資料與記錄，也不會作為 FFM 的訓練資料。
此外，AFS 全系列服務亦建構在國家資通安全法規範下，非公務 A 級計算設施之中，用戶的服務與資料均受到最高級別的資訊安全要求規範。在更高機敏規範需求下，亦可選用台智雲的「台智雲的AI Foundry Service (AFS) 專為企業用戶量身打造，符合企業的資安、SLA、維運服務和合規等方面需求。AFS 更提供完整一條龍服務，包括從企業用戶 POC 驗證、客製化模型優化 (Fine-tuning)、地端與雲端 Hybrid 模式的模型部署與推論，用戶可依據實際需求選擇適用的服務。請放心，台智雲不會保留用戶在使用 AFS 全系列服務，以及與任何產品互動過程中的所有客戶資料與記錄，也不會作為 FFM 的訓練資料。
此外，AFS 全系列服務亦建構在國家資通安全法規範下，非公務 A 級計算設施之中，用戶的服務與資料均受到最高級別的資訊安全要求規範。在更高機敏規範需求下，亦可選用台智雲的「FFM地端授權方案」，直接部署專屬模型在地端環境，確保企業內部資料不外流。
企業專屬特定領域內外部資料量如有多達 10 億 tokens 的量級，建議採用 Pretrain- SFT 兩階段優化訓練，建立最好效果的企業專屬領域模型。補上新的字典，讓企業專屬領域知識包含專利的翻譯與專屬的詞庫，如某個詞一定要對應到特定一個翻譯詞或專屬領域意義，故建立專屬的字典效果等同從預訓練階段就是把新的字典訓練進去。
如果沒有充足資料進行 pretrain ，也可直接進行 SFT，SFT 需要資料至少 27 萬(部分高效參數微調)~ 57 萬(全參數微調)個 tokens 以上。
QA Pair的資料問答集，格式為 jsonl 檔，且每筆資料總 tokens 數不超過 4096。
福爾摩沙大模型 (Formosa Foundation Model, FFM) 是台智雲基於大型語言模型 (LLM) 技術所推出的繁體中文強化大語言模型。台智雲自有的技術研發團隊基於多年的 NLP 領域經驗，通過強化 pre-trained model 的 LLM 技術，進一步提升模型的性能。其在繁中語意的理解和知識領域表現出相對顯著的高品質，同時保持原生模型的模型表現能力。特別針對台灣企業用戶在不同領域的多元應用需求，FFM 亦展現了高品質的文本內容生成結果，同時具備整個世界知識和多國語言的能力。
了解更多詳見 FFM 福爾摩沙大模型。
FFM 模型系列自 BLOOM、Llama2、Mistral 到最新的 Llama3，提供各式開源模型之繁中強化版本。在模型規格方面，也提供各模型最完整之參數量規格，包括 BLOOM-176B、Mixtral-8x7B、Llama3-70B 等完整規格的巨量參數大模型。Phi-3 版本的 FFM 也正在研發之中，敬請期待。
在快速變化的 LLM 應用需求中，台智雲將致力提供最新、最完整多樣且優質的大語言模型規格及應用服務，加速企業 AI 2.0 落地應用。
了解更多詳見 FFM 福爾摩沙大模型。
可以支援。透過 LangChain 提供的客製化方式 (參考以下連結：https://python.langchain.com/en/latest/modules/models/llms/examples/custom_llm.html)，應用系統開發者可以依據手冊撰寫 custom LLM wrapper，並於其中指定用戶佈署 FFM 大型語言模型的位址。
歡迎註冊成為台智雲會員，即可啟用「體驗專案申請」獲取一萬元額度免費使用60天，快速體驗「AFS ModelSpace」和其他各式雲平台產品。
了解更多詳見免費體驗專案說明，如需專人服務，請洽 sales@twsc.io 或聯繫我們。
OpenAI 發表的 GPTs 以及其 GPT marketplace/store 所提供服務的對象主要為一般 users ，目的在建立個人自用的 GPT 服務；而台智雲主要提供企業級用戶可信賴且可掌控的開源大語言模型解決方案，同時提供符合企業合規、資安、稽核等要求的地端推論服務。
主要差異為以下 3 點：
- Nocode 平台 – 台智雲提供零程式碼的模型訓練微調與推論服務
AFS 為完整的 No-code 平台，從模型訓練到推論部署方便快速上手；而 NVIDIA 則提供開發的框架 NeMo，以及需要寫 job 和相關程式的 DGX Cloud 。 - 可信賴開源大語言模型 – 台智雲提供可信賴開源、台灣在地知識以及強化繁中語料的大語言模型方案
FFM 為在地台灣知識與強化繁中語料訓練的大語言模型；而 NVIDIA 提供的模型則為 pretrained model 主要支援英語任務，並未經過台灣知識與繁中語料強化。 - 計價模式 – 台智雲針對模型微調以及推論服務部署，根據所選用服務提供不同的計費模式
使用 NVIDIA AI Foundry Service 需要支付 NVIDIA AI Enterprise Software License 費用以及採用雲端部署的 infra 費用。此外，若使用 DGX Cloud 則需支付每月計價的高額使用費。