可信賴AI技術論壇系列-二部曲：Hybrid GenAI多樣態終端與應用的與會貴賓合影。
台智雲舉辦可信賴AI技術論壇系列二部曲，以「Hybrid GenAI多樣態終端與應用」為主軸，透過整合華碩集團、Intel等技術能量，打造獨步市場的Hybrid GenAI生態圈，並邀請資策會、創鑫智慧等夥伴參與分享最新趨勢與技術。此外，台智雲也在現場攤位中展出多種軟硬體整合，以及各種合作夥伴的生成式AI應用情境。
華碩電腦營運長暨台智雲董事長謝明傑指出，2022年底生成式AI席捲全球，企業對推動AI 2.0專案有強烈興趣，但自行推動生成式AI的難度相當高，勢必需要夥伴的協助。台智雲在提供可信賴、可負擔的大語言模型方案外，也積極透過與Intel、華碩雲端、創鑫智慧等夥伴合作，加速企業落地生成式AI，進而搶攻全球商機。
Intel副總裁暨客戶平台解決方案事業群總經理高嵩說，在市場關注AI背後的安全議題時，台智雲推出的可信賴AI平台彌足珍貴，特別是以開放式架構讓企業使用，更是降低跨入AI 2.0門檻的重要策略。Intel與華碩合作多時，在AI領域也有緊密的夥伴關係，透過Intel最新發表的新架構，讓更多用戶享受到混合生成AI架構帶來的優點。
TAIDE（可信任人工智慧對話引擎）計畫負責人李育杰指出，考量到市面上大語言模型都是以英文為核心，國科會在2023年初即投入以繁體中文為核心的TAIDE開發，是必要且重要的國家投入。然樂見台智雲在年中即推出全台第一個完成繁體中文優化的福爾摩沙大模型（FFM），也為產業帶來新應用商機，未來期望雙邊有更多合作機會。
活動現場展示攤位區參觀狀況。
在現場眾多攤位中，展示多種開源FFM大語言模型選擇，以及「Hybrid GenAl 多樣態終端應用」主題區，台智雲以AFS（Al Foundry Service）服務可在雲端、地端及終端設備運行的特色，為GenAl應用帶來更廣泛的可能性，且兼顧模型性能和隱私需求。
而「大型語言模型AI工作站部署解決方案」，則是以華碩電腦的地端產品搭配台智雲FFM，提供軟硬整合的私有雲部署方案。此外，機器人Zenbo Junior可搭配大語言模型，發揮各種創新應用，讓機器人擁有更豐富自然的對話且更貼近人心。
AI PC浪潮崛起 擴大生成式AI應用範疇
生成式AI技術浪潮延燒近一年，企業對AI模型部署模式從大主機平台，逐步朝向邊緣裝置發展，創造出更多元化的應用。
台智雲技術長陳忠誠指出，生成式AI應該要能雲、地、端（AI PC）等環境運行，才能創造更多元應用情境，讓更多人享受AI技術優勢的同時兼顧隱私安全。但若要在AI PC上運行，考量到設備算力有限，我們將FFM-Llama 2 7B模型，運用GPTQ高性能壓縮技術有效將16bit模型縮減至4bit，已可在一般AI PC上運作，如運用生成式Al的CCS建立Stable Diffusion XL模型，不只可產出文字，更可透過生成式Al快速產生圖像，加速用戶自行創作的高品質圖片。
以智慧製造為例，藉由AFS中模型微調功能，數十萬筆的退料審查RMA資料無須進行繁瑣的資料前處理作業，在 3 小時內即可微調出具備分析時序性資料進行洞察與預測能力的大語言模型，檢視其在相關係數（0.907）、p value（0.001）統計指標有著相當優秀的表現和可解釋性，可以預測產品的使用期限與維修成本，也可將此流程開拓出商業智慧BI應用新領域，可應用在電商零售、精準行銷等。
Intel商用業務總監鄭智成亦提到，「我們全新推出的Intel Core Ultra行動PC處理器，特別整合可提供AI加速功能的NPU，有助於強化個人電腦執行生成式AI的能力，同時擁有低功耗的表現，如圖像生成、文字及程式生成等，成為提升工作效率的數位助理。」現場展出採用Intel Core Ultra行動PC處理器的華碩筆電，實現在邊緣運算環境創造低延遲和更高效能的效益。
華碩雲端商務企劃部經理高妮瑋表示，為協助企業打造可信賴AI雲端第二大腦，我們整合雲端空間及LLM大語言模型方案，企業可藉由RAG檢索增強生成應用，提升知識探索精準性及靈活度，輕鬆管理、擷取、整理及尋找相關資料，協助員工做好繁瑣文件管理任務。
華碩電腦經理李宗杰指出，生成式AI應用在程式碼撰寫輔助上帶來極大效益，不僅提升工作生產力，也可透過程式建議、自動化程式生成等輔助機制，提高軟體專案開發的速度和品質，並減少安全性問題，讓開發人員更專注在工作執行上。台智雲也將code Llama開源模型整合至AFS，提供程式開發者更好的開發環境，讓軟體專案開發過程更加高效、準確。
創鑫智慧營運長陳建良補充，在推動生成式AI專案過程中，由於需要高性能的GPU晶片協助，其整體成本昂貴，對於電量需求也高，對企業帶來極大挑戰。為此，一套專為生成式AI設計的AI加速器解決方案，可提升運算速度、能源等使用率，具備精準、省電、可擴充等特性，讓大語言模型推論變得更簡單、更親民，降低推動AI專案的門檻。
Edge AI生態圈專家座談，（由左至右）主持人DIGITIMES副總經理黃逸平、台智雲技術長陳忠誠、英特爾公司商用業務總監鄭智成、資策會軟體院總監何文楨。
在專家對談中，DIGITIMES副總經理黃逸平指出，台智雲領航推出FFM和生成式AI的完整解決方案，未來超過一半的應用都會在邊緣AI中發生，台灣的數位服務將呈現百花齊放，AI Foundry則成為支撐整體經濟成長的重要動能。
資策會軟體院總監何文楨認為，隨著全球對大語言模型日益熟悉，為拓展生成式AI應用範疇，愈來愈多人開始將大語言模型縮小，以便能在個人電腦上進行推論。台灣在硬體領域非常強，可望在AI PC時代來臨之際，取得市場領先優勢。
伴隨生成式AI浪潮，若要推動普惠AI，讓更多人享受到AI技術帶來的優點，勢必要朝向混合雲AI架構發展。而台智雲攜手夥伴打造的Hybrid GenAI生態圈，將是帶動台灣產業發展的最大助力。
欲瞭解更多請參閱：
【資料來源：DIGITIMES】