台智雲推一站式整合方案 為大型語言模型及生成式AI助力

大型語言模型(Large Language Model,LLM)及生成式 AI(Generative AI)快速發展,開啟新世代 AI 新範疇。台智雲領先全台宣布成為第一個成功建置 1,760 億個參數的 BLOOM(BigScience Large Open-science Open-access Multilingual Language Model)大模型,推出「AI 2.0 大算力顧問服務」一站式整合方案,整合新世代 AI 的基礎建設、開發環境及專業技術團隊服務。

台智雲推一站式整合方案 為大型語言模型及生成式AI助力

以台智雲完成的 BLOOM 大模型成果為例,資料集包含 46 種人類語言、13 種程式語言,參數量達到 1,760 億個,整體資料量高達 1.5TB 以上,運用 840 個 GPU 做跨節點(node)訓練,除了效能逼近線性理論值外,也可收斂訓練結果,若欲增加效能,亦能用線性的方式擴容(scale out),增加 GPU 來提升平行運算能力。

此外,企業自行推動 LLM 專案,需熟悉分布式訓練架構、建置 AIHPC 高速運算系統、理解微調技術(fine-tune)、大模型推論(inference),布建門檻極高,若使用「AI 2.0 大算力顧問服務」,可快速降低投入時間、技術成本、開發風險、硬體設備和人力投資等成本,打造自有生成式 AI 應用。

台智雲推一站式整合方案 為大型語言模型及生成式AI助力

台智雲技術長陳忠誠指出,AI 技術結合大型語言模型已是產業科技發展的趨勢,企業要單獨執行 LLM 專案的難度極高,利用一站式 AI 2.0 大算力顧問服務,可更專心投入研發專案,大幅降低進入門檻。台智雲 AIHPC 高速運算平台結合技術資源團隊,以全新的服務模式,提供完整的AI外部支援,現今已有高科技研發製造、金融和零售領域企業正在洽談合作中。


Anna Nikova

超過十年媒體工作經驗,經常沉浸於數位世界,關注領域涵蓋 3C 科技、5G 通訊等應用。