參數規模達 1.75 兆的悟道 2.0 是目前全球最大的智慧模型

AI 智慧模型屆又迎來了新的強者。在日前舉辦的 2021 北京智源大會上，智源人工智慧研究院正式發表了悟道 2.0 智慧模型。它的參數規模達到了 1.75 兆，是一年前領域代表 OpenAI GPT-3 的 10 倍。相較 Google 的 Switch Transformers 超級語言模型，悟道 2.0 的參數規模也要多出 1,500 億。值得一提的是，距離悟道 1.0 登場其實才過去了不到三個月的時間。在這過程中，模型的訓練方向也從原來主要以中文文本為主，變成了文本與視覺集合，因而悟道 2.0 可以用於更多不同任務，通用性得到進一步提升。

智源新研發的 FastMoE 技術，是悟道 2.0 能成為兆級模型的關鍵。Google 目前所採用的 MoE（Mixture of Experts）方案，因其分佈式訓練框架和客製硬體需求，而使得大多數人都無法獲得使用與研究的機會。悟道的 FastMoE 則是首個支援 PyTorch 框架的 MoE 系統，它具備「簡單易用、靈活、高效能」等特點，而且支援大規模並行訓練及 Switch、Gshard 等複雜均衡策略。相較之下，能提供更低的門檻和更多的彈性。

根據智源的介紹，悟道 2.0「在詩詞創作、做對聯、文本摘要、人設問答、繪畫等方面都已接近突破圖靈測試」。在大會上官方還展示了與小冰公司（源自微軟）合力開發的虛擬學生「華智冰」，其發展方向是在多項認知智慧上超越人類，在識別基礎上還要有創造能力，以幫助 AI「從感知智慧向認知智慧時代邁進」。