Google PaLM 2 是會生成程式碼的多語種大型語言模型

新版 Bard 已經在基於它運作了。

Google Bard AI
Google Bard AI

在 I/O 2023 大會上介紹新版 Bard 聊天機器人的同時,Google 也一起公開了它背後的 PaLM 2 大型語言模型。作為通用向模型 PaLM 的迭代產品,PaLM 2 在能根據特定任務(比如加強醫學知識)微調的基礎上,以多語種支援、推理和程式碼生成能力為方向做了改進。它在多語言文本方面的訓練量遠遠超過前身,已經能涵蓋超過 100 種語言,而且對不同文化特定用語和詞組的理解也有所加強。

與此同時,它也善於生成 Python 和 JavaScript 代碼。得益於「科學論文和包含數學表達的網頁」的大量訓練數據,PaLM 2 也培養出了更強的「邏輯、常識推理和數學」能力。根據 Google 的介紹,該模型目前已具備四種尺寸,能讓它在本機上直接運行的裝置類別下到手機上到伺服器群。「我們將 PaLM 打造得更小、更快、更有效,同時提升了其能力。」DeepMind 副總裁 Zoubin Ghahramani 這麼說道。最輕量的模型據稱已經可以在 Samsung 的 Galaxy 行動裝置上作為互動 app 運作,很快 Google 也會公布超過 20 款具有 PaLM 功能的產品。

更多 Google I/O 2023 相關文章