OpenAI 釋出自動生成 3D 模型的 Point-E AI

雖然解析度不太好,但只需要一個 GPU 核心和幾分鐘就能完成。

Abstract smokey wave vector background. Nano dynamic flow with 3d particles. Smoky dynamic wavy effect flow illustration
Abstract smokey wave vector background. Nano dynamic flow with 3d particles. Smoky dynamic wavy effect flow illustration

Elon Musk 旗下的 AI 新創公司 OpenAI 在大家都玩瘋了的 DALL-E 文字轉圖像生成 AI,以及聊天 AI ChatGPT 之後,最新的作品是挑戰 3D 模型,而且也是同樣僅需輸入文字就能生成。在下圖的示範中,可見 3D 生成物是以點狀雲組成,解析度不怎麼樣,不過其實這只需要一個 GPU 核心和幾分鐘就能完成,相較 Google DreamFusion 需要多核 GPU 機器和數小時的運算,這樣的成果也算不錯了吧。

OpenAI Point-E
OpenAI Point-E

3D 模型的應用情景廣泛,包括電影製作的 CGI、遊戲、VR、AR、NASA 的登月任務等等都有多少用上,所以能夠快速、簡單地生成 3D 模型是能大大減輕工作負擔。當然所需要的 3D 模型要多精細、多高解析度,就是因情景而異了。

OpenAI Point-E
OpenAI Point-E

據 Alex Nichol 所帶領的 OpenAI 研究團隊在上週發表的文件《Point·E: A System for Generating 3D Point Clouds from Complex Prompts》中解釋指,Point-E 不需如其他 AI 般需要大量數據來訓練,而是透過小規模的圖像、3D 數據配對,先由類似 DALL-E 2 的 AI 模型來把文字轉換到圖像後,再為透過 3D 取樣方式生成,使得整個程序只需要數十秒的時間,而且不需要昂貴的優化步驟。

打比方說要生成「正在吃墨西哥捲餅的貓」,Point-E 就會先生成一個 3D 的 RGB 點狀雲,再逐步細修至有 4,096 點解析度的成品。團隊提到原始文字需要有足夠的資訊,也不要提到像素點的確實造型。有興趣的朋友可以到 GitHub 取得開放的源代碼試用看看喔。