OpenAI 釋出自動生成 3D 模型的 Point-E AI
雖然解析度不太好,但只需要一個 GPU 核心和幾分鐘就能完成。
Elon Musk 旗下的 AI 新創公司 OpenAI 在大家都玩瘋了的 DALL-E 文字轉圖像生成 AI,以及聊天 AI ChatGPT 之後,最新的作品是挑戰 3D 模型,而且也是同樣僅需輸入文字就能生成。在下圖的示範中,可見 3D 生成物是以點狀雲組成,解析度不怎麼樣,不過其實這只需要一個 GPU 核心和幾分鐘就能完成,相較 Google DreamFusion 需要多核 GPU 機器和數小時的運算,這樣的成果也算不錯了吧。
3D 模型的應用情景廣泛,包括電影製作的 CGI、遊戲、VR、AR、NASA 的登月任務等等都有多少用上,所以能夠快速、簡單地生成 3D 模型是能大大減輕工作負擔。當然所需要的 3D 模型要多精細、多高解析度,就是因情景而異了。
據 Alex Nichol 所帶領的 OpenAI 研究團隊在上週發表的文件《Point·E: A System for Generating 3D Point Clouds from Complex Prompts》中解釋指,Point-E 不需如其他 AI 般需要大量數據來訓練,而是透過小規模的圖像、3D 數據配對,先由類似 DALL-E 2 的 AI 模型來把文字轉換到圖像後,再為透過 3D 取樣方式生成,使得整個程序只需要數十秒的時間,而且不需要昂貴的優化步驟。
打比方說要生成「正在吃墨西哥捲餅的貓」,Point-E 就會先生成一個 3D 的 RGB 點狀雲,再逐步細修至有 4,096 點解析度的成品。團隊提到原始文字需要有足夠的資訊,也不要提到像素點的確實造型。有興趣的朋友可以到 GitHub 取得開放的源代碼試用看看喔。