ChatGPT AI 成功通過美國大學商學院和法律考試,但並不高分了

比上不足、比下有餘?

This picture taken on January 23, 2023 in Toulouse, southwestern France, shows screens displaying the logos of OpenAI and ChatGPT. - ChatGPT is a conversational artificial intelligence software application developed by OpenAI. (Photo by Lionel BONAVENTURE / AFP) (Photo by LIONEL BONAVENTURE/AFP via Getty Images)
This picture taken on January 23, 2023 in Toulouse, southwestern France, shows screens displaying the logos of OpenAI and ChatGPT. - ChatGPT is a conversational artificial intelligence software application developed by OpenAI. (Photo by Lionel BONAVENTURE / AFP) (Photo by LIONEL BONAVENTURE/AFP via Getty Images)

文章生成 AI 的興起,讓學術界關注學生會否借用這方式來於功課和考試中作弊。在美國就有來自明尼蘇達大學法學院以及賓州大學華頓商學院的教授,分別以 ChatGPT 針對他們的考試題目來生成答案,結果發現 AI 法學院在四個學科考試中獲得 C+;商學院的管理學科考試中獲 B 至 B- 的成績。兩個都屬及格水平,但並不高分,所以估計一般為求高分的學生應該不會想要花心思來使用 AI 作弊吧?

ChatGPT 團隊分析 AI 作答的內容,發現其品質參差。法學院考試中,ChatGPT 在引用「基本法律規則」和整合教義時的表現很好,但在指出與案件有關的問題時就並不理想。商學部考試結果也是能很好地回答簡單的營運管理和處理分析性的問題,但進階的處理問題就未能回答,甚至弄錯了一些小學生級數的算術。

兩校教授都不約而同地認為,ChatGPT 未能就特定問題提供準確答案,不過得出的大致方向後再由人類細調,都將能有更好的成績。因此他們都建議學校出題時,可以有更多針對分析性的問題而非單純引述規則,用以避免 AI 的干預。但強調學生還是需要學科裡的「基本技巧」,不應該讓機器幫忙。

不過對於引入 AI 到教學之中,研究團隊仍然抱正面態度,因為他們相信這能夠減省學生的時間,用以吸引其他更多知識。