曾幾何時(shí)，震懾?zé)o數(shù)學(xué)生的「學(xué)好數(shù)理化，走遍天下都不怕」Slogan 在 AI 互聯(lián)網(wǎng)時(shí)代，正在變得失效?，F(xiàn)如今，儼然已變成 GPT 打遍天下無(wú)敵手。

在此趨勢(shì)下，無(wú)數(shù)學(xué)生群體借助 GPT 生成論文、完成計(jì)算、填補(bǔ)作業(yè)……這也讓很多學(xué)術(shù)界的教授們煩惱不已，稱很多學(xué)生喪失了自主學(xué)習(xí)、獨(dú)立思考的能力，只知道把問(wèn)題拋給 GPT 工具來(lái)解答。

為了反向抵制這種情況，一名教授決定用「魔法」打敗「魔法」，萬(wàn)萬(wàn)沒(méi)想到的是，當(dāng)他誤把生成式的聊天機(jī)器人 ChatGPT 用來(lái)檢測(cè)學(xué)生自己完成的學(xué)術(shù)論文時(shí)，所有學(xué)生的成績(jī)不僅都變?yōu)榱恕覆患案瘛?，甚至連獲得畢業(yè)證都成為了問(wèn)題。

具體的事情起因，要從一位名為DearKick 網(wǎng)友在 Reddit 社交平臺(tái)無(wú)奈發(fā)的帖子說(shuō)起。

原來(lái)是德克薩斯 A&M 大學(xué)商業(yè)學(xué)院（Texas A&M University-Commerce）農(nóng)業(yè)科學(xué)和自然資源系教農(nóng)業(yè)課程教授 Jared Mumm 對(duì)所有學(xué)生發(fā)了一封郵件，稱他正在使用 AI 工具來(lái)評(píng)估學(xué)生提交的作業(yè)是由人類編寫(xiě)的還是計(jì)算機(jī)生成的。

根據(jù)披露的截圖，郵件完整的內(nèi)容如下：

下午好！

你們現(xiàn)在應(yīng)該都能在 D2L（大學(xué)常用的在線課程管理系統(tǒng)）上看到你們的課程最終成績(jī)。在每個(gè)人單獨(dú)給我發(fā)電子郵件之前，請(qǐng)仔細(xì)閱讀這封郵件。

在給你們的最后三次作業(yè)評(píng)分時(shí)，我已經(jīng)在Chat GTP 上開(kāi)通了自己的賬戶。我登錄這個(gè)賬戶后，復(fù)制并粘貼你們的回答，Chat GTP 會(huì)告訴我，這些內(nèi)容是否是程序自動(dòng)生成的內(nèi)容。我把每個(gè)人的最后三次作業(yè)分別輸入兩次，如果它們都被 Chat GTP 認(rèn)領(lǐng)是 AI 生成的，你就會(huì)得到?0?分。

我對(duì)這門(mén)課的最終成績(jī)提交將在今天下午 5 點(diǎn)截止。我將給這門(mén)課程的每個(gè)人打?「X」。如果你對(duì)今天下午 5 點(diǎn)前在 D2L 上看到的成績(jī)不滿意，你將完成另一項(xiàng)作業(yè)。如果你對(duì)你的成績(jī)感到滿意，就不要交下一份作業(yè)。

對(duì)于新提交的作業(yè)，你需要在周五下午 5 點(diǎn)前完成。它將通過(guò)電子郵件發(fā)送給你一個(gè) word 文檔。如果你提交新作業(yè)的時(shí)間是在星期五下午 5 點(diǎn)之后，你將收到當(dāng)前在電腦中已經(jīng)顯示的成績(jī)。這項(xiàng)作業(yè)的價(jià)值為 200?分。

本作業(yè)的提示如下：你正在為一家農(nóng)場(chǎng)主提供咨詢服務(wù)，他們要求你幫助他們決定是否應(yīng)該在母豬生產(chǎn)小豬時(shí)候，匍匐喂它們吃東西。

你要列出 5 個(gè)理由。不過(guò)，當(dāng)我通過(guò) Chat GTP 程序來(lái)檢查的時(shí)候，如果有任何使用的跡象，不僅你現(xiàn)在的成績(jī)會(huì)維持現(xiàn)狀，而且我會(huì)在課堂成績(jī)之外判定你為學(xué)術(shù)不端，這將影響你未來(lái)參加任何一門(mén)我的課程或這所大學(xué)的任何其他課程。

一石激起千層浪，很多學(xué)生比較懵，不知教授到底是在干什么。

不難看出，這封郵件中包含了不少錯(cuò)誤，譬如時(shí)下流行的 AIGC 工具是叫「ChatGPT」，而非「Chat GTP」。

而產(chǎn)生這種關(guān)鍵錯(cuò)誤的背后，在于教授似乎并不懂 ChatGPT 這款工具以及工作原理，將這款生成式的 AI 聊天機(jī)器人 ChatGPT 誤當(dāng)做檢測(cè) AI 內(nèi)容的工具。

毋庸置疑，工具都用錯(cuò)了，結(jié)果肯定不會(huì)好到哪里去。

正如眾人所料，ChatGPT 最終將很多學(xué)生提交的作業(yè)標(biāo)記為 AI 生成的。

據(jù)外媒 rollingstone 報(bào)道，學(xué)生不是沒(méi)有想過(guò)要向教授解釋，只是他們解釋了，教授不聽(tīng)。甚至當(dāng)有學(xué)生向教授提供沒(méi)有使用過(guò) ChatGPT 的證據(jù)時(shí)，教授忽略的這一點(diǎn)，甚至「爆臟話」，在學(xué)校的評(píng)分軟件系統(tǒng)中評(píng)論說(shuō)：

「我不給 AI Shit 評(píng)分?！?/span>

無(wú)奈之下，有學(xué)生「發(fā)郵件聯(lián)系了院長(zhǎng)并抄送給大學(xué)校長(zhǎng)」，但是沒(méi)有立即得到幫助。被卷入這場(chǎng)風(fēng)波的學(xué)生說(shuō)，明明他們的文章確實(shí)是他們自己寫(xiě)的。更讓他們感到崩潰的是，一部分臨近畢業(yè)的學(xué)生被暫時(shí)扣留了畢業(yè)證書(shū)。還有網(wǎng)友表述，Mumm 教授以類似的方式讓「幾個(gè)」整個(gè)班級(jí)都不及格，而不是質(zhì)疑他檢測(cè)作弊者方法的有效性。

對(duì)于熟悉 ChatGPT 工具的人想必都知道，它是繼續(xù)大量數(shù)據(jù)訓(xùn)練而成，根據(jù)各種提示，也極容易模仿人類書(shū)寫(xiě)的內(nèi)容，自然也會(huì)將人類編寫(xiě)的內(nèi)容識(shí)別為「AI 生成的」。

為了證明 ChatGPT 易錯(cuò)性這一點(diǎn)，網(wǎng)友Delicious_Village112 復(fù)制了一段 Mumm 教授發(fā)表過(guò)的論文摘要，并詢問(wèn) ChatGPT 這是人類編寫(xiě)的還是 AI 生成的。

結(jié)果 ChatGPT 認(rèn)為它可能是「AI 生成的」：「是的，如果得到正確的提示，你分享的段落確實(shí)可能是由像 ChatGPT 這樣的語(yǔ)言模型生成的?！?/span>

面對(duì)越來(lái)越多的學(xué)生在網(wǎng)上開(kāi)始爆料這一事件，德克薩斯 A&M 大學(xué)商業(yè)學(xué)院緊急發(fā)布聲明回應(yīng)：已經(jīng)解決了農(nóng)業(yè)課堂中對(duì) ChatGPT 的擔(dān)憂。

在聲明中，這所高校表示，他們注意到最近的幾篇新聞報(bào)道涉及到這樣的指控：德克薩斯A&M大學(xué)商業(yè)學(xué)院農(nóng)業(yè)課的高年級(jí)學(xué)生由于對(duì)人工智能生成的作業(yè)有疑問(wèn)而獲得了不及格的成績(jī)，并被暫時(shí)拒絕頒發(fā)文憑。

A&M-Commerce 證實(shí)，沒(méi)有學(xué)生因?yàn)檫@個(gè)問(wèn)題而掛科或被禁止畢業(yè)。

當(dāng)前，這班的班主任教授 Jared Mumm 博士正在與學(xué)生就最后一次的書(shū)面作業(yè)進(jìn)行單獨(dú)溝通。一些學(xué)生獲得了「X」的臨時(shí)成績(jī)——表示「未完成」——以便讓教授和學(xué)生有時(shí)間確定是否使用了 AI 來(lái)寫(xiě)作業(yè)，如果是的話，再做級(jí)別判定。

目前，已有幾名學(xué)生被免除嫌疑，他們的成績(jī)也已經(jīng)公布，而一名學(xué)生已經(jīng)站出來(lái)承認(rèn)他在作業(yè)中使用了 ChatGPT。其他幾名學(xué)生選擇完成 Mumm 博士提供給他們的新作業(yè)。

公告稱，大學(xué)官員正在調(diào)查這一事件，并制定政策來(lái)解決在課堂上使用或?yàn)E用人工智能技術(shù)的問(wèn)題。他們還在努力采用人工智能檢測(cè)工具和其他資源來(lái)管理人工智能技術(shù)和高等教育的交叉問(wèn)題。在課業(yè)中使用人工智能是所有學(xué)習(xí)機(jī)構(gòu)面臨的一個(gè)快速變化的問(wèn)題。

與此同時(shí)，網(wǎng)友 DearKick 在最初的帖子下面更新道，迄今為止，教授已經(jīng)向被冤枉的 1 名學(xué)生道歉：

DearKick 稱，到目前為止，他已經(jīng)與幾名學(xué)生交談過(guò)，截至撰寫(xiě)此評(píng)論時(shí)，已有 1 名學(xué)生通過(guò)在谷歌文檔中編輯的時(shí)間而被免除嫌疑，雖然他們的畢業(yè)證還沒(méi)有發(fā)放，但應(yīng)該發(fā)布。與此同時(shí)，DearKick 透露稱，「由于教授的粗言穢語(yǔ)和與學(xué)生的不專業(yè)溝通，他的工作可能會(huì)受到影響，不過(guò)，不是因?yàn)閷?duì) AI 工具的錯(cuò)誤使用?！箵?jù)悉，該教授向迄今為止被證明沒(méi)有作假的 1 名學(xué)生道歉。

截至目前，這份聲明似乎解決了大部分學(xué)生的問(wèn)題，但是這一次教育工作者對(duì)于 AI 工具錯(cuò)誤使用而引發(fā)的混亂，也讓很多人擔(dān)憂不已。

高校里面是否應(yīng)該使用 AI 工具？老師又是否應(yīng)該使用軟件來(lái)檢測(cè)學(xué)生提交作業(yè)中 AI 生成的內(nèi)容？

其實(shí)，在 ChatGPT 剛剛出現(xiàn)的時(shí)候，不少大學(xué)教授就呼吁不可以使用 ChatGPT。甚至一位來(lái)自弗曼大學(xué)哲學(xué)助理教授 Darren Hick 還曾發(fā)文分享，抓到了一位用 AI 寫(xiě)論文的作弊者，并上報(bào)了上去。

在這一趨勢(shì)下，美國(guó)紐約市教育部正式宣布：紐約市的學(xué)生和教師，無(wú)法再在教育部設(shè)備或互聯(lián)網(wǎng)上訪問(wèn) ChatGPT。

事實(shí)上，ChatGPT 并不是用于對(duì) AI 生成的文本進(jìn)行識(shí)別的最佳工具，它甚至無(wú)法準(zhǔn)確確定是否有人用它來(lái)寫(xiě)一篇文章。

過(guò)去幾個(gè)月間，雖然 OpenAI 推出? AI-Text-Classifier、斯坦福大學(xué)帶來(lái) DetectGPT，甚至連大學(xué)生都在研發(fā) GPTZero 等 AI 「打假」工具，用以區(qū)分人類寫(xiě)的文本和來(lái)自各種供應(yīng)商使用 AI 寫(xiě)的文本，但是極高的失敗率，讓人望而卻步。

此前，來(lái)自美國(guó)馬里蘭大學(xué)的五位計(jì)算機(jī)科學(xué)家 Vinu Sankar Sadasivan、Aounon Kumar、Sriram Balasubramanian、Wenxiao Wang 和 Soheil Feizi 在研究了檢測(cè)大型語(yǔ)言模型生成的文本之后，發(fā)布了一篇《AI 生成的文本能否可靠地檢測(cè)？》論文，最終得出：任何以問(wèn)號(hào)結(jié)尾的提問(wèn)都可以用「不」來(lái)回答。

該論文的一作 Vinu Sankar Sadasivan 坦言，即使是使用最好的檢測(cè)器來(lái)檢測(cè) AI 生成的文本，這種概率并不比扔硬幣進(jìn)行判斷好到哪里去。

「生成性 AI 文本模型使用人類文本數(shù)據(jù)進(jìn)行訓(xùn)練，目的是使其輸出與人類相似。這些 AI 模型甚至記住了人類文本，并在某些情況下輸出它們，而不會(huì)引用實(shí)際的文本來(lái)源。隨著這些大型語(yǔ)言模型不斷迭代，最好的檢測(cè)器只能達(dá)到近 50%?的準(zhǔn)確性」，Sadasivan 說(shuō)道。

根據(jù)論文結(jié)果顯示，可靠的文本檢測(cè)任務(wù)在實(shí)踐中是不可能的。

我們可能永遠(yuǎn)無(wú)法可靠地說(shuō)出一篇文章是由人類還是人工智能寫(xiě)的。

參考鏈接：

[1]https://www.rollingstone.com/culture/culture-features/texas-am-chatgpt-ai-professor-flunks-students-false-claims-1234736601/

[2]https://www.theregister.com/2023/05/17/university_chatgpt_grades/

[3]https://www.reddit.com/r/ChatGPT/comments/13isibz/comment/jkeqnam/?context=3https://arxiv.org/abs/2303.11156