ChatGPT「剋星」來了!AI打敗AI,GPT-2 Output Detector抓出誰在作弊?
ChatGPT「剋星」來了!AI打敗AI,GPT-2 Output Detector抓出誰在作弊?

ChatGPT的出現,讓上班族和學生都看到了「交作業」的曙光。無論是英語論文、還是閱讀筆記,只要在ChatGPT的知識範圍內,都可以拜託它幫忙完成,寫出來的內容也有理有據。

不過,有沒有想過如果你的老師也準備用「AI文本檢測器」之類的東西來防止作弊呢?

像這樣輸入一段看起來沒問題的文章,經過它一番檢測,認為這段文字「由AI編寫」(Fake)的可能性為99.98%!

ChatGPT2
圖/ T客邦

換個數學論文試試?ChatGPT的輸出看起來沒什麼問題,卻仍然被它準確識破了:

ChatGPT3
圖/ T客邦

這可不是靠亂測,畢竟對方同樣是個AI,也是個訓練有素的AI。

用AI寫的東西來訓練新AI

這個AI檢測器名叫GPT-2 Output Detector,是OpenAI聯合哈佛大學等學校和機構一起打造的。(沒錯,同樣是OpenAI自家做的)

ChatGPT4
圖/ T客邦

https://huggingface.co/openai-detector/

輸入50個以上字元(tokens)就能較準確地辨識AI產生的文本。 即便是專門檢測GPT-2的模型,用來檢測其他AI生成文本效果也同樣不錯。

作者們先是發表了一個「GPT-2生成內容」和WebText(專門從國外論壇Reddit上抓下來的)資料集,讓AI理解「AI語言」和「人話」之間的差異。隨後,用這個資料集對RoBERTa模型進行微調,就得到了這個AI檢測器。

RoBERTa(Robustly Optimized BERT approach)是BERT的改進版。原始的BERT使用了13GB大小的資料集,但RoBERTa使用了包含6300萬條英文新聞的160GB資料集。

其中,人話一律被辨識為True,AI產生的內容則一律被辨識為Fake。

例如這是一段從Medium英文部落格上複製的內容。從辨識結果來看,很顯然作者是親自寫的:

ChatGPT5
圖/ T客邦

當然,這個檢測器也並非100%準確。

AI模型參數量越大,產生的內容越不容易被辨識,例如1.24億參數量的模型「被抓包」的概率就比15億參數更高。 同時,模型產生結果隨機性越高,AI生成內容被檢測出來的概率也會更低。

但即便將模型調整到生成隨機性最高(Temperature=1,越接近0生成隨機性越低),1.24億參數模型被檢測出的概率仍然是88%,15億參數模型被檢測出的概率仍然有74%。

這是OpenAI兩年前發表的模型,當時對GPT-2產生的內容怎麼抓都抓得到。 現在面對升級版的ChatGPT,檢測英文產生內容的效果依舊不錯。但面對ChatGPT生成的中文,它的辨識能力就不那麼好了。例如先讓ChatGPT寫一段作文:

ChatGPT6
圖/ T客邦

AI檢測器認為有99.68%是真人寫的……

ChatGPT7
圖/ T客邦

當然話說回來,ChatGPT也能檢測自己所產生文本。

ChatGPT8
圖/ T客邦

所以,你也不排除老師將你的作業直接交給ChatGPT來辨識。不過這也不是每次都可以準確的辨識出來。

延伸閱讀:ChatGPT是什麼?可以寫code、寫論文⋯一篇看懂最強AI「ChatGP」紅什麼

ChatGPT能騙過AI檢測器

值得一提的是,ChatGPT表示自己並不能連結網路來搜索資訊。顯然,它還意識不到GPT-2 Output Detector這個AI檢測器的存在:

ChatGPT9
圖/ T客邦

所以能不能讓ChatGPT生成一段「不被AI檢測器測出來的」內容呢?

ChatGPT10
圖/ T客邦

ChatGPT很正氣凜然的告訴你它不能做這件事。但如果你換個說法,不要用「騙」這個字。那麼會得到不同的答案。

ChatGPT11
圖/ T客邦

延伸閱讀:ChatGPT厲害歸厲害,但到底怎麽賺錢?兩種獲利方式分析

本文授權轉載自:T客邦

責任編輯:傅珮晴、林美欣

登入數位時代會員

開啟專屬自己的主題內容,

每日推播重點文章

閱讀會員專屬文章

請先登入數位時代會員

看更多獨享內容

請先登入數位時代會員

開啟收藏文章功能,

請先登入數位時代會員

開啟訂閱文章分類功能,

請先登入數位時代會員

我還不是會員, 註冊去!
追蹤我們
AI全球100+台灣50
© 2025 Business Next Media Corp. All Rights Reserved. 本網站內容未經允許,不得轉載。
106 台北市大安區光復南路102號9樓