令人尴尬的AI内容检测工具

Words
1259
Reading
6 min
Listen
Play
1y

最近社区内的某个大佬因为使用AIGC生成帖子引起一些争议,其实自从AI越来越人性化之后,关于社区是否可以使用AIGC的争论就从未停歇。

1dd32f24-e7c7-49c3-b965-da87392fd5f0.webp
(图源:图片由ChatGPT辅助生成)

嗯,关于如何使用AIGC见仁见智,我们姑且先不去讨论(以后可能会再写一篇文章说这个事情),今天要说的话题是AI内容检测工具。

没错,这个社区大佬的文章就是被人用AI检测工具查出来使用AI生成的概率为84.7%,如果检测工具无误,那么这么高的概率基本上可以断定文章是由AI生成的啦。

然后大佬也果然光明磊落,直接承认文章是使用AI工具生成,并且将会继续拥抱AI工具。

这个事件中,我最好奇的莫过于到底是哪个工具检测的这篇文章呢?本想去问问用AI检测数据回复大佬帖子的当事人,不过和人家也不太熟悉,那么我就自己找一些工具试试吧。

为此,我特意让ChatGPT帮我生成了一个500字左右的短文,提示词如下:

帮我生成一段软件公司员工下班后的办公大厅场景描写,500字左右。

为了方便大家测试,我把生成的内容也贴了出来:

仿

穿

绿




然后再Google上找了几个AI测试工具,来测试一下。

第一轮测试

测试工具:
https://justdone.com/ai-detector

用上边的文字测试结果如下:
1747661270043.png

咦,这么好用嘛?别急,我拿自己纯手写一个字一个字敲出来的一篇文章试试看。

结果如下:
1747661382467.png

我擦,这概率,你直接说我用AI生成的得了呗,我可以对灯、对天发誓,这篇文章绝对是我自己写的,一点AI技术也没使用!不行我受不了这委屈。

第二轮测试

测试工具:
https://smodin.io/ai-content-detector

还是拿之前的测试文本,看看会有什么不一样,结果如下:
1747661669739.png

擦,这个好,AI生成的内容,被它识别成纯手写的了。

然后再用我纯手写的文章测试一下,结果如下:
1747661847259.png

怎么说呢?就很尴尬,虽然貌似我摆脱了使用AI生成文章的嫌疑,但是其实是这玩意真的一点用都没有呀!

第三轮测试

测试工具:
https://xdetector.ai/

分别测试AI生成的测试文本以及我自己的手写的小小说,结果分别如下。

AI生成的文本
1747661976219.png

我的小小说
1747662044375.png

哇,这个貌似很牛。不过看似很厉害,我如果拿我生成文本中的第一段来进行测试:

夜幕降临,华灯初上,软件公司的一天工作终于接近尾声。办公楼的灯光渐次熄灭,只有一楼大厅依旧亮如白昼。大厅宽敞通透,玻璃幕墙映出外头霓虹灯的斑斓色彩,仿佛一面流光溢彩的屏风,映照着这个属于程序员的白天与黑夜交替的世界。

它就完全测试不出来。所以大概是某种炫技的写法,会触发AI检测机制吧。不过不管咋说,这个工具比前两个工具要好很多。

第四轮测试

测试工具:
https://copyleaks.com/ai-content-detector

测试AI生成的测试文本和我的小小说
1747662857919.png

1747662902407.png

貌似结果很精准吧?不过当我用新的提示词重新生成了文本,检测工具就傻眼了:
1747662974663.png

明明是100%AI生成的,它竟然识别成了0%,哎,不过如此。

总结

测试到这里,已经心灰意冷了,不清楚AI内容检测工具们在英文和其它语系上表现如何,至少在中文检测上,几乎不可用(识别不出来或者误报)。

想到前几天刷到过一则消息,说朱自清的《荷塘月色》被AI内容检测工具检测说80以上的概率是由AI生成,哈哈哈,这是多么可笑的一件事情啊。

f2ae8d9c-a1ef-497f-a3e5-c17a3fe19265.webp
(图源:图片由ChatGPT辅助生成)

当然,虽然AI内容检测工具在检测中文文本是否AI生成时并不尽如人意,但是中文社区里随便拿篇文章,我凭肉眼基本上可以看出是否是AI生成的。如果发现谁滥用AI工具,我可能不会去踩,但是就别在妄想得到我的点赞喽。

相关链接

令人尴尬的AI内容检测工具 | Ecency