澳洲留学生和研究人员担心AI作弊检测工具的准确性,澳洲多所大学回应(合影)

在澳大利亚澳洲新闻




当 Jia Li 通过旨在检测人工智能 (AI) 内容的计算机程序运行她的一篇大学论文的草稿时,该程序给出的结论是,超过一半内容可能是机器编写的。

一位女士坐在电脑前喝咖啡,头发遮住脸。
国际学生担心他们的作业可能被标记为人工智能生成的。 (Unsplash: Andrew Neel)

程序标记国际学生用中文写的句子,然后由程序翻译成英文,还标出了自己用英文写的其他句子。

“这是我自己的作品,但 [程序] 说它是人工智能生成的,”她告诉澳大利亚广播公司 (AB)。

女士。李使用人工智能检测程序是因为她的大学已经开始采用类似的工具,使用文本生成的人工智能程序来标记可能作弊的学生。

“我知道其他被发现有不当行为的学生,”她在不愿透露姓名的情况下告诉澳大利亚广播公司。

女士。李是澳大利亚的国际学生。他们中的一些人在中国社交媒体上发帖,表示担心写作测试工具不可靠,可能会导致他们被诬陷作弊。

ChatGPT等生成式人工智能工具的迅速出现,可以生成大学论文等材料,部分学生已经能够将生成的文本作为自己的作品。大学被迫争先恐后地做出回应。

一些大学选择使用检测人工智能 (AI) 生成的文本的工具,以此来发现可能由机器编写的作业。

然而,人工智能专家认为该技术可能不准确,一些人认为此类检测工具不应该用于检查学生作业。

美国研究人员呼吁大家小心

< figure>< p style="text-align: center;">背景为计算机芯片板的 ChatGPT 徽标插图。
McCluskey 博士说她明白人工智能的使用对国际学生来说是一个“雷区”。 (Reuters: Dado Ruvic, Illustration)

其中一个位于中心的检测器争议在于 Turnitin 4 月份推出的一款新的 AI 书写检测工具,号称高度准确。

随着大学开始使用该工具,加利福尼亚州斯坦福大学的一项研究提醒人们谨慎,因为它发现 AI 文本检测工具可能“本土作者”存在偏见。

这项研究不包括 Turnitin 的 AI 检测工具。

研究人员通过人们可以使用的 7 种不同检测器测试了 91 篇中国学生的英语作文和 88 篇美国学生的英语作文。

该工具发现,61% 的中国学生作文是由 AI 生成的,但对美国学生的作文表现出“近乎完美的准确性”,这意味着他们工作没有标记。

该报告的合著者、斯坦福大学生物医学数据科学助理教授 James Zou 表示,他还不信任 AI 检测器,因为研究表明他们很容易被愚弄,而且错误很多。

邹教授表示,目前很多人工智能检测算法过分依赖“困惑度”指标,该指标衡量的是文本中使用的复杂词汇。

“如果你有很多复杂的词,那么它们就会产生高度的混淆,”他说,并指出非母语人士的写作通常是被误认为是人工智能生成的,因为它们不使用那么多“花哨”的词。

他还认为,AI 翻译和语法工具使用的算法最终会降低写作的“困惑度”,因此检测工具将更容易对齐文本行也被标记为 AI 生成的。

“该研究最后呼吁更广泛地讨论在评估或教育环境中使用 ChatGPT 内容检测工具的伦理问题。”

Logo Open AI 在白色电脑前的黑色手机屏幕上呈白色带有文字的屏幕。
Turnitin 从澳大利亚学术界收到的大部分反馈都是积极的. (美联社照片:Michael Dwyer)

悉尼新南威尔士大学 (UNSW) 的学生 Lee 女士正在检查她的手术。

ZeroGPT 发言人表示,其检测器准确无误,不会针对“非英语母语作家”,该公司“一直在寻找改进服务的方法。

新南威尔士大学正在使用 Turnitin 的 AI 检测工具。

发言人学校表示,AI 检测工具可协助教师“检测学生提交的作业中是否存在任何未经授权使用人工智能的情况。”

"初步检测并非确凿证据作弊,也不会直接导致发现学术不端行为。这将引发进一步的调查,”该发言人说。

李女士在她的文章通过 ZeroGPT 检测后,她花了几个小时重写了所有被标记的句子减少标记为机器生成风险的检测工具。

她的家庭作业仍然得到“非常低的分数”。

"老师告诉我,我的课文很难看懂,"李老师说。

"但我没办法。我需要降低AI比例。”

李女士表示,新南威尔士大学允许她偶尔使用翻译程序,前提是她标记了哪些内容是由 AI 翻译的。

新工具对学习有“重大影响”

女人的手在笔记本电脑上打字
一些人工智能专家认为该技术可能不准确。(Unsplash: Cristin Hume)

墨尔本大学的中国学生苏菲告诉澳大利亚广播公司,她最近的一项作业被 Turnitin 标记为 30% 可能是机器编写的。

“我不认为 [Turnitin 的] 人类 AI 检测是完美的,”索菲说,她更喜欢只使用她的英文名字。

她说她没有在作业中使用任何语法、翻译或 AI 文本生成工具,大学应该等到工具更准确地标记可能的不当行为。

“我的很多朋友不得不提前购买 Turnitin 来检查[他们的作业]。”

“AI 的[使用]检测工具对我们的学习产生了很大的影响。”

墨尔本大学发言人表示,Turnitin 新工具只是提醒下一步该做什么,并且学生提交的所有作品“必须是他们自己的。”

该大学的网站声明该工具已经上线,“以便我们对其进行测试[ text] 彻底并积极地向 Turnitin 提供有关其设计的信息。意见”。

“这可能意味着该工具错误地将一些作业识别为由 AI 编写,而实际上它们不是。”

"如果你被要求讨论或解释你作业的某些部分,请理解这本身并不是对学术不端行为的指控。"

Turnitin 亚太区副总裁詹姆斯·索利 (James Thorley) 表示,该公司正在努力将假阳性结果的可能性降至最低。

"在发布该工具的第一阶段,我们的目标当然是能够大规模检测 ChatGPT 生成的文本,”Solley 先生说。

"这是不寻常的新领地。我们正在学习,并将根据我们所看到的情况进行调整和改变。”

Solley 先生说,公司从澳大利亚学术界收到的大部分反馈都是

就在上周的一份声明中,Turnitin 首席产品官 Annie Chechitelli 表示公司现在已经对检测工具进行了一些修改。

< p style="text-align: justify;">Cecchitelli 女士表示,在推出后的七周内,更多的“真实世界”测试表明,如果该工具不会将 20% 的内容标记为由 AI 完成,则假阳性结果的概率会更高。

“这是一种不一致的行为,我们将继续测试以了解根本原因。”

"为了减少误读的可能性,我们更新了相似度报告中人工智能指标的按钮,为低于20%的百分比添加星号,提醒注意分数实际上不是如此可靠。 "

把学生当成“罪犯”

ChatGPT 可以让作弊变得更容易,但并非所有教育工作者都认为禁止它是解决方案
ChatGPT等生成式人工智能工具的迅速涌现,迫使各高校迅速响应。

维多利亚迪肯大学决定不使用 Turnitin 的 AI 检测工具。

该大学数字学习中心主任 Trish 副教授 Trish McCluskey 表示,虽然该大学使用了 Turnitin 的文本匹配工具,但他们对其 AI 检测工具高度准确的说法持谨慎态度。

“直到学校能够为了测试新 Turnitin 产品的功效和数据管理流程,迪肯大学选择不在学生作业评分中使用该工具,”她说。

"这是为了保护学生数据,并符合全球越来越多的教育机构所采取的方法,我们希望许多澳大利亚大学也能效仿我们的方法。

McCluskey 教授表示,她理解人工智能的使用对国际学生来说是一个“雷区”。

在课堂上学习
ZeroGPT 的发言人说他们的检测器是准确的。 (Flickr CC: Jirka Matousek)

大学人工智能专家Toby Walsh教授悉尼新南威尔士州的教授也对智能检测工具的不准确性表示担忧。

Walsh 教授说人工智能工具,包括那些用于检查翻译和语法的工具,对于母语不是英语的学生来说,可能是一个有用的学习辅助工具。

“[人工智能技术]既可以提高文本质量,帮助[ students] 交流想法,并可以自己产生意见,”。

“问题是我们如何将两者分开。”

《人工智能与学习的未来》一书的作者 Stefan Popenici 说,人工智能检测到最棘手的问题之一是大学“从一开始就将学生视为潜在的罪犯。”

Nitsch 博士说,在查尔斯达尔文大学工作的波普应该谨慎使用这些工具来应对人工智能文本生成带来的挑战。

< p style="text-align: justify;">“我们试图找到一个非常复杂的问题的快速解决方案。解决方案,因为我们喜欢简单的解决方案,”他说。

“我们抱怨我们的学生走捷径。然后我们也在走捷径。 "

"我认为这不公平。 "


澳洲中文论坛热点
悉尼部份城铁将封闭一年,华人区受影响!只能乘巴士(组图)
据《逐日电讯报》报导,从明年年中开始,因为从Bankstown和Sydenham的城铁将因Metro South West革新名目而
联邦政客们具有多少房产?
据本月早些时分报导,绿党副首领、参议员Mehreen Faruqi已获准在Port Macquarie联系其房产并建造三栋投资联

中文新闻,澳洲经济,时事,华人论坛动态,悉尼本地消息,墨尔本,珀斯,布里斯班,澳洲新闻,澳大利亚华人网,澳洲华人论坛