2023年4月15日土曜日

AIが生成した文章を検出するツールの誤検知でAIを使って課題のエッセイを作成した, と疑われて0点

対話型AIのChatGPTは非常に自然な文章を生成できるため幅広い分野で活用できる一方で
教育面でChatGPTが学習や研究を侵害する恐れから、ニューヨーク市が生徒と教師によるChatGPTの利用を全面禁止したり、ChatGPTなどのAIで科学論文を書くことが国際会議で禁止されたりと、さまざまな動きが見られています
そのような中で、エッセイの課題に対して教師がAIが生成した文章を検出するツールを使用したところ、100％人力で執筆したエッセイがAIを使って書かれたとして0点になった
という学生の体験を学生の親であるfailnaut氏がツイートして話題に

教育の現場でChatGPTを使うことの意義を問う調査では、アメリカのスタンフォード大学の学生のうちおよそ17％が課題または試験にChatGPTを使用していると回答
17％のうち大多数はアイデアの捻出や検討のためにChatGPTを用いましたが
約5％はChatGPTが出力したものを編集せずにそのまま提出したと

ChatGPTの教育現場での使用を禁止する動きもありますが、ChatGPTは学習においても有用なツールと考える声もあり
禁止するのではなく使い方を教えるべきという指摘や、学生教育にAIとどう向き合うかという教育を取り入れる試みも

ChatGPTなどのAIツールの使用をNGにする場合でも、正しい使い方を指導する場合でも
課題や論文にそのまま使用するズルを見抜く必要がある
しかし、人間がAIが書いた文章を特定できる確率は、約50％でコイントスと同じレベルに過ぎないという研究結果が
ChatGPTを開発したOpenAIによるAIの文章を検知するツールAI Text Classifierや文章を書いたのが人間なのかAIなのかを見分けるツールGPTZeroに期待が集まっているものの
いまだにAIによって作成されたコンテンツを確実に検出できるものではないと
また、検出ツールはAIによる文章を検出できないことがあるだけではなく
人間による文章をAIによるものだと誤検出してしまうことも

2023/4/11failnaut氏がツイート
学校の課題として出たエッセイにfailnaut氏の息子がfailnaut氏のアドバイスを受けながら取り組んだところ
担当の先生がAIによって生成された文章かどうかをツールで確かめるプロセスにおいて、failnaut氏の息子のエッセイがAIによるものと判断
ツールによってAIの文章だと検出された後に先生から確認はなく、failnaut氏の息子は釈明の余地もなく0点を付けられ
failnaut氏
「これが2023年のテクノロジーの現状です」

AIによる文章だと疑われてしまった原因として、提出されたエッセイが、よくできすぎていることから生徒によるものではないと判断され
AIを使用したと疑われた可能性を指摘する意見もコメントされた
それに対して、failnaut氏
「私は、エッセイを書くサポートをしたと述べましたが、具体的には、自分自身の言い方で伝えたいポイントを正しい構造で書けるように指導したり、引用を多く使うようなことを避けるよう助言したりと、良い習慣を身に付けられるようサポートしたのみです。代筆するようなことはしていません」
failnaut氏はAI検出ツールを使用した先生を直接批判したいわけではなく
「ほとんどの場合、人を欺くために使われ、多くの子供たちが不正行為の濡れ衣を何度も着せられて幻滅するようなツールが、資金提供を受けて拡大し続けることに、本当に不満があるのです」
failnaut氏も講師の経験があるとのことで
「教師がAIによって生成された文章をこれからどれだけ処理しなければならないのか、想像もつきません」
failnaut氏のツイートには多数のコメントが
「これは、重要なAIに関する倫理的考慮事項の1つに思えます。人生を変えるような結果をもたらす主要なツールとしてAIを使用することはお勧めできません」
大学のレポートや論文、高校の課題で同様の事件に遭遇した多数の経験談も
ツールを使用するとしても人による文章かAIによる文章かの判断は完全自動化は不可能
最終的には手動で確認する必要があるという意見に合わせて
「課題を怠けてAIに任せている生徒を探すという仕事を、教師がAIに任せて怠けているという、皮肉な事件です」

Hacker Newsでもfailnaut氏のツイートが話題に
あるユーザーは、イギリスの主要大学の一部で行われている施策では
学生側が、自らの文章に検出ツールを使って、AIによるものと疑われないように確認することが大学から奨励されていると
もともとは学生が悪気無く参考文献からコピー＆ペーストしたり、無意識に文章や表現を盗用したりすることを検知して避けるためのプロセスですが
これをAI検出についても行うことで、AIを用いたと疑われる可能性を下げることが可能になるそう
OpenAIによる検出ツールでも、AIが作成したテキストを正しく識別できるのは26％程度
人間が作成したテキストをAIが作成したものとして誤って識別する確率が9％あると指摘されており
「そもそもAIを識別するために、AIツールを用いているのがおかしい」

failnaut氏によると、担当の先生はすぐに誤りを認め、failnaut氏の息子のエッセイを正しく受理
一方でfailnaut氏は、自らとりくんだ課題をAIでズルしたと一度でも見なされた子供が自信を無くしてしまうような可能性があることに怒りを・・・

・・・なんてメンドウなモノを・・・
でも遺言書作成にはイイかも
オチはなさそうだし
そもそも弁護士とか司法書士に依頼するコトもあるし・・・
・・・発想がジジイ？

今日も～
デンドロビウム キンギアナム /Dendrobium kingianumシルコッキー

先週、開花
あと２つツボミが
肥培しないんで
こんなもん？
そろそろ同居人の木の特定をしないと・・・

2023/4/16
加筆
投稿者 時刻:
ラベル: ,

0 件のコメント:

コメントを投稿

登録: コメントの投稿 (Atom)