やっぱ恐ろしいChatGPT

ChatGPTには違法なコンテンツの生成をブロックする機能が搭載されていますが

サイバーセキュリティ企業・Check Point Softwareの研究者

「ハッカーがChatGPTの制限を回避してマルウェアを作成できるようにするサービスを販売している」

Cybercriminals Bypass ChatGPT Restrictions to Generate Malicious Content - Check Point Software

https://blog.checkpoint.com/2023/02/07/cybercriminals-bypass-chatgpt-restrictions-to-generate-malicious-content/

Hackers are selling a service that bypasses ChatGPT restrictions on malware | Ars Technica

https://arstechnica.com/information-technology/2023/02/now-open-fee-based-telegram-service-that-uses-chatgpt-to-generate-malware/

ウェブから利用できるChatGPTは潜在的に違法なコンテンツの生成をブロックする制限が設けられており

「デバイスをハッキングしてデータを盗むためのコード」

「フィッシングメールの文面」

を書くように依頼しても、そのようなコンテンツは違法・非倫理的・有害であると警告して拒否

しかしハッカーらはこのChatGPTの制限を回避するため、アプリを構築する開発者などに提供されているOpenAI APIを利用する方法を考案

ウェブ版のChatGPTには違法なコンテンツの生成をブロックする機能が搭載されていますが、APIにはほとんど不正行為防止策が実施されておらず

ChatGPTでフィッシングメールやマルウェアコードなどの悪意のあるコンテンツを生成できる

Check Point Softwareの研究者

地下フォーラムではOpenAIのAPIキーをメッセージングアプリのTelegramなどの外部アプリケーションに統合

悪意のあるコンテンツを生成可能にしたサービスが販売されている

OpenAIのAPIを使用して規制を回避したTelegramボットを通じてChatGPTを利用することで

フィッシングメールの文面を生成させることが可能

また、マルウェアコードを生成させることもでる

あるフォーラムで販売されているサービスはAPIとTelegramアプリを組み合わせたもの

最初の20クエリまでは無料で使用でき、それ以降は100クエリごとに＄5.5の課金が必要という料金体系

Check Point Softwareの研究者であるSergey Shykevich氏

テクノロジー系メディア・Ars Technicaへのメールで

2022/12月～2023/1の間はChatGPTを介してマルウェアやフィッシングメールを生成することが比較的簡単だった

最近になってChatGPTの悪用防止メカニズムが大幅に改善されたため、サイバー犯罪者らは規制がはるかに少ないAPIに切り替えたのだろうと

なお、Ars TechnicaはOpenAIに問い合わせを行ったものの、記事作成時点では返答はないとのこと

Ars Technica

「マルウェアやフィッシングメールの作成は、ChatGPTが有害なコンテンツを世界中にばらまくパンドラの箱を開けていることの、ほんの一例に過ぎません。その他の安全でない、または非倫理的な使用例としては、プライバシーの侵害や誤情報の生成、学校の課題の生成といったものがあります」

・・・恐ろしい