2022年にChatGPTのサービス提供が始まってから、業務や日常生活で生成AIを活用する機会が増えました。
こうしたサービスは便利な一方で、生成AIが出力する回答には誤りが含まれていることがあります。
歴史的な年号や地理的な間違いといった小規模なものだけでなく、ときには完全にでたらめな内容を創作することも。
生成AIがそのような誤情報を出力する現象を「ハルシネーション」と呼びます。
この現象が生じた場合、誤った回答であっても自然な文章が出力されるため、よほど疑ってかからないかぎり、見極めるのが困難です。
この記事ではハルシネーションについて、その原因や事例を解説します。
合わせて、業務にAIを活用する際のハルシネーション対策についても説明していきます。
ハルシネーションとは
ハルシネーションがどのような現象なのか、概要を具体例と共に解説します。
また、ハルシネーションが発生しやすい操作というものが存在するため、合わせて見ていきましょう。
AIが誤った情報を出力する現象
ハルシネーションとは、ユーザーの質問や操作に対して、AIが誤った情報を出力する現象です。
「ハルシネーション(hallucination)」は「幻覚」を意味する英単語で、まるでAIが幻覚を見たかのように、事実とは異なる情報を生成することからそう呼ばれます。
また、「作話(confabulation)」や「妄想(delusion)」といった言葉で表現されることもあります。
ChatGPTやBardのような対話型AIにおいてしばしば発生する現象で、知識のないユーザーには誤りであると気づくことが難しく、誤情報の拡散や会話型ボットサービスの信頼低下につながる深刻な問題です。
AIが存在しない新聞記事の要約を作成したり、有名人にまつわる事実無根の情報を出したりといったものがハルシネーションで、既に膨大な事例が報告されています。
この現象は、AIの学習過程や回答生成時の文脈、誤った推測によって発生すると考えらます。
ハルシネーションの種類
ハルシネーションには、「Intrinsic(内的)」と「Extrinsic(外来的)」の2種類に分類されます。
前者は学習データに基づいて出力された誤情報で、地名や年号など、実在する事柄についての事実が部分的に間違っていることが多く、学習データと照らし合わせることで正誤判定が可能です。
対して、後者は学習データには存在しない情報をAIが作成したもので、外部ソースを用いなければ検証ができないという特徴があります。
ハルシネーションの例
例えば、実際には存在しない映画のあらすじをAIに質問してみます。
本来であれば、あらすじを回答することはできないのですが、AIは「架空の映画のあらすじ」をもっともらしく答える傾向にあります。
公開年や監督、キャストまで丁寧に書かれているため、よほど疑ってかからなければ、AIの回答を鵜呑みにしてしまうでしょう。
他の例としては、実在する企業の前年度の収益をAIに尋ねたところ、事実とは異なる回答を出力し、ユーザーが訂正しても同じ回答を繰り返すという事例もあります。
このほか、有名人の誤ったプロフィール、地理的な間違いなど、ハルシネーションは多様な形で発生するのです。
ハルシネーションが発生しやすい質問
ChatGPTやBardのような対話型AIにおいて、ハルシネーションが発生しやすい質問の仕方というものがあります。
この現象の発生原因やメカニズムについては研究途上にありますが、代表的な操作の1つが、
「そもそも質問内容が事実と異なる場合」
です。
架空の映画や歴史についてAIに質問すると、まるでそれが実在するかのような回答を生成することがあります。
ということは、質問する人がすでに勘違いをしている場合などは、それを訂正してくれることなく、むしろ誤った回答で質問者の誤認識を深める結果となります。
また、専門的な内容や新しい知識・事柄についての質問も、ハルシネーションが起こりやすい質問です。
ハルシネーションの原因
ハルシネーションの原因は、学習データによるものと出力過程によるものに分けられます。
ここでは、ハルシネーションの主な原因について解説します。
学習データの誤り
まずはAIが学習に用いる学習データの問題です。
AIはインターネットや文献などから大量の情報を収集して学習しますが、そこに誤った情報が多数含まれていたり、内容に偏りがあったりする場合、ハルシネーションの原因となります。
そのため、収集した情報から誤りや偏りを減らすことで学習データの質を上げる取り組みがなされています。
例えば、ネット上の情報を人間が見る時には
「誰が発信しているのか」
も重視している事と思います。
健康面や栄養面などは、一般の人のブログよりもお医者さんが書かれた記事をより正しいものとして意識していると思います。
仮に、お医者さん1人がAという意見をネット上で書いていて、一般人100人がその反対意見のBを書いていたとします。
本来であれば、専門家であるお医者さん1人の意見を無視するべきではないでしょう。
もちろん、お医者さんも認識が古い場合や間違いもあるでしょうが、専門家の意見は尊重されるべきです。
しかし、AIが情報収集をした際には、一般人100人が書いたBという意見が採用される可能性が高いです。
このように、間違った情報をAIが学習してしまうことがあるのです。
データやバージョンが古い
学習データやシステムのバージョンが古いことも、ハルシネーションの原因となります。
AIが学習している情報が古く、現在の状況と合致しない、あるいは存在しないことから、誤まった情報が出てきます。
システムのバージョンによっては、学習データが更新されていないため、比較的新しい事柄についてAIを利用する際には注意が必要です。
また、AIそのものもアップデートされていくため、
「より学習能力が高いものや、情報の精査ができるもの」
は、有料化されていき、それよりも古いバージョンが無料利用できる・・・という事も多々あります。
そのため、古いバージョンを使っていると、そもそもの学習能力が低いものを使っている可能性があるのです。
推測による出力
AIは与えられた質問に対して、学習データから推測した答えを作成することがあります。
特に対話型AIは、必要な情報が学習データには含まれていなくとも、質問への回答を無理やり生成してしまうため、ハルシネーションが発生します。
推測による出力で発生した誤情報は、他のものと比べて正誤判定が難しいのが特徴です。
文脈重視の回答
AIは時に、情報の正確性よりも質問・回答の文脈を重視する傾向があります。
これは、入力に対して自然な回答を目指すというAIの特徴が原因です。
AIが自然な文脈を重視するあまり、回答を作成する過程で情報が変更されてしまい、ハルシネーションが発生します。
特に大規模言語モデルは単語から次の単語を推測するというプロセスで動くため、正確な情報を出力するように訓練されていません。
そのため、文脈は自然でも内容は間違っている文章が生まれてしまいます。
ハルシネーションの事例
日々、大小さまざまな事例が報告されているハルシネーション。
その中でも、特に有名な事例を紹介します。
ChatGPTによる事例
生成AIとして、おそらく最も有名なChatGPTは、それだけに数多くのハルシネーション事例が報告されています。
早い事例では、β版が公開されたばかりの2022年に、スイスのデータサイエンティストであるTeresa Kubackaは、“a cycloidal inverted electromagnon”という架空の専門用語をChatGPTに尋ねたところ、正しいことのような文脈で、参照文献まで提示して回答しました。
「既にある用語を偶然入力したのか」と思い、参照文献などを調査しましたが、ChatGPTの回答はすべてでたらめであることが確認されました。
AIが推測によって文脈重視の存在しない回答を出力した事例として報告され、現在もAI利用の根本的な課題として研究が進められています。
Bardによる事例
2023年にGoogleがリリースした会話型AIサービスである「Bard」でも、ハルシネーションの事例が報告されています。
Googleによる大規模言語モデルを基に開発されたBardは、プロモーション動画の中で、すでにハルシネーションが発生していることが発覚しました。
プロモーション動画には「ジェームズ・ウェッブ宇宙望遠鏡」についての知識をBardに複数回答させるシーンがあります。
しかしその中に、「初めて太陽系外惑星の撮影に成功」という、ヨーロッパ南天天文台による成果が出力されるという誤ったコンテンツが含まれていました。
これにより、Bardの信頼性を疑問視する声が相次ぎ、Googleは対応に迫られています。
生成AIを業務に活用する際のハルシネーション対策
対話型AIサービスを、日々の業務で活用する機会が増えました。
しかし、ハルシネーションが発生した場合、どのように対処すれば良いのでしょうか。
ここでは、作業に生成AIを用いる際の対応策について説明します。
ハルシネーションが発生することを意識する
まずは、生成AIにはハルシネーションが付き物である、不正確な回答や誤情報を出力する場合があると意識することが大切です。
AIが出力した内容を鵜呑みにしないためには、結果が正しそうな文脈で、参考文献まで提示してきたとしても、まずは疑ってかかる必要があります。
そうした態度で生成AIに接することで、ハルシネーションによる被害を減らすことが可能です。
生成AI利用のガイドラインを策定する
利用時の注意点や回答の確認方法など、生成AIを利用する際のガイドラインを策定することも重要です。
社内にハルシネーションの存在を周知させることが、問題回避のポイントとなります。
こうしたサービスは発展途上にあり、速いペースでアップデートがおこなわれるため、定期的にガイドラインを更新しましょう。
生成結果の確認手段を用意しておく
生成AIを業務に活用する際には、得られた情報を確認する手段を準備しておくことが大切です。
業務に確認プロセスを組み込むことで、ハルシネーションによる被害を減らすことができます。
確認するうえでは、AIに搭載された検索サービスを併用するほか、行政などの公的機関が発行する資料や、該当する論文、記事など、信頼性の高いソースに当たるのが確実です。
特に、専門性の高い分野や比較的新しい事柄については、この現象が起こりやすいため、一次情報を参照することが重要となります。
企業のAI活用はAMELAに
今回は、生成AIによる問題点である「ハルネーション」について見てきました。
すでに若い世代は
「Googleで検索するよりもChatGPTに聞く」
という風にシフトしていると言われています。
実際、細かい指定や単語で表現しにくい言葉の検索には、自然言語で書くことが出来るAIの方が簡単に質問できると感じています。
しかし、ハルネーションをはじめとして、まだまだ発展途上の仕組みには色々な問題が隠れていることがあるのです。
企業がビジネスでAIを活用する上で、是非AMELAにご相談ください。
AMELAでは、オフショア開発による大規模開発から現在の事業のDX化まで、幅広いお手伝いが可能です。
