ブログ

May 16, 2023

ChatGPTが別の健康診断に合格、MDに一歩近づいた

ChatGPT lo è

ChatGPT は優れた医療試験受験者になりつつあります。

その最新かつ最先端のバージョンである ChatGPT-4 は、すでに米国の医師免許試験に見事に合格しています。 そして今、専門医へまた一歩近づいた。 まあ、ある意味。

火曜日、科学者らは、OpenAI の最新チャットボット ソフトウェアが、合格基準の 70% を 10 ポイント以上上回り、カナダまたは米国の放射線医学委員会試験に難なく合格できると発表しました。

ただし、落とし穴があります。ChatGPT は (今のところ) 言語を処理することのみを目的として設計されているため、AI の放射線検査には画像が含まれていませんでした。 これは、X線、MRI、その他の身体画像に基づいた診断を重視する医学分野にとって、ある種の重大な見落としのような気がする。

ChatGPT は、SAT、司法試験、さらには難しいマスター ソムリエ テストなどの試験に合格しており、受験者としては手強い存在であることを示しています。

放射線科試験では、ChatGPT-4 は 81% の合格点を獲得しました。 ボットは、分析、合成、評価など、単なる記憶の想起を超えたスキルを必要とする高次の思考の質問で特に高いスコアを獲得しました。 ChatGPT-4 は、画像所見の説明 (85%) と概念の適用 (90%) に優れていました。 しかし、テストのより単純な問題の一部ではそれほど良い成績を収めることができず、実際には、その前任の GPT 3.5 が正解した問題のうち 12 問が不正解でした。

研究著者でトロント総合病院の腹部放射線科医であるラジェシュ・バヤナ博士は、「放射線学のいくつかの難しい質問に対するChatGPTの正確で自信に満ちた回答に私たちは最初驚いた」とプレスリリースで述べた。 「しかし、非常に非論理的で不正確な主張にも同様に驚かされました。」

ChatGPT の核心は、次に吐き出す最適な単語を予測するように設計されているだけです。つまり、チャットするために構築されています。 そのおしゃべりさは、試験で偉そうにするために簡単に利用され、非常に自信に満ちた（しかし時には間違った）受験者を生み出す可能性があります。

自然言語処理の専門家であるブラウンのコンピューターサイエンス教授エリー・パブリック氏は、この問題はチャットボットに特有のものではないと言う。 彼女は、筆記試験の解答に基づいて、生徒たちが自分が教えた概念を本当に理解しているかどうかを判断するのに常に苦労していました。

「うまく構成された言葉を話すと、知っているように見えますが、知っているかもしれないし、知らないかもしれません」とパブリック氏はブラウン大学で最近開催された ChatGPT ラウンドテーブルで語った。 「これは、私たちが実際よりもはるかに多くの知識と認識を ChatGPT に帰したい理由の良い兆候です。なぜなら、よく構築された言語には、[貧弱な] 理解を実際に覆い隠す可能性があるからです。」

医師らは、ChatGPTは患者の診断や治療に使用すべきではなく、その医学的正確性を常に人がチェックする必要があると主張している。 しかし、医療専門家は、ChatGPT が医師と患者のコミュニケーションを改善するための優れたツールとなり得ることにも気づき始めています。 ChatGPT は冗談が得意であるからこそ、急いでいる医師よりも思いやりがあるとみなされることがよくあります。

次に読む