Uncategorized

薬剤師はオワコン?AIに国家試験を解かせてみた!

AIに仕事を奪われる職業として度々挙げられている薬剤師ですが、実際に薬剤師がしている思考をAIが再現できるのかを検証すべく、AIに国家試験を解かせてみようかと思います。この記事を読むことでAIが得意な分野や苦手な分野が分かると思いますし、これから薬剤師がいるのかいらないのかについてざっくり知ることができると思います。




使用するAI

今回使用するAIは今話題の「ChatGPT」です。

私自身、そんなにAI分野に詳しいわけではないので、もしかしたらもっと計算が得意なAIとか論理的思考が得意なAIとかあるかもしれませんが、代表的なものでかつオープンAIなので使いやすい点を考慮してChatGPTを選びました。

ChatGPTは何度か遊びで使用したことがありますが、感心するレベルでいろいろな情報を渡してくれます。ですが、その情報が誤っていることが多々あり、まだ実装できる状態ではないというのが正しいでしょう。

例えば、高血圧の薬を教えてと質問してみると、それっぽく薬の種類を教えてくれて、もちろんあっているものもありますが、当たり前のようにウソの情報を盛り込んできます。

薬剤師であればそんな薬はないよと気づくことができますが、一般の方では鵜呑みにしてしまうかもしれません。

現段階ではAIも完全体ではないので、こういったことが起こっていますが、それでも得意な分野はあると思いますので、今回の検証でそれがお伝え出来たらと思います。

問題を選ぶ基準

どんな問題を解かせるかについてですが、薬剤師国家試験は9科目ありますので、それぞれの科目について検証していきます。

ですが、ChatGPTの仕様上、画像を貼ることができないので、化合物の構造が出てくる問題やグラフから情報を読み取るなどの問題は解かせることができません。

ですので、文章での問のみとなることを予めご了承ください。

各科目についてランダムで数問解かせようと思いますので、その結果を示します。

使用する国家試験は、私が現役で受験した第102回の問題とします。

各科目の結果

化学

問1(理論問題)

正解は1と5です。化学は構造が書いてある問題がほとんどで、ChatGPTに解かせるには不向きな科目でした。そのため、検証問題数は少なめです。

5はあっていますが残念ながら不正解!ロートコンの成分がトロパンアルカロイドというのは有名な話ですので、なぜ否定しているのかわかりませんね~。

問2(実践問題)

正解は3と4です。難易度は普通くらいかと思います。

3は合っていますが不正解!うーん、プロドラッグの意味を勘違いしているのか?セフジトレンに代謝されることが分かっているなら、なんのためにピボキシル基付けているかわかりそうなものですが・・・。

物理

問1(必須問題)

正解は2です。これは暗記問題ですね。

ChatGPTは見事に正解!!出だしは好調ですね。

問2(理論問題)

正解は1と4らしいです。今の私にはこの問題の意味すら分かりません。(笑)

そしてChatGPTは不正解!選択肢1は見事に正解でしたが、3番は誤りです。4を否定しているのは、もしかしたら正確なことを気にしすぎた結果なのかもしれませんね。厳密には近似値だけど、実際は1として扱っているとかそういうのには弱いのかもしれません。

問3(理論問題)

正解は1と2です。

見事に正解!解説までしてくれています。AI恐るべし。

問4(実践問題)

正解は2です。実践問題は実務問題と合わせて2問セットなのですが、実務問題の方がデータや数値が多すぎてChatGPTに入れられず、物理の問題のみとなりました。

正解です。見た感じ解説も正しいようですね。素晴らしい

生物

問1(必須問題)

正解は5番です。普通に勉強していればわかる問題ですね。

見事に正解。

問2(理論問題)

正解は2と3です。かなり難しい問題だと思います。私も現役の時解けていないと思います。

2は合っていますが4は誤りですので不正解!国家試験は2つ選ぶのが大変で、大抵1個は選べるんですよね。AI君も国試の厳しさを味わっているのか?

問3(実践問題)

この問題は連番でChatGPTに聞けそうだったので選んでみました。214の正解は1と4です。215の正解は2と4です。結構むずいです。

1問目は見事に正解!日本の法律まで把握しているとは恐るべし!しかし2問目は4はあっているものの1は誤りなので不正解!惜しいですね。

衛生

問1(必須問題)

正解は1です。ここの化合物はすべて甘味料です。

見事に正解!特に解説はないようです。

問2(理論問題)

正解は1と5です。これは暗記問題ですね。

1は正解ですが2は誤りです。ヘム鉄は含まれません。日本の制度とかには対応できないということなのか。また、選択肢5を否定している理由も辻褄があいませんね。

問3(実践問題)

これも連番でいけそうだったので選んでみました。1問目の正答は1と3です。脂肪乳剤の特徴を覚えておけば解けそうです。2問目の正答は1と3です。脂肪乳剤についてと脂肪のエネルギーを暗記していれば問題なく解けそうです。

1問目は見事に正解です。解説も申し分ありません。

ちょっと何言ってるのかわからないです。2つ選んだ後にまた2つ選んでいて、結局4つ正しいと言っているみたいですね。違いますね。不正解。




薬理

問1(必須問題)

正解は4です。これは暗記問題ですね。

残念不正解!というか1つ選べを完全に無視しているのはどういうことなのか。

正解は2と3です。暗記も重要ですが、アセチルコリンの働きを理解しておく必要がありますね。

見事に正解。解説はやや怪しさがあるものの正解択をしっかりと選んでいますね。

1問目は4が正解ですクロルプロマジンの作用機序を覚えていればそこから副作用が推測できますね。2問目は2と3が正解です。4と5は起こる副作用が逆ですね。アンギオテンシン受容体は遮断しません。

残念不正解。1つは合ってるんですけどね。もう一つがなかなか選べませんね。

薬剤

問1(必須問題)

正解は3です。高齢者は水分量が低下しますので、相対的に脂質割合が増え、脂溶性薬物の分布容積が増大します。

正解です。この問題は解くのに少し時間が掛かったのが気になりました。何か引っかかるところがあったんでしょうかね?

正解は5です。これは結構難しい問題ですね。

不正解。ジルチアゼムは肝代謝なので腎臓は関係ないです。他の選択肢に触れていないのも気がかりですし、当たり前のようにウソをついていますね。

問3(実践問題)

1問目の正解は3と5です。薬物間相互作用を理解していれば解くことができる問題です。2問目の正解は2です。

1問目はAIに聞きにくく解かせることができませんでした。こういう問題こそAIに解いてもらいたいんですけどね。薬剤師の思考を再現するための解答をくれる質問を投げかける方が現状難しいようです。2問目は見事に正解でした。

病態

問1(必須問題)

正解は1です。これは完全に暗記問題です。

これは難なく正解。簡単すぎたか。

問2(理論問題)

正解は1と2です。ネフローゼ症候群の病態を理解しておく必要があります。

1は正解ですが、選択肢4を選んで不正解です。人間でも間違えて選ぶ人がいそうな4ですが、吸着炭ではなくカリウム吸着薬です。抗血小板薬(ジピリダモール、ジラゼプ)は蛋白尿改善目的で使用されるので正しい選択肢です。

問3(実践問題)

1問目は4と5が正解です。肝性脳症の特徴的な症状を覚えておく必要があります。2問目も4と5が正解です。少し難しいですが、消去法で解くこともできます。

1問目は見事に正解。解説も申し分ないです。2問目の選択肢5は正解ですが、1は誤りです。アルブミンは血症膠質浸透圧を上昇させます。また、ラクツロースは腸内細菌により分解されて酸を発生させるためpHを低下させます。加水分解までは合っていますが、考察が浅いですね。

法規

問1(必須問題)

正解は5です。どの憲法がどの権利を保障しているかを覚えておく必要があります。

不正解です。健康で文化的な~は憲法29条です。日本の憲法まではまだ対応できていないか?

正解は1と2です。私はもうこの辺は覚えていません。(笑)

選択肢2は正解ですが、4は誤りです。この自信満々に間違えるのはなんなのでしょうか?

問3(実践問題)

1問目は3が正解です。麻薬の破棄は必ず薬剤師が確認して行います。2問目は1と4が正解です。1問目はAIに聞きにくいので2問目のみ聞いてみます。

選択肢1は正解ですが、5は誤りです。歯科医師、獣医師、薬剤師も管理者になることができます。

実務

問1(必須問題)

正解は1です。これは暗記問題ですね。

不正解です。もう何もう言うまい。

問2(実践問題)

正解は2と3です。

2択とも不正解です。ただ、ほかの選択肢も否定していないし、なんなら肯定しているような説明をしてますね。これは一体どういうことなのでしょうか?

問3(実践問題)

正解は3と5です。

選択肢3は正解ですが、1は誤りです。IL-6阻害薬(トシリズマブ)などほかの生物学的製剤もあります。結核の既往歴を確認する必要があると自ら説明しているのに正しいことにしていないのはおかしいですね。重要なことを判断できていません。

各科目の正答率

国家試験同様に2択選べて1点にしてしまうとかなり低い正答率となってしまうため、選択肢をそれぞれ○×の2択と考えて正答率を算出しました(×は解説付きでかつ解説が適切であるものを正解とします)。必須問題は1つ選ぶ方式のため、問題数は1とカウントし、選べた場合に正解としました。結果を以下に示します。




考察

いかがでしょう?

問題数にばらつきがあり、かつ、私が独断と偏見で選んだ問題であるため、あくまでも参考データとなります。

ランダムと言いつつも、問題を見て、AIに聞けるかをまず判断しており、聞けそうなものでも、聞くときにそのままコピペできないため少し質問を加工したりもしました(質問の趣旨がほとんど変わらない程度に)。

正解不正解の評価も私が設定しており、本来は選択肢単位での正解不正解システムではないため、通常よりも正答率が高く出ている可能性も十分に考えられます。

最も正答率が高かったのは物理でした。

本番の国家試験では計算問題は少ないものの、グラフからの情報読み取り、データ解析などの問題が多く、その手の問題は解かせることができませんでした。

国家試験では最も難易度が高いとも言われる物理が最も高得点だったのは正直意外です。マニアックな暗記が必要な分野でもあり、データ量の多さでそれがカバーできたのかもしれません。

次に正答率の低さが目立ったのは薬理、薬剤、実務でした。

薬理は薬剤師のお家芸でもあり、受験生の点の稼ぎどころですがこのざまです。暗記+論理的思考が必要とされる科目のため、膨大なデータがあってもそれをうまく連携させることが難しいのかもしれません。

薬剤、実務は散々な結果で、とんちんかんな回答が目立ちました。実務はより人間らしい思考が必要な問題が多く、AIに聞きづらい問題も多かったのですが、恐らく聞けたとしても正答率は低かったと思います。理由としてAIは合理性を優先して正解を導き出すアルゴリズムだからだと考えます。

平均正答率は42%でした。これを高いとみるか低いとみるかは人それぞれですが、私個人としては驚異的に高いかなと思います。

概ね65%以上得点すれば合格できる試験ですので、AIでここまで取られてしまうと結構焦りを覚えます。より実践的な部分はまだAIには苦手分野だと思いますが、計算専用AI、論理思考型AI、データ引用型AIなどそれぞれ特化したやつらを組み合わせれば突破されるのも時間の問題かもしれません。

ただ、なんども言いますが、AIの特性上解かせることができる問題が限られています。ここではご紹介できなかった問題も沢山ありますし、その中の多くはモデル症例から情報を読み取って薬剤師としてどのように対応するかなどの実践的な力が求められます。本当はそういった問題をAIに解いてもらいたいのですが惜しくもそれは叶いませんでした。

正解を選んでいてもやや意味不明な解説をしていることもあったり、誤りの指摘内容がめちゃくちゃだったりとまだまだ伸びしろはかなりあると思いますが、もう少し精度が上がってくれば、医師、薬剤師の業務の手助けをしてくれるのではないかと期待しています。

まとめ

かなりの超大作になりましたが、やってみたかったAIの国家試験受験を試すことができてよかったです。

AIはものすごい速度で進化しており、本当に近い将来、間違いなく私たちの生活取り入れられてくるでしょう。

メディアなどでは、AIに奪われる仕事などが列挙されており、あらゆる事務、法律家(弁護士、税理士、会計士など)が上がっており、薬剤師もその中に入っていました。私たちの仕事は医薬品とその情報をしかるべきところに提供することにあるため、情報がAIによって供給されればお役御免というわけです。

ですが、今回の検証をしてみて、機械に問いかけて返してくれる情報を普通の人がどこまで理解できるのかというところに疑問を抱きました。例えば、AIが一般の医学・薬学知識が無い人に内容をかみ砕いて説明することができるのでしょうか?AIが言ったことが仮に間違っていたとして、それを見抜くことができるのでしょうか?それは正しい知識、経験を持つ現場で働いている人間しかいないのかなと思います。検証途中でも、AIは平気でウソをつきます。間違えたとかではなく、あたかも正しいことのようにウソをつくのです。それを鵜呑みにして健康被害が出た場合、その責任はだれがとるのでしょうか?

免許というのは、一定の責任が伴う発言をしてもよい証だとも思います。だからこそ適当なことはできないですし、間違ったときにはきちんと責任を取ります。

AIに責任が取れるようになるまではスケープゴートなりサンドバッグになる存在がいないといけません。現状のそれは私たち薬剤師の仕事かなと思います。

私はAIを敵対視しませんし、むしろ業務を効率化してくれる超有能ツールくらいに考えています。うまく使いこなして、毎日定時に上がれるようになったらうれしいですね。

最後まで読んでいただきありがとうございました。




ABOUT ME
hiropon
初めまして。ヒロポンです。 私は大学病院で薬剤師をしています。 医療や健康についての情報発信をしたいと思いブログを始めました。 定期的に皆さんの健康に寄与する記事を更新しますので、よろしくお願いします。