最近はやりのChatGPTに触れる機会があったので、公認会計士の短答試験を解かせてみた。
ChatGPTでは、図・表を読み取らせることができないようなので、財務会計論・管理会計論は計算問題は除外して、理論問題のみを対象として、昨年の12月に行われた試験問題を解かせた。
AI（ChatGPT）に解かせてみた
例えば、企業法の第1問は以下の通りであり、それをChatGPTに解かせた。
【ChatGPTの解答】
『正しいものは、イとウです。
イは、店舗やそれに類する設備を使って物品を販売する者が商人とみなされることを規定しています。
ウは、商人の使用人でない者でも、商人の通常の営業に属する取引の媒介をすることを営業としている場合には商人とみなされることを示しています。
アは正しくありません。最高裁判所は、信用金庫が商人であるかどうかを判断するための判例を出しておらず、信用金庫が商人であるかどうかは状況に応じて異なります。
エは、商法上の定義において小売業を営む者は商人として扱われます。したがって、小商人も商人と見なされます。』
ChatGPTさんは自信を持ってイとウが正しいと言っているが、正解はアとイである。
まあ誰にでも間違いはあるということで、どんどん問題を解いてもらった結果が以下の通りである。
【結果】
企業法：20問中2問正解（正答率：10.0％）
管理会計論：7問中3問正解（正答率：42.9％）
監査論：20問中3問正解（正答率：15.0％）
財務会計論：11問中1問正解（正答率：9.1％）
全体としては58問中9問（正答率：15.5％）という、適当に答えても取れそうな正答率になった。
最新のAI（ChatGPT）に解かせてみた
よくよく調べてみると無料で使えるChatGPTはバージョンが古い(GPT-3.5)もので、それほど精度のいいものではないらしい。ChatGPTの最新バージョン(GPT-4.0）を使おうとすると有料となるとのこと。
ただ、Microsoft BingのチャットにGPT-4.0が入っているらしいので、こちらでも同じ問題を解かせてみた。
先ほどと同じように企業法の第1問を解かせると以下のような回答が返ってきた。
【ChatGPTの解答】
『日本の法律において、商人とは「自己の名をもって商行為をすることを業とする者」です。商行為とは、絶対的商行為と営業的商行為の二種類があります。絶対的商行為とは、誰が行っても商行為とみなされるもので、例えば、手形や小切手の発行や譲渡などがあります。営業的商行為とは、商人がその営業の部類に属する取引をすることで、例えば、店舗で物品を販売することや工場で製品を製造することなどがあります。
この定義に基づいて、次のア～エのうち、正しいものはイとウです。アは最高裁判所の判例により、信用金庫は商人であるとされています。エは小商人も商人の一種であるため、誤りです。』
信用金庫については、最高裁判所の判例と逆のことを言っていて最新バージョンもあんまり結果は変わらなそうである。
結果は以下の通りである。
【結果】
企業法：20問中3問正解（正答率：15.0％、5.0％UP）
管理会計論：7問中1問正解（正答率：14.3％、28.6％DOWN）
監査論：20問中10問正解（正答率：50.0％、35.0%UP）
財務会計論：11問中4問正解（正答率：36.4％、27.3％UP）
全体としては58問中18問正解で、正答率は14.5％アップして31.0％となった。
解かせた問題数が少ないので、ある程度ブレがあるものの監査論の正答率は飛躍的に上昇した。
古いバージョンよりもかなりマシになったが、合格にはほど遠い結果であることは変わりなかった。
ただし、質問に対していたって自然な日本語で回答ができている点には個人的には結構驚いている。
今後のChatGPTの進化が楽しみである。
最後に
公認会計士についてどう思っているかAIに聞いてみた。回答は以下の通り。
『公認会計士は、企業や個人の財務諸表を監査したり、税務相談や会計相談など、幅広い会計業務を専門的に行う資格を持った専門家です。
私は公認会計士を非常に重要な存在だと考えています。企業や個人が正確かつ適切に財務情報を管理し、法令を遵守することは、経済活動や社会の健全な発展に欠かせないためです。公認会計士は、そのような重要な役割を果たすために、高い専門性と倫理観を持った専門家である必要があります。
また、公認会計士は、企業や個人に対して、財務情報を提供するだけでなく、ビジネスの健全性や成長戦略についてアドバイスを行うこともできます。これらのアドバイスは、企業や個人の成長や発展に大きく貢献することができます。
つまり、公認会計士は、財務情報の正確性と透明性を確保し、ビジネスの発展に寄与するという、非常に重要な役割を果たす専門家であると言えます。』
そんな専門家になれるよう頑張ります。
コメント