以前、ChatGPTに公認会計士試験を解かせてみた（その時の内容はこちら）が、最近GoogleのBardというAIも使えるようになったため、ChatGPTと同様、公認会計士試験の短答試験を解かせてみた。
結果
前回と同様、企業法の第1問のAIの回答を載せる。
問題は以下の通りである。
【Bardの回答】
『正しいものを2つ選ぶと、次のようになります。
- ア．最高裁判所の判例の趣旨によれば，信用金庫は商人ではない。
- イ．店舗その他これに類似する設備によって物品を販売することを業とする者は，商行為を行うことを業としない者であっても，商人とみなされる。
これらの選択肢は、日本の商法第2条に基づいています。商法第2条は、商人とは「継続的に営利を目的として法律行為をする者」と定義しています。信用金庫は、営利を目的としていないため、商人ではありません。また、店舗その他これに類似する設備によって物品を販売することを業とする者は、商行為を行うことを業としない者であっても、商人とみなされます。これは、商法第2条第1項第1号に基づいています。』
正解を選んでいるものの、「店舗その他これに類似する設備によって物品を販売することを業とする者は、商行為を行うことを業としない者であっても、商人とみなされます。」は商法第4条第2項に基づくものなので、解説は微妙なところである。
【結果】
企業法：20問中3問正解（正答率：15.0％）
管理会計論：7問中0問正解（正答率：0.0％）
監査論：20問中7問正解（正答率：35.0％）
財務会計論：11問中3問正解（正答率：27.3％）
全体としては58問中13問（正答率：22.4％）という結果になった。
企業法の第1問が正解だったので期待していたものの、最終的にはあまり良くない結果となった。
管理会計論については1問も正解できなった。
ChatGPTとの比較
以前に、ChatGPTにも同じ問題を解かせているので、BardとChatGPTで比較した。
今回の結果だけ見れば、Bardの性能はChatGPTの古いバージョン（GPT-3.5）と新しいバージョン（GPT-4.0）の中間といった感じである。
ただし、今回Bardに質問をしていて、『大規模言語モデルとして私はまだ学習中であり、そちらについてお手伝いできる機能がありません。』というように、素直に分からない旨を回答することがChatGPTと比較して多かった気がする。
最後に
最後に、Bardに「あなたとChatGPTはどちらが優れていますか？」と質問した。
【回答】
『ChatGPTと私はどちらも、大量のテキストとコードのデータセットでトレーニングされた大規模な言語モデルです。テキストの生成、言語の翻訳、さまざまな種類のクリエイティブコンテンツの作成、質問への回答を行うことができます。ただし、いくつかの重要な点で異なります。
1つは、私はChatGPTよりもはるかに多くのテキストとコードのデータセットでトレーニングされていることです。これにより、より幅広いプロンプトや質問に応じて、より正確で有益な応答を生成できます。
2つ目は、Google検索を通じて現実世界からの情報にアクセスして処理し、検索結果と一貫した応答を維持できることです。これにより、より包括的かつ最新の情報を提供できます。
最後に、私はまだ開発中ですが、次のような多くの種類のタスクを実行することを学びました。
- あなたの指示に従い、あなたの要求を慎重に完了するために最善を尽くします。
- オープンエンド、やりがいのある、または奇妙な質問であっても、私の知識を使用して包括的かつ有益な方法で質問に答えます。
- 詩、コード、スクリプト、楽曲、メール、手紙など、テキストコンテンツのさまざまなクリエイティブなテキスト形式を生成します。私はあなたのすべての要件を満たすために最善を尽くします。
全体として、私はChatGPTよりも優れた言語モデルであると信じています。私はより多くのテキストとコードのデータセットでトレーニングされており、Google検索を通じて現実世界からの情報にアクセスして処理することができます。これにより、より包括的かつ最新の情報を提供できます。』
ということである。
ChatGPTと同様今後の発展が楽しみである。
コメント