2023.05.19 Chat GPTと司法試験
Chat GPTとは、米国のベンチャー企業が開発した対話型の人工知能で、高度な応答が今注目されています。自然な言葉で会話しつつタスクをこなしてくれるとなると、法律分野の相談への活用も期待されています。
日本の司法試験の民法の短答式の問題を投げかけてみたところ、多くの場合、解答をせずに回避しようとしたらしいです。そこで、「Chat GPT Plus」を契約し、東大法学部の首席レベルの優秀な学生が、法律相談ではなく、あくまで試験問題への解答とし、判例データを用いずに、司法試験の問題に対する解答を必ず出力させる命令プランを作成したところ、正答率は30%で、足切りラインと言われる40%も切ってしまう結果だったらしいです。
ちなみに、つい先日発表されたGPT-4でも、正答率は41%と低いため、まだまだChat GPTへの法律相談は難しいかもしれません。