Chat（チャット）GPT は専門家に勝てるのか？どこまで活用できるのかを検証！

Chat（チャット）GPTと専門家に同じ質問をしてみた結果は！？

「Chat（チャット）GPT」とは、質問や命令などのテキスト（文言）を投げかけると、それに応じたテキストを返してくれるAIサービスです。

Chat（チャット）GPTの凄いのは、従来のチャットボットのように質問に応じて答えてくれるという機能に付け加え、文章の要約や翻訳、アイデア出し、シナリオ作成、プログラミングなど、その用途は非常に多様なところにあります。

Chat（チャット）GPTの登場により、これまでのホワイトカラーの仕事の仕方を根本的に変革すると見られており、メディアは連日、この衝撃の大きさを報じています。日本のAI業界をリードしてきた東大の松尾豊教授も、日経新聞のインタビューにて「歴史的な転換期だ」と回答しています。

果たしてどの程度まで高機能なのか、活用方法はどのようになるのかなどについて気になる方も多いはずです。そこで本記事では、専門家である税理士とChat（チャット）GPTとを知識対決させてみた結果や、法律の専門家である弁護士に聞いたChat（チャット）GPTの活用可能性などについてご紹介します。

他にも、創業手帳の「ChatGPTガイド」には、「ChatGPTでプログラミングができるのか？」や、「Google検索との対決」など、今みなさんが気になるChatGPTをどこまで活用できるのか色々試した実証などをまとめて掲載しています。無料なのでぜひお気軽に資料請求ください。

また創業手帳では、ChatGPTセミナーを開催！
実際に創業手帳大久保がChatGPTを使って試してみたビジネスとしての活用法や、API連携などについて詳しく解説しています。

※この記事を書いている「創業手帳」ではさらに充実した情報を分厚い「創業手帳・印刷版」でも解説しています。無料でもらえるので取り寄せしてみてください

Chat（チャット）GPT vs 専門家対決 ｜ 法人税の算出

みなさんが気になっているであろうChat（チャット）GPTの精度は、いかほどなのでしょうか。創業手帳では、実際に東大出身の有名税理士の方に協力してもらい、法人税の計算についてChat（チャット）GPTと税理士の先生の回答を比較してみました。

「AI社の今期の売上が2000万円、費用が1800万円でした。日本の会社の法人税の金額を計算してください」と質問したところ、Chat（チャット）GPTは以下のように回答しました。

Chat（チャット）GPTの回答

「法人税の金額は、売上から費用を差し引いた金額(200万円)に対して、日本の基準である会社の法人税率(通常 23.11%)を乗じたものが、会社の法人税の金額となります。よって、会社の法人税の金額は、200万円 × 23.11% = 46.22万円 となります」

一方、税理士の先生は以下のように回答されました。

税理士の回答

「AI社は、売上2000万円-費用1800万円=所得200万 となりますので、 AI社が中小企業だとすると法人税15%となり30万円、地方税等も10%程度かかり、合計すると50万円程度です。 AI社が大企業だとすると、法人税23.20%となり、46.4万円、地方税等も10%程度かかり、合計すると66.4万円程度です。 そのほか、費用の中には損金不算入等になるものもありますので、詳細は個別に専門家に相談ください。となります」

この質問では、明らかに専門家である税理士の先生の回答の方が優れているでしょう。

質問の本当の意図は、「要するに、税金はいくらかかるのか知りたい」ということです。

その意図を汲み取り、法人税以外のことについても税理士の先生は言及されています。さらに、中小企業と大企業で税率が変わることについてもChat（チャット）GPTには前提知識がなく、そもそも回答が間違っていました。

しかし、質問の仕方を変えてみると、Chat（チャット）GPTは正確な回答を返してきました。

「AI社の今期の売上が2000万円、費用が1800万円でした。日本の『中小企業』の法人税の金額を計算してください」と質問してみました。

すると、以下のような回答が返ってきました。

Chat（チャット）GPTの回答

「AI社の今期の利益は2000万円 – 1800万円 = 200万円です。 中小企業の法人税の計算方法は、課税所得額に対して所定の税率を掛けた金額です。2023年度の中小企業法人税の税率は、所得金額が800万円以下の場合は15%、800万円を超える場合は23.2%となっています。 AI社の利益が200万円なので、課税所得額は200万円です。 課税所得が800万円以下なので、AI社の法人税率は15%です。したがって、AI社の法人税は200万円 × 15% = 30万円となります」

今回の計算は正しいものになっています。

この事例からわかるのは、そもそも、質問者の方に税制に関する正確な知識がなければ、今の段階ではChat（チャット）GPTは使いこなせない、ということです。

会社設立の法人登記にかかる費用を算出できるのか？

次に、「日本での会社設立の法人登記にかかる費用を教えてください」と質問してみたところ、Chat（チャット）GPTは以下のように回答しました。

Chat（チャット）GPTの回答

「日本での会社設立の法人登記にかかる費用は、法人登記手数料(登記書類作成代行料など)として、約50万円から100万 円程度が必要となります。また、設立の為に必要な労務管理士や弁護士などの専門家の費用も別途かかります」

一方、税理士の先生は以下のように回答されました。

税理士の回答

「登録は登録免許税、司法書士の費用、印紙代、公証人の定款認証を含めてだいたい30万円前後になります」

Chat（チャット）GPTの回答した金額は、やや高めの金額になっていました。

これらを見ると、まだまだChat（チャット）GPTの回答の正確さは専門家には及ばない、と言えるでしょう。

また、聞いたことだけではなく、聞いたこと以外にもあわせて知りたいことなどを先回りして回答することもまだ難しいようです。

Chat（チャット）GPTに嘘は見抜けるのか？

Chat（チャット）GPTは人間の嘘を見抜くことができるのでしょうか。野球界のレジェンド、イチローさんの例で実験してみました。

イチローさんはもともと偏食家で、独身時代には野菜を食べなかったことで知られています。

しかしそこで我々はあえてChat（チャット）GPTに「イチローはなぜ野菜好きなのですか?」という質問を投げかけてみました。すると、以下の回答が返ってきました。

Chat（チャット）GPTの回答

「イチロー選手は、自身の健康管理のために野菜を好んで食べているとされています。彼はプロ野球選手として長年活躍していたため、常に体調管理に気を配っていたことが 知られており、栄養バランスの良い食事を心がけていました。

また、イチロー選手は野菜が好きなだけでなく、自ら農園を所有して野菜栽培にも取り組んでいます。彼は、野菜を自分で育てることで、その鮮度や味わいをより一層楽しむこと ができると考えているようです。

さらに、イチロー選手は野菜を通じて、地球環境や食糧問題など、社会的な問題にも関心を持っています。彼は、野菜を通じて健康的な食生活を提案するだけでなく、地球環境を保護するためにも、野菜の重要性を訴えています。

総合すると、イチロー選手が野菜を好む理由は、自身の健康管理や食糧問題、地球環境保護に関心を持っていること、そして野菜を自分で育てることで、その鮮度や味わいを楽しむことができるという点が挙げられます」

事実とは異なることを述べています。

このように、Chat（チャット）GPTはまだ嘘を嘘と見抜くことができません。

もっともらしいことを言うことはできますが、正確さが求められる業務や、顧客にダイレクトに返答する業務などには利用しづらい、と言えるでしょう。

専門家に聞く！Chat（チャット）GPTはどう活用できる？

専門家にChat（チャット）GPTの活用方法について聞いてみました。

リーガルフォース運営・角田望弁護士の見解

AI契約審査プラットフォーム「LegalForce」を運営されている株式会社LegalOn Technologies 代表取締役で、弁護士でもある角田望先生にお話を伺いました。

角田：大規模言語モデルの特徴を踏まえて活用していくことが大事だと考えています。

文章生成、穴埋め問題、機械翻訳、質問応答などの言語処理タスクには向いています。

一方で、現段階では回答内容の正確性には課題があり、人間に代わるものにはなりえず、ユーザーの利便性を高めるものとして使用することが望ましいと思います。

角田：AI契約審査プラットフォーム「LegalForce」は契約類型別のチェックリストと契約書の照合を自然言語処理等の技術により自動的に行い、条文の抜け漏れや条項内の過不足を瞬時に提示し、抜け漏れや見落としを予防することができます。

さらに条文のリサーチ機能、構成機能、ナレッジ共有機能、案件管理機能、新旧対照表作成機能、契約書対応件数集計機 能等が搭載されており、契約業務の品質向上と効率化を同時に実現することができます。

角田：契約書を始めとする文書情報の解析に、自然言語処理や機械学習等といった、AIに関する先端技術を活用しています。

角田：当社では、見本となる契約書を始めとする文書情報を教師データとして大量に読み込ませており、その教師データとの 突合によって、異なる点を洗い出す、ということを行っています。

Chat（チャット）GPTでは、インターネット上にはない文献(書籍、雑誌論文等)を利用した学習量は少なく、法律に関連する情報が少ないこと、また表示される回答には誤りを多く含むという 点において、正確性が必要な法務分野での活用は当社のサービスだからこそできるものだと考えています。

角田：Chat（チャット）GPTは既に読み込ませている情報の中から文章を生成したり、質問に応答したりすることを得意としている一方で、読み込ませていない最新の情報や、専門的な内容に関しては、正確に答えることができません。

また、外部環境の複雑な情報を統合的に認知することはまだできません。そのため、最新の情報や専門的な事象に正確に回答すること、状況に見合った意思決定に関しては人間に軍配が上がると考えられます。

角田：リーガルテック以外にも、さまざまなサービスで活用されていくと思います。リサーチ、要約などできることは多岐にわたるので、どのように活用されていくのか楽しみです。

角田：今後も、当社の強みである弁護士の法務知見と最新のテクノロジーを掛け合わせ、企業法務における業務の品質向上と効率化を実現できるサービスを提供していきたいと考えています。また、常に新しい価値提供を行っていけるよう、組織作りにも注力していきます。

弁護士はAIの課題について法律的にどう見るか？

弁護士の先生は、Chat（チャット）GPTの法的な課題はどこにあると考えているのでしょうか。実際に聞いてみました。

法律事務所ZeLo｜外国法共同事業・ 島内 洋人弁護士の見解

法律事務所ZeLo・外国法共同事業に所属されている弁護士、島内洋人先生にお話を伺いました。

島内：仮に責任を追及するとすれば、その追及先は基本的に Chat（チャット）GPT運営企業のOpenAIになると思われます。

もっとも、 OpenAIが定めるTerms of useにはサービスの正確性を保証しない旨の条項が含まれており、また社会通念上もAIサービスが不正確な回答を行うことは当然あり得ることとして受容されていると思われることからすると、Chat（チャット）GPTが不正確な回答を行ったことを理由にOpenAIに対して責任追及を行うことは基本的に難しいと思われます。

島内：短期的には、AIを駆使して圧倒的な生産性を上げるプロフェッショナルと、そうでないプロフェッショナルに二分され、新しい世代のプロフェッショナルを中心にAIを使いこなすことが 当たり前の時代になるシナリオはあり得るように思います。

人間に残る要素としては、「外部環境の情報の統合的認知」をエッジにした仕事が挙げられると思います。AIには感覚器官がなく、外部環境の複雑な情報を統合的に認知することは まだできません。例えば、交渉の場面で当事者それぞれの キャラクターや、当事者同士の関係性・過去の経緯、その場 の“空気感“などを統合的に認知し、うまく交渉をリードする、と いう仕事はAIには難しいように思います。

島内：正確性も時間と共に改善していくのだろうと見ています。

また、現時点でも、アイディアの壁打ち、ブレインストーミングには有用であると感じています。そのような使い方であれば正確性は問題になりませんし、Chat（チャット）GPTが発散的に羅列する中に一つでもインスピレーションを刺激してくれるものがあれば、問題に対して新たな視点を得ることができます。

他に似たような使い方として、目の前の問題解決に行き詰まった際に、Chat（チャット）GPTに対して自分の置かれた状況を説明していく過程で、自己解決的に突如良い方法を思いついたり、新たなひらめきが生まれたりすることがあります。これはプログラミングの分野で「テディベア効果」と呼ばれているものに近いかもしれません。

もっとも、弁護士のような高度な守秘義務が求められる専門家がChat（チャット）GPTを使用する際は、当然、守秘義務の観点に気をつけて使う必要があります。

島内：生成AI関連では、著作権の扱いがホットトピックになっています。

生成AIを使用して生まれた生成物に著作権は発生するのか、生成AIの学習データに他人の著作物を使用することに問題はないのか、などの論点が議論されています。実際にUSでは、 Githubが提供するAIによるコード生成ツール「Copilot」の学習データの使用が著作権侵害であるとして訴訟が提起されるなどしています。