【2026年05月】チャットAIは数学で嘘を言わなくなったのか【1年前と比較】

当記事には先代記事があります

当記事は,AIの数学推論能力を独自調査した結果を
まとめたものですが,今回は第2回の検証になります。

第1回の結果が気になる方は,
下記のブログカードをクリックしてご覧ください。⚠️

チャットAIが東大数学で満点を取ったとか

当記事における「AIチャット」と「チャットAI」

ChatGPT のような,
AIが会話(チャット)の相手をしてくれるサービスは
「AIチャット」と呼ばれることが多いようですが,
当記事では次のように使い分けることにします。

  • 「AIチャット」…… AIが相手してくれるチャット
  • 「チャットAI」…… チャットができるAI
  • しっかり使い分けできていない部分や
    違和感がある部分もあると思いますが,
    当記事では重要ではないのでご容赦ください。

2026年 4 月末,次の記事が世間を騒がせました。⚠️

AI、東大と京大「首席合格」 「チャッピー」最高得点(共同通信) – Yahoo!ニュース
今年実施された東大と京大の入学試験問題を生成人工知能(AI)「チャットGPT」に解かせると、合格者の最高得点を上回り「首席合格」を果たしたことが27日、AIベンチャーのライフプロンプト(東京)の分
AI、東大と京大「首席合格」 「チャッピー」最高得点
今年実施された東大と京大の入学試験問題を生成人工知能(AI)「チャットGPT」に解かせると、合格者の最高得点を上回り「首席合格」を果たしたことが27日、AIベンチャーのライフプロンプト(東京)の分析 …

勝手に要約しますと,次のようになります。

話題の記事要約

  • 代表的なチャットAIである ChatGPT の上位モデルに
    東大・京大入試の二次試験を解かせて採点すると,
    人間の首席を超える高得点となった。
  • その検証において,ChatGPT の同モデルは,
    東大数学で満点を獲得した。

素晴らしく,衝撃的な成果です。
こんなに早くここまで進化するとは,
正直なところ予想していませんでした。

別の情報源によると,Gemini や Claude の上位モデルも,
同水準の結果を出したとのことです。

ただ,筆者としては,AIの数学推論能力を
簡単に信じられない気持ちもあります。

筆者は1年ほど前に,
無料で使えるチャットAIについてのみですが,
AIが数学で驚くほどつまらないミスをする事例を集め,
次の記事で公開しました。

同記事では,世間で広く使われている
代表的な無料チャットAIたちの数学推論能力を,
次のように評しました。

無料チャットAIの数学推論能力(1年前)

  • 分からないことを分からないと言えない。
    間違った理論や推論をもっともらしく語る。
  • 難しい問題を解けることも多い半面,
    ごく簡単な問題で結構間違える。
  • 急速に進化を遂げているが,
    数学教育に安心して使える水準はまだ遠い。

上に挙げた1年前の検証記事が
どれほど読まれているかは把握していません。

しかし,仮にほとんど読まれていなかったとしても,
記事を出した者の責任として,
無料チャットAIたちに対する上記の評価が今も有効なのか,
それともこの1年で大きく変化したのか,
その点を明らかにする必要はあるかと思いました。

そこで今回は,1年前と同じAIたちに
1年前と同じ質問を出してみて,
1年前よりどの程度回答が洗練されたか
比較検証します。

お急ぎの方へ

早く具体的な検証内容が知りたい方は,
3ページ目へお飛びください。

その前に,検証にご参加いただくAIや
検証ルールの確認をしたい方は
2ページ目へお飛びください。

今回の再検証の目的や必要性なども
つぶさに確認されたい方は
このままお進みいただければと思います。

記事の概要のみ確認したい方へ

当記事の最終ページである11ページ目
記事全体の要点をまとめています。

同ページをご一読いただくと,
当記事で述べられている筆者の主な見解を
手早く確認することができます。

最先端AIが完璧でも,
無料AIも完璧かは分からない

大事なのは,普段使われているAIの性能

当サイトが主に扱う分野は,
数学そのものではなく数学教育です。

したがって,当記事の主眼も,
AIが数学教育に使える水準に達しているかです。

最先端AIの能力水準を評価したいわけではありません。

我々一般人が使うチャットAIは,
一般公開されているモデルです。

それも,大半の利用者は,
無料公開されたAIモデルを
使っていることと思います。ℹ️

ならば,一般の人がAIの数学推論能力を
信じてよいかどうかは,
最先端AIの能力ではなく,
普段使われているAIの能力で判断するべきでしょう。

当記事の数学能力検証が無料AIをターゲットにしているのは,
以上の理由によります。⚠️

粗悪なAIは当然存在しうる

数学教材に搭載されるAIは,
無料公開されているAIより高度なモデルを
使っている可能性もありますが,
そうでない可能性もあります。

それどころか,開発途上で十分に精度が高まっていない粗悪AI
使われている可能性すらあります。

時代が進み,無料公開されているAIの数学推論能力が
十分に向上したとしても,
能力の低いAIは当然存在しえます。

数学の相談相手としてAIを常用しようとしている人は,
そのAIの能力が十分かどうかを,
事前にしっかり確認する必要がある。

この注意点は,過去のものでないばかりか,
今だけのものでもなく,
当面の間,必須であり続けるでしょう。

教材会社を信用しすぎるのは良くない

IT活用型の教材制作会社に2社勤めた筆者に言わせると,
粗悪なデジタル教材を売りつける会社は
珍しくないと思います。⚠️⚠️

筆者の経験は少し古く,
その頃はAIが今ほど発達していませんでしたが,
AI活用型の教材が主流になったとしても,
各社の経営姿勢が劇的に改善すると
考える理由はないでしょう。

「有名なあの会社だから大丈夫」も禁物です。

筆者はAIを否定したいわけではない

筆者はAIの数学推論能力を
否定したいわけではありません。

十分に精度が高いAIなら
使わない手はない

と思っている方です。

ただ,

最先端AIの性能が十分に高まったことは,
無料AIを信用する理由にはならない

と言いたいのです。

無料AIを信用するのであれば,
無料AIを検証してからであるべきです。

そして,冒頭に挙げたニュース記事は,
最先端AI(少なくとも上位モデル)についての検証であり,
無料AIについての検証ではありません。

しかし一方で,実際に無料AIも
数学でほとんど間違えないほどに進化したのであれば,
それは正しく評価して,使い方を考える必要があります。

最先端AIの数学推論能力が
十分に高まったと目される今,
一般公開(特に無料公開)されているAIも,
簡単な数学の質問では
ほとんど間違えなくなったと考えてよいのか?

これが,今回の検証の主眼となります。

当記事で調べること

1年前の検証もそうでしたが,本検証で調べるのは,
無料AIたちの数学推論能力の現在地です。

本検証の注目ポイントを以下に挙げます。

  • 現在の無料AIたちは,数学の質問をされた際に
    どの程度正確な回答を返せるのか。
  • AIはどのような質問が苦手なのか。
  • AIが数学の質問に正しく返答できない場合,
    どのような回答内容になるのか。

AIに数学の相談をする機会が多い人や,
AI搭載型の数学教材を作りたい人・使いたい人などは,
当記事を一読されることにより,

  • 利用するAIは無料のもので十分か
  • どのAIを選ぶとよいか
  • AIはどのような間違いをしやすいのか
  • AIの能力はどのように試せばよいか

といったことが,完全に分かるとは言いませんが,
いくらか鮮明になってくるかと思います。

今回は前回と同じ問題で比較するだけ

恐縮ですが,今回の検証は若干手抜きです。

今回は,1年前の検証で出題し,
正式採点対象とした5問を,
昨年と同じ参加AIたちに出題して
再び採点するだけです。

そして,1年前と回答の正確性を比較するとともに,
最先端AIが東大数学で満点を取れるほどに進化した時代に,
無料AIも数学ではそうそう間違えなくなったと
信じてよいのかを判定するだけです。

本格的に再検証するなら,新しい問いを用意したり,
参加させるべきチャットAIを
改めて探したりするのですが,
今回はそこまではしませんでした。

本当は,再検証は早くても来年のつもりだった

この検証は負担が大きいので,
毎年行うのはちょっと無理です。

1年前の検証が終わった時も,

次の検証を行うとしても,
早くても2年後(2027年以降)

くらいの感覚でした。ℹ️️

しかし,冒頭に挙げたニュース記事が出たことで,
現状のまま放置するわけにもいかなくなりました。

AIはもうそこまで進化した。

我々が普段使っている無料のチャットAIも,
もう簡単な数学では間違えないのだろう。

と早合点してしまう人が続出することが
容易に想像されるからです。

わずか1年前,無料AIが数学において
まだまだ全然であったことは,
当サイトの検証記事にて述べた通りです。

その状況が一変し,無料AIの信頼性も
十分に高まったのであれば問題ありませんが,
今でも無料AIは不十分であるなら,
そのことを改めて世に知らしめ,
くぎを刺す必要があるでしょう。⚠️

そして,現状を明らかにするための手っ取り早い手段が,
1年前との比較検証であるというわけです。

結局のところ,筆者はどう思っているのか

1年前の時点ではまだまだ全然だった,
無料AIたちの数学推論能力。

1年間でどの程度間違えなくなったでしょうか?
分からないことを分からないと
言えるようになったでしょうか?

その結論を先に知りたい方のために,
結論の概略を以下に示します。

ただ,結論を先に知りたくない人も
いらっしゃるかもしれないので,
折りたたみにしておきます。

結論の概略

結論の概略

はじめに,当記事を執筆している
2026年 6 月時点での結論を言いますと,
完成度の高い無料AIも1つだけ出てきましたが,
それを除く無料AIはまだ不十分だと思います。

1つだけ,十分な精度のAIが出てきた

今回の検証で,正式に採点対象とした5問のみならず,
筆者からのあらゆる問いかけに対して
ほとんど論理の破綻を見せなかった無料AI
1つだけありました。

他のAIも近いうちに追いついてくるのかもしれませんが,
今後しばらくは,無料AIに数学の相談をするなら
これ一択かなと思うほどです。

そのAIの正体もすぐに知りたい方へ

前述の高精度無料AIは, Gemini の「Pro」です。

ただ,厳密には「Pro」だけではないかもしれません。

当記事執筆時点の Gemini では,
「Flash-Lite」「Flash」「Pro」から
モデルを選択できますが,
上から2番目の性能と思われる「Flash」を選択し,
「強化版思考モード」という機能を有効にした状態でも,
ある程度高精度の回答が期待できそうです。⚠️

これらのモデル名や機能名は
かなり頻繁に変更されますので,
適宜類推していただきますようお願いします。

とはいえ,その高精度無料AIも,
図示や図解を要求すると,
動作や精度が不安定になるようでした。⚠️

信用できるのは推論の部分だけと考えるのが
安全でしょう。

同AIの数学推論も,
さすがに完全無欠ではないようなので
ご注意ください。

ごくまれながらちょっとした誤りや不備が発生しますし,
本格的に誤りと思われる回答を返したケースも
若干数ありました。⚠️

他のAIは,進歩しているが不十分

他のAIに関しても,全体的な傾向としては,
昨年よりは明らかに回答の質が向上しました。

しかし,前述した高精度AI以外の無料AIは,
AIが苦手としそうな質問を与えると
簡単に間違えてしまいます。

結局は,1年前と大きく変わらず,
現在も次のような結論です。

無料のチャットAIのほとんどは,
数学の相談相手として全面的に信用するのは
まだまだ無理。

前述の高精度AIだけが
唯一の例外という状況ですね。

次ページの内容

次ページでは,筆者が勝手に巻き込んで
当記事のAI数学推論能力検証に
ご参加いただくチャットAIたちを紹介し,
本検証のルールを説明します。

Back to top