【2026年05月】チャットAIは数学で嘘を言わなくなったのか【1年前と比較】

前ページまでのあらすじ

当サイトでは,2025年 5 月に,
無料である程度使えるAIチャットの
数学推論能力を独自検証しました。

1年前の検証記事

同検証から1年たった今,
無料AIたちの能力や信頼性が
どのように変化したかを改めて検証し,
結果を報告したのが当記事です。

最後に,当記事の要点をまとめます。

当記事の内容を後から振り返りたい方や,
逆に,当記事の概略を先に手早く知りたい方などに
適しているかと思います。

当記事の要点

今回の再検証の経緯と結果

当サイトでは,2025年 5 月に,
無料である程度使えるAIチャット(以下「無料AI」)
数学推論能力を独自検証しました。

その時の結論は,

無料AIを数学の相談相手として使うには
あまりにも正確性が低く,
数学教育への活用はまだ早い

というものでした。

それから1年が過ぎ,

ChatGPT の上位モデルが
東大入試の数学で満点を取った

とのニュースが世間で話題になりました。

これは,一見すると,当サイトで行った
1年前の独自検証の結果と
大きく食い違うように見えます。

もし,当サイトの検証結果が
既に事実と大きく異なっているなら,
修正した方が良いでしょう。

一方,最先端AIと無料AIで回答精度の差が大きく,
無料AIの正確性は今でも不十分であるなら,
無料AIで数学の相談をしている利用者は
その事実をはっきり認識しなければなりません。

そこで,手早く1年前との比較検証を行うために,
1年前と同じ顔ぶれの無料AIたちに,
1年前と同じ質問を投じ,採点してみました。

再検証結果の概略は次の通りです。

再検証結果の概略

  • 無料AIたちの数学推論能力は
    1年前に比べると全体的に上がっているが,
    ほとんどの無料AIは,今もなお,
    信頼できるほどの回答精度ではない。
  • 唯一,Gemini Pro  だけは,
    純粋な数学の質問で間違える確率は
    非常に低くなったと言えるかもしれない。⚠️

今回と前回の検証における各AIの総合評価は,
当記事の8ページ目にてご確認いただけます。

1年前と変わっていない部分

1年前の見解の大部分は今も変わらない

改めて,今回(2026年 5 月)の検証結果を短くまとめると,

  • 前回調査(2025年 5 月)に比べて,
    全体的にAIの数学推論能力は伸びている。
  • しかし,十分に信用できそうなAIは
    Gemini Proのみ。

となります。

正確には「Pro」だけではないかもしれないが

Gemini で「Pro」以外のモデルを選択しても,
設定によっては,
ある程度の回答精度を期待できるかもしれません。

詳しくは,前ページの
「 Gemini 動作モードのおすすめ設定 」
をご覧ください。

ただ,その状態での動作は検証不足であるため,
以下でも「 Gemini Pro  だけが例外」という
書き方をします。

論外ではないAIが増えてきたとは思いますが,
1年前の検証記事で述べた筆者の見解の大部分は
変更なしです。

1年前の記事で述べた見解のうち,
現在も有効なものを挙げます。

1年前とほぼ同じ見解

  • 無料で使えるAIのほとんどは,
    数学において頻繁にうそをつく。⚠️
  • 世間では,チャットAIはもはや
    数学で間違えないかのような過信が
    蔓延まんえんしている感があり,危うさを覚える。
  • 難しい問題を解けるAIが
    簡単な問題で間違えないとは限らない。ℹ️
  • AIに数学の質問をする場合,
    長考させると総じて精度が上がる。
    長考させる機能があるなら使うべき。ℹ️️⚠️
  • 数学研究に使うAIと数学教育に使うAIは,
    求められる特性が全く異なる。
  • 学習者からの数学相談をAIに受けさせる場合,
    難問の解決能力も不要とは言わないが,
    間違ったことを言わない安定性決定的に大事。
  • 世間で話題になるAIの数学推論能力検証は,
    難問をどの程度解けるかという視点のものばかり。
    易しい質問に間違えず対応できるかという視点の検証は,
    重要であるわりに軽視されている感がある。ℹ️️
  • AIの過信は絶対にNG。
    たとえ数学推論において
    AIが十分に進歩した世の中になっても,
    精度の低い粗悪AIは当然存在しうる。⚠️
  • AIに安心して数学指導を
    全面的に任せられるようになるには,
    まだまだ多くの技術革新が必要と思われる。

1年前の見解の詳細については,
1年前の検証記事をご覧ください。

特に,同記事の最終ページには,
同記事の主張内容の要約がありますので,
手短に1年前の見解を把握するのに便利かと思います。

追加したい見解

最先端モデルと一般公開モデルの違いに注意

1年前に出した当サイトの検証記事では,

広く使われている無料チャットAIは,
数学教育に活用するには正確性が全然足りない

との見解を示しました。

検証対象にした無料AIに限った見解でしたが,
1年前の時点では,最先端モデルのAIまでひっくるめて
同様の評価でまとめてしまっても,
大きく間違ってはいないだろうと思っていました。

しかし,当記事冒頭で紹介したニュース記事により,
最先端AIであれば,東大入試の数学で
満点を取るまでに進歩したことを知りました。

こうなると,最先端モデルと一般公開モデルは
区別して扱う必要が出てきます。

一般公開モデルの正確性も十分に高まっているなら別ですが,
Gemini Pro を除く無料公開モデルが今も不十分であることは,
今回の検証結果が示している通りです。

AIの最先端モデルが
数学において完璧に近づいているからといって,
一般公開モデルも同様だと盲信してはいけない。

このような注意点を追加する必要が生じたわけです。

数学研究と数学教育におけるAI活用の違い

改めて,AIを数学研究に活用する場合
AIを数学教育に活用する場合を対比し,
違いをまとめたいと思います。

まずは,数学研究におけるAI活用の全体像を述べます。

AIを数学研究に使う場合

  • 最先端・高額料金のAIモデルを使うことが多い。
  • 対話を行う人間は,数学の専門家・有識者。
  • 人間からの質問は,
    しっかり考えられて整った文章によりなされる。
  • AI側に求められるのは,
    難しい問題を解く思考力。
  • AIが間違えても,総じて質問者の能力が高いので,
    間違いに気づける。
  • AIは,確信度の低い自説でも披露した方が良い。ℹ️️
    正答率がそこそこであっても,十分に有用。

続いて,数学教育におけるAI活用の全体像です。

特に,学習者がAIを数学の相談相手として
使う場合を想定します。

AIを数学の学習相談相手として使う場合

  • 無料・低額料金のAIモデルを使うことが多い。
  • 対話を行う人間は,数学に詳しくない
    学生や一般人であることが多い。
  • 人間からの質問には,数学的な矛盾,
    記号・用語の誤用,数式の誤記などが
    混入するケースが多い。ℹ️
  • AI側に求められるのは,
    決してうそを言わない安定性。⚠️
    分からないことを「分からない」と言えることが
    何より重要。
  • AIが間違えると,質問者は学習途上であるため,
    間違いに気づけない可能性が高い。
    気づけたとしても,学習時間や気力が無駄になる。⚠️
  • AIは,確信度の低い自説を披露してはいけない。⚠️
    正答率がそこそこでは使いものにならない。

一考しただけでも,これほどの数の違いが出てきます。
正反対に近い項目も多いですね。

  • AIが東大入試の数学で満点を取った。
  • AIが数学者を悩ませる難問をいくつか解決した。

の類のニュースは,いずれも,
AIが数学研究に使える水準に達しつつあることを
示すものであると考えるべきでしょう。

使っているのは上位のAIモデルであると思われますし,
しっかり整えられた問題文を与えた結果ですから。

しかしながら,この結果から,

無料または低額料金のAIモデルであっても,
学習者からの不完全な質問を含めて,
ほとんど間違えずに対応できるはずだ

と推測するのは,飛躍が過ぎます。

そして実際,今回の検証結果も,
多くの無料AIは数学において
十分に信用できる水準にないことを示唆しています。⚠️

本検証の問6の結果は,
数学の学習者が意図せずAIをミスリードした場合に,
AIが間違える確率が飛躍的に上がるであろうことを
示唆していると言えるでしょう。

問6は正式採点対象ではありませんが,
本検証の最大の見どころかもしれません。

1年前と変化した部分

1年前は,信頼に足る無料AIは皆無だった

数学教育にAIを安心して活用できると
判断するためには,
AIはどこまで進化すればよいのか。

その条件として,筆者は,
1年前の検証記事で次の2点を挙げました。

合格ラインの目安

  • AIが数学的に間違った主張を
    ほとんどしなくなること。ℹ️️
  • 人間にとっては難しくないにもかかわらず
    AIが正確に答えられない質問を,
    AIの数学推論能力をテストする人間が
    簡単に思いつかなくなること。

そして,

AIが数学の難問をどの程度解けるかに
世間の関心が向いているうちは,
前述の条件を満たすAIには
なかなか近づかないかもしれない

との見解を示しました。

この見解は,お恥ずかしいことに,
わずか1年で外れてしまったようです。

Gemini Pro は条件を満たしつつある

何度も述べているように,1年前に比べて,
無料AIたちの数学推論能力は着実に伸びました。

ただ,ほとんどの無料AIが数学において
十分な正確性を有していないことも,
既に述べた通りです。

そこに生じた例外が Gemini Pro です。

Gemini Pro は,筆者程度の能力では,
間違えさせるのが非常に難しいレベルに達しています。

無料AIに数学の相談をするなら,
Gemini Pro が圧倒的な第一候補。

無料である程度使えるAIに限ればの話ですが,
数学の相談相手としておすすめのAIを問われたなら,
筆者は迷わず上記のように答えます。

ただし,次の点には留意が必要です。(2026年 6 月現在)

Gemini Pro に関する注意点

  • 常に完全無欠の回答を返すわけではない。ℹ️️
  • 現状,図示・図解の完成度は高くない。ℹ️️
  • 普通に考えれば,今後も回答精度は
    高まる一方と思われるが,絶対ではない。ℹ️️ℹ️️

ここでは Gemini Pro の注意点として挙げましたが,
他のAIにも同様の視線を向けるのが望ましいでしょう。

AIの弱点を集めたような問題集があると便利?

図示や図解を除く数学推論能力においては
完成度の高い Gemini Pro が現れたとはいえ,

広く使われているAIであれば,
数学で間違えることはもうない

とまで言えるほどにAIを無条件で信用できる未来は,
まだまだ遠いでしょう。

したがって,今後も定期的に同様の検証を行う意義は,
もうしばらくは残ると思います。

しかし,筆者自身が本検証を続けるより,
AIの弱点を集めたような問題集を公開する方が
有益かもしれないと考えています。

AI搭載をうたう数学教材を本格的に採用する前に
AIの実力を事前に評価することは,
当面は必須であり続けるでしょう。

その際に,AIが間違えやすい質問や
得られた回答の評価ポイントなどが分かっていれば,
評価がスムーズに進むと期待されます。

時間が出来たらですが,
そのような質問を集めた記事を公開し,
追記型で更新していくことを考えています。

本検証の問1~問6以外にも,
AIが間違えやすい質問のストックは
いくつかありますし,
今後も探してみるつもりです。

「AIが数学を教えてくれる」と言われたら疑おう

最後に,繰り返しになって恐縮ですが,
改めて言わせてください。

凡事徹底

AIが数学を教えてくれるとうたう製品やサービスを
採用するかどうか検討する際は,
必ず事前にそのAIの回答精度を確認しましょう。

2026年 6 月頃の時点では,
無料で使える代表的なチャットAIの多くは,
数学の回答精度において,まだだいぶ不安があります。

AIが数学を教えてくれると謳う製品やサービスが,
上記の代表的なチャットAIと同程度か,
より性能の低いAIを搭載しているとすると,
学習者をミスリードする場面が
頻繁に出てくるのではないかと懸念します。

その種の製品やサービスを扱う会社が,
世界的に有名な無料チャットAIより
はるかに高い性能のAIを持っているなら別ですが,
考えにくいことです。

とはいえ,AIが数学を教えるなんて無理だと
決めつけてかかる必要はありません。

筆者の想像を大きく超えて,
高精度のAIを搭載した製品を出している企業も
あるかもしれませんから。

AIは,性能を確認してから採用する。

AIの用途によっては
それが難しい場合も多いでしょうが,
数学の相談相手として使うAIは,
性能の確認を行いやすい部類だと思います。

数学相談に限らず,
AIの性能を測りやすい機能であれば,
営業トークの説明を鵜呑うのみにせず,
ご自身の手で十分に性能を確認してから
採用するか否かを決めることが肝要です。ℹ️️

口酸っぱくて申し訳ありませんが,

どのAIでも,もう数学では間違えない

のような盲信は厳禁です。

それは,現時点では全く事実ではありません。

AIを信じて疑わず,営業担当者に言われるままに
粗悪AIを搭載した教材の類を買わされ,
大事な我が子や教え子に使わせる未来を招かないよう,
ご注意ください。


最後までお読みくださった方々,
誠にありがとうございます。

参考になった部分があれば幸いです。

Back to top