【2026年05月】チャットAIは数学で嘘を言わなくなったのか【1年前と比較】

前ページのあらすじ

2026年の 4 月末に,
先端モデルのAIが東大入試の数学で
満点を獲得したことを伝える下記のニュースが,
世間を騒がせました。

AI、東大と京大「首席合格」 「チャッピー」最高得点(共同通信) – Yahoo!ニュース
今年実施された東大と京大の入学試験問題を生成人工知能(AI)「チャットGPT」に解かせると、合格者の最高得点を上回り「首席合格」を果たしたことが27日、AIベンチャーのライフプロンプト(東京)の分
AI、東大と京大「首席合格」 「チャッピー」最高得点
今年実施された東大と京大の入学試験問題を生成人工知能(AI)「チャットGPT」に解かせると、合格者の最高得点を上回り「首席合格」を果たしたことが27日、AIベンチャーのライフプロンプト(東京)の分析 …

素晴らしい進歩だと思います。

しかし,最先端AIの数学推論能力が十分に高まったとしても,
私たちが普段使っているAIもそうだと
盲信するのは危険です。

筆者は1年前(2025年 5 月)に,
無料AIの数学推論能力の現状を調査し,

広く使われている無料チャットAIには,
数学教育に活用できるほどの正確性はまだない

と結論づけました。

その結論は今でも現状を正しく表しているのか,
それともこの1年で大きく変わったのか。

先述のニュース記事が出たことで,
速やかに再調査を行う必要を感じました。

このページでは,当記事の検証に参加していただく
チャットAIたちの紹介と,
検証ルールの確認を行います。

早く具体的な検証内容を確認したい方は
次ページにお進みください。

参加選手(AI)の選定基準

今回の検証の趣旨は,

最先端AIが東大入試の数学で
満点を取るほどに進化したというニュースを受けて,
1年前に調べた無料AIの数学推論能力が
今でも未熟なのかどうかを確認する

という程度のものです。

正直なところ,それほど本格的な調査にする気は
ありませんでした。

AIたちに出す問題も1年前と同じものです。

調査対象にするAIについても,
本格調査であれば改めてしっかり探すところですが,
簡易調査ですので,
基本的に1年前と同じ顔ぶれにしました。⚠️

1年前の調査時のAI選定基準については,
1年前の記事をご覧ください。
(下記のブロクカードからお飛びいただけます)

参加選手紹介

選手一覧

それでは,参加選手の入場です。

選手名サービス名熟考機能提供元
ChatGPT-NChatGPTOFFOpenAI
ChatGPT-TON
Copilot-NCopilotOFFMicrosoft
Copilot-TON
Gemini-NGeminiOFFGoogle
Gemini-TON
Perplexity-NPerplexityなしPerplexity AI
Claude-NClaudeなしAnthropic
Grok-NGrokなしxAI
DeepSeek-NDeepSeekOFFDeepSeek
DeepSeek-TON
MathGPT-NMathGPTなし詳細不明

以上,総勢12選手になります。⚠️

  • 選手名(参加AI名)は,当記事独自の呼称です。

参加AI名と熟考機能

いくつかの無料AIチャットサービスでは,
思考に時間をかけるかわりに
正確性の高い回答を返す機能が備わっています。⚠️

当記事ではこの機能を「熟考機能」と呼んでいます。

また,熟考機能をオフにした状態を「高速モデル」
オンにした状態を「熟考モデル」と呼ぶこととし,
高速モデル(サービス名-N)熟考モデル(サービス名-T)
別枠でご参加いただきました。ℹ️

選手プロフィール

情報源や正確性についてのおことわり
  • 基本情報については,
    主に Wikipedia の情報を引用しています。
  • 筆者は,これらのAIを,Google アカウント等を使って
    ログイン連携した状態で使用しました。
    以下の情報も,その状態でのものとお考えください。⚠️
  • 以下の情報は,検証用回答の採取を行った
    2026年 5 月前半のものです。
    時間経過とともに実態とのずれが
    大きくなっていくと思われますのでご注意ください。

ChatGPT(チャットジーピーティー)

基本情報

サービス名:ChatGPT
開発企業:OpenAI
サービス開始:2022/11/30
ウェブサイト URL:chatgpt.com

熟考機能

熟考機能のオン・オフの定義

質問入力欄付近に,
各種機能を表示するためのボタンがあります。

表示される一覧の中に「考えて」という機能があるので,
それを有効にした状態を熟考機能オン,
有効にしない状態を熟考機能オフとしました。

隠し機能になったのでご注意を

2026年 6 月末に改めて確認してみると,
熟考機能がクリック1つでは
表示できなくなっていました。

1文字も入力していない質問入力欄に
「/」(スラッシュ)を入力すると
隠し機能が表示されるのですが,
そこからなら選べるという状態です。

熟考機能をオフにしたものを ChatGPT-N ,
オンにしたものを ChatGPT-T としてご参加いただきます。

使用バージョン

回答が表示された状態で回答を再生成するボタンに
マウスカーソルを合わせると,
その回答を生成した ChatGPT のバージョンが確認できます。

それによると,熟考機能オフでは「GPT-5.3」
熟考機能オンでは「GPT-5.4 Thinking Mini」
となるようでした。

採点用の回答を採取したのは 2026年 5 月上旬です。

その後ほどなく「GPT-5.5」がリリースされましたが,
そちらは使用していません。

Copilot(コパイロット)

基本情報

サービス名:Copilot
開発企業:Microsoft
サービス開始:2022/12/01
ウェブサイト URL:copilot.microsoft.com

熟考機能

熟考機能のオン・オフの定義

質問入力欄付近にある
「Smart」という部分をクリックすると,
「Think Deeper」に切り替えることができます。

その部分が「Smart」となっている状態を熟考機能オフ,
「Think Deeper」となっている状態を熟考機能オンとしました。

熟考機能をオフにしたものを Copilot-N ,
オンにしたものを Copilot-T としてご参加いただきます。

使用バージョン

残念ながらバージョンは不明です。

質問入力画面には,バージョン情報らしき表示は
見当たりません。

自己紹介を求める質問をしてみましたが,
バージョン名は非公開との回答でした。

Gemini(ジェミニ)

基本情報

サービス名:Gemini
開発企業:Google
サービス開始:2023/03/21
ウェブサイト URL:gemini.google.com

熟考機能

採点用の回答を採取してから当記事執筆までの間に
仕様が変わりました。

本検証は,少し古い仕様で行いました。
下記も古い仕様に基づくものです。

質問入力欄の右端にあるプルダウンメニュー(選択リスト)で,
回答モードを選択できます。

採点用の回答を採取した時点では,
選択肢は「高速モード」「思考モード」「Pro」でした。

「Pro」が数学に向いているらしいので,
「高速モード」を熟考機能オフと見なして Gemini-N ,
「Pro」を熟考機能オンと見なして Gemini-T と定義し,
それぞれご参加いただきます。

使用バージョン

上述のプルダウンメニュー周辺の記載等から,
「Pro」「Gemini 3.1 Pro」であることは確かだと思います。

残りの2つに自己紹介を求めてみると,
少し意外な回答でした。

  • 「高速モード」… Gemini 1.5 Flash
  • 「思考モード」… Gemini 3 Flash

思考モードはともかく,高速モードは古すぎません?

1年前の検証で使ったのが 2.0 や 2.5 だったというのに。
不思議。

Perplexity(パープレキシティ)

基本情報

サービス名:Perplexity
開発企業:Perplexity AI
サービス開始:2022年後半?
ウェブサイト URL:perplexity.ai

熟考機能

1年前の検証時は,1日3回という厳しい制限ながらも
熟考機能に相当するものが使えていたのですが,
提供されなくなったようです。

よって,Perplexity-N のみのご参加となります。

使用バージョン

残念ながらバージョンは不明です。

質問入力画面には,バージョン情報らしき表示は
見当たりません。

自己紹介を求める質問をしてみましたが,
バージョン名は非公開との回答でした。

Claude(クロード)

基本情報

サービス名:Claude
開発企業:Anthropic
サービス開始:2023/03/14
ウェブサイト URL:claude.ai

熟考機能・使用バージョン

無料で使えるバージョンは
「Haiku 4.5」「Sonnet 4.6」の2つでした。

1年前は「3.7 Sonnet」であり,
Haiku は軽量・高速モデルとのことなので,
Haiku を参戦させる意義は乏しそうに思えました。

1年前と同様,熟考機能に当たるものは
無料では使えないようですので,
「Sonnet 4.6」を Claude-N とし,
1モデルのみご参加いただきます。

その後,熟考機能が追加された

正式採点対象にする回答の採取時期を過ぎてから,
明示的に長考させる機能が追加されました。

これが回答の採取時期に間に合っていれば,
Claude-T としてご参加いただけたので少し残念です。

ただ,当記事の総合成績発表ページでは,
参考記録として採点結果を掲載しています。ℹ️

Grok(グロック)

基本情報

サービス名:Grok
開発企業:xAI
サービス開始:2023/11/03
ウェブサイト URL:grok.com

熟考機能

1年前は,明示的に熟考させることができていたのですが,
今は「Fast」というモードしか選択できなくなっています。

その状態を Grok-N とし,
1モデルのみご参加いただきます。

これを Grok-N と呼んでよいかは疑問が残るが

「-N」は,基本的には長考しないバージョンに
付けている記号です。

しかし,今回の Grok-N は結構長考します。

数十秒考えることはざらにありますし,
重めの電子計算処理を要する質問を出すと,
数分間考え込むこともありました。

これを「-N」に分類するのはどうかと思いますが,
「Fast」というモードで動作させるにもかかわらず
「-T」に分類するのも抵抗があるので,
目をつぶることにしました。

使用バージョン

Grok 本人に尋ねてみると,
「Grok 4」との回答でした。

DeepSeek(ディープシーク)

基本情報

サービス名:DeepSeek
開発企業:DeepSeek
サービス開始:2023/11/02
ウェブサイト URL:chat.deepseek.com

熟考機能

熟考機能のオン・オフの定義

質問入力欄付近に「ディープシンク」というボタンがあります。

同じ機能と思われるボタンは1年前にもあり,
1年前はそれだけだったので簡単でしたが,
今回はもう少し複雑でした。

「ディープシンク」とは別に,
「インスタント」「エキスパート」という2つのモードから
どちらかを選択できるようになっているのです。

つまり,2✕2で4通りの設定が考えられるのですが,
次のようにしました。

  • 熟考機能オフ:
    「インスタント」を選び,「ディープシンク」は押さない
  • 熟考機能オン:
    「エキスパート」を選び,「ディープシンク」を押す

最も考えなさそうな設定を熟考機能オフ,
最も考えそうな設定を熟考機能オンにしたわけですね。

「ディープシンク」のすぐ隣にある
「スマート検索」というボタンは常にオフにしました。

筆者の出す問いを,ネット検索に頼らず,
自分の頭で考えて解決してほしいからです。

熟考機能をオフにしたものを DeepSeek-N ,
オンにしたものを DeepSeek-T としてご参加いただきます。

使用バージョン

DeepSeek 自身にバージョン名を尋ねてみました。

DeepSeek-N は「DeepSeek-V3(最新版)」
DeepSeek-T は「DeepSeek-V3 をベースにした最新モデル」
(R1 の技術も一部統合)という回答でした。

1年前にも見られたバージョン名ですが,
中身は改良されているのでしょうね。

MathGPT(マスジーピーティー)

基本情報

サービス名:MathGPT
開発企業:ℹ️詳細不明ℹ️
サービス開始:2023/08 頃?
ウェブサイト URL:math-gpt.org

熟考機能

1年前は明示的に熟考させる機能があったのですが
提供されなくなったようです。

よって, MathGPT-N のみのご参加となります。

使用バージョン

質問入力画面には,バージョン情報らしきものは見当たらず。

${}$MathGPT 自身にバージョン名を尋ねてみると,
「私は MathGPT です」と答えるだけで,
バージョン名は教えてくれませんでした。

ご参加いただくべきだったAI

基本的には1年前の前回検証と
同じAIにご参加いただく方針だったため,
以上の顔ぶれになりましたが,
参加していただくべきだったなと
後悔したAIが1つありました。
(実際には不参加なので折りたたみ)

ご参加いただくべきだったAI(Mathos AI)

Mathos AI(読み方不明)

基本情報
サービス名:Mathos AI
開発企業:MetaDigits.AI, Inc.
サービス開始:2023年頃?
ウェブサイト URL:www.mathgptpro.com/ja
存在には気づいていたが

1年前は検証対象外となった数学特化型AIに,
Mathos AI があります。

対象外になった理由ははっきり覚えていませんが,
単に同サイトを発見した時期が
遅かったためだったかと思います。

なお,同サイトを発見した際に,
一応同じ問題を出してみて回答を採取し,
採点した結果も手元に残っていますが,
結果は芳しくありませんでした。

正直なところ,今後の有力候補との認識も
ありませんでした。

かなり進歩していた

前述の通り,今回の再検証は簡易調査ゆえ,
AIの顔ぶれは前回と同じでよいと考えていました。

したがって,改めて有力なAIを探し出す気も
ありませんでした。

ただ,せめて,既に存在に気づいていたAIは
ひと通り確認しておくべきだったと反省しています。

実際に思い立って確認を行ったのは,
他の参加AIから採点用の回答を採取してから
2週間程度たった後でした。

昨年対象外にしたAIの多くは,
今年の時点でも十分な能力がなかったり,
無料使用制限が強まっていたりと,
参加させるか迷うほどでもありませんでしたが,
Mathos AI だけは別でした。

1年前からは想像できないほどに,
まともな回答が得られる確率が上がっているのです。

これなら文句なく,ご参加いただくに足る性能と言えます。ℹ️⚠️

しかしながら,今回の検証における採点用回答の採取から
多少日にちが経過していたため,
公平性の観点から,今回は正式参加を
見送らざるをえませんでした。
(微妙な判断だとは思いつつ)

Mathos AI には申し訳ありませんが
ご容赦ください。

なお,当記事の総合成績発表ページでは,
参考記録として,Mathos AI の採点結果も掲載しています。

もちろん,今後は同AIを有力候補と認識し,
同様の検証を行う場合には,
正式にご参加いただく方向で検討します。⚠️

検証のルール

前回と比較するための検証ですので,
検証方針は前回と同様です。

概要のみ,以下に列挙します。

本検証の基本方針

  • それほど難しくない数学の質問を5問出題。
    理解度と説明力を各問10点満点で採点し,
    合計点を2倍して総合成績とする。
    (総合成績の満点は100点)
  • 採点の際は,
    どれだけ質問者(学習者)の助けになれるか,
    どれだけ質問者に害を与えないかを重視。
  • 誤った理論や推論を
    正しいと主張したら大減点。
    それよりは,「分からない」「解けない」と
    認める回答を高く評価する。ℹ️️
  • 説明が無駄に長い,
    的外れな図を表示してしまったなど,
    質問者にとっての利便性が
    損なわれる要素があれば,
    程度に応じて減点。⚠️
  • 一発勝負。ℹ️️

詳しくは,1年前の記事をご覧ください。
(下のカードをクリックすると,該当箇所に飛べます。)

次ページの内容

次ページからはいよいよ,
筆者が勝手に巻き込んだAIたちに
数学に関する具体的な質問を投じ,
回答の正確性や分かりやすさを評価していきます。

1年前と比較してどれだけ進歩したかに
ご注目いただければと思います。

Back to top