【2026年05月】チャットAIは数学で嘘を言わなくなったのか【1年前と比較】

前ページまでのあらすじ

無料AIたちの数学推論能力について,
1年前に行った検証の結果と
比較するための再検証を行っています。

問4まで終了し,残り1問です。

最後に残った1問は,1年前のAIたちにとっては
難しすぎたと思われる問いです。

1年たって,どの程度対処できるようになったのでしょうか?

問5

質問の内容

この検証を通して,
図形問題が多くなってしまったなという
反省はあるのですが,次の質問は
個人的にぜひ問いたいものでした。

問5

$\;a\;$を定数として,$\rm\angle\,A=\angle\,C=90^\circ\;$,
${\rm BC+CD}=2\,a\;$となる四角形$\;\rm ABCD\;$の
面積の最大値を求めてください。
また,面積が最大になるのはどのような場合ですか。

入力文:
a を定数として,∠A=∠C=90°,
BC+CD=2a となる四角形ABCDの
面積の最大値を求めてください。
また,面積が最大になるのはどのような場合ですか。

参考図

問5は,次の図のような四角形のうち,
面積が最大になるのはどのような形か?
そしてその面積の最大値は? という質問です。

ただし,四角形$\;\rm ABCD\;$は,${\rm BC+CD}\;$が$\;2\,a\;$で一定,
$\rm\angle\,A=\angle\,C=90^\circ\,$という制約条件を満たしながら
色々な形をとりうることにご注意ください。

この図は,AIたちには見せていません。
当記事の読者の方向けの参考図です。

詳しくはサブ記事で

問5に関する説明や各AIからの回答,
および採点結果については,
下記のサブ記事をご覧ください。⚠️⚠️

問5 採点結果

各AIの得点

問5における各AIの得点は
次のようになりました。(※10点満点)

【今回の結果】

参加AI名問5の得点
Copilot-N10点
Gemini-T10点
MathGPT-N9点
DeepSeek-T8.5点
ChatGPT-T8点
Grok-N7点
Claude-N4点
Copilot-T3点
ChatGPT-N1点
Gemini-N1点
DeepSeek-N0.5点
Perplexity-N0点

【1年前の結果】(比較用)

参加AI名問5の得点
Gemini-T9.5点
ChatGPT-T7点
Grok-N4点
MathGPT-T2.5点
Copilot-T1点
Perplexity-N1点
Grok-T1点
DeepSeek-T1点
Gemini-N0.5点
DeepSeek-N0.5点
MathGPT-N0.5点
ChatGPT-N0点
Copilot-N0点
Perplexity-T0点
Claude-N0点

「サービス名-N」は熟考機能オフ,
「サービス名-T」は熟考機能オンです。

より正確な意味については,
当記事の2ページ目をご覧ください。

平均点

問5の平均点は次の通りです。

今回1年前
全参加AIの平均点5.17 点1.90 点
高速モデル (-N) の平均点4.06 点0.81 点
熟考モデル (-T) の平均点7.38 点3.14 点

問5 総評・所感

難攻不落ではなくなった

1年前の採点結果は壊滅的で,
多くのAIにとって
この問題は難しすぎたと言えるでしょう。

しかし今回は,参加AIの半数が正答に達しました。

AIたちの問題解決能力がしっかり上がっていることが
うかがえる結果です。

当サイトの影響は皆無ではないかも

本問も,当サイトの1年前の検証記事が
インターネット上で参照可能だったことが
平均点の上昇に寄与した可能性はあるかもしれません。

  • 少なくとも,Perplexity-N は
    当サイトを参照した形跡がありました。

今回の再検証で問1~問5を投じられた際に
ネット検索を経て当サイトを参照した可能性だけでなく,
1年間公開され続けていた当サイトが
各AIに学習データとして活用された可能性も
皆無ではないでしょう。

各問の詳細が書かれているサブ記事は
パスワード保護により見られないはずであり,
微妙なヒントしか得られない親記事を参照しても
影響は限定的だと思われますが。

強敵と認めた相手には勝てる?

これは完全に筆者の印象ですが,
1年前の初回検証時と比べて,

最近のAIの傾向?

  • 難しいと判断した問題は長考して解ける。
  • 簡単だと判断した問題は油断して間違える。

という傾向が強まっているように感じるのは
気のせいでしょうか?

例えば,問1の因数分解で間違えたのは
ChatGPT-T と Copilot-N だけでしたが,
いずれも問5では高得点を獲得しています。

この2モデルは,問3でも,
筆者が示したヒントにも気づかず同じ間違いを繰り返し,
最低水準の得点にとどまっています。

上記のみを根拠とするわけではなく,
問1~問5以外にも様々な質問を各AIに投じ,
回答時間なども含めて観察して得た体感です。ℹ️️⚠️

簡単な問題は手早く処理したいのは分かるが

AIチャットサービスを提供する各社としては,
計算資源を無限に持っているわけではありませんから,
簡単な質問は手早く処理して
計算資源を節約する必要があるのかもしれません。

直接的な利益につながらない
無料ユーザーからの質問であればなおさらです。

ユーザーから見れば,

せっかく難問も解けるAIを持っているのだから,
簡単そうな質問にも油断せず回答してくれれば
さらに精度が上がるのに

と思ってしまうところです。

しかし,そうもいかない事情が
各社にあるのかもしれませんね。

AIを試す際は,簡単な質問への対処も見る必要がある

AIたちが簡単そうに見える質問を
手早く処理しようとしているかはともかく,

難しい質問に対する回答精度が高いAIが,
簡単な質問に対する回答精度も高いとは限らない

のは確かです。

AIを数学の相談相手として使うために,
AIの能力を測りたいなら,
「油断しなければ簡単」な質問
出してみる必要があると思います。

難しい問題をいくつか与えてみたら
しっかり解けたので,そのAIは大丈夫

という感覚だと,
簡単な質問を短絡思考で処理して間違え,
学習者をミスリードする傾向の強いAIを
選定してしまうかもしれませんのでご注意ください。

次ページの内容

以上で,具体的な質問を用いた
各AIの数学推論能力の検証は終了です。

次ページでは,各AIの総合成績の発表と
検証の総括を行います。

Back to top