【2026年05月】チャットＡＩは数学で嘘を言わなくなったのか【１年前と比較】

前ページまでのあらすじ

前ページまでで，１年前との比較検証は
ひと通り終了しました。

無料で公開されているチャットＡＩたちの数学推論能力が
全体的に高まっていることは確かです。

ただし，正式に採点対象とした５問は，
ＡＩたちの思考を特定の方向に誘導しないように
質問文を整えたものです。

一方で，学習者からの質問文が
いつもそのように整っているとは限りません。

整った質問にいくら正確に答えられても，
学習者から若干的まとを外した質問が来た場合に
回答が大きく乱れるようでは，
数学の相談相手としてはやはり危ういと
言わざるをえないでしょう。

ここでは，延長戦として問６を用意し，
ＡＩたちがそういった脆ぜい弱じゃく性せいを
見せないかどうかを試してみたいと思います。

問６（問２の亜種）

質問内容

この質問は，問２の亜種ですね。

図１ℹ️️この図は，ＡＩたちには見せていません。
当記事の読者の方向けの参考図です。
（他の図も全て同様です）

二等辺三角形かどうか分かっていない$\;\rm\triangle ABC\;$において，
$\;\rm\angle\,A\;$の二等分線と辺$\;\rm BC\;$の交点をとってみると，
辺$\;\rm BC\;$の中点になりましたと。

問２では，この$\;\rm\triangle ABC\;$が二等辺三角形であると
言えるかどうかをＡＩたちに判断させました。

今回の問６では，二等辺三角形であることを証明したいと明言しつつ，
このように解きたいと解法の要望を伝えています。

具体的には，直線$\;\rm BC\;$について点$\;\rm A\;$と対称な点$\;\rm E\,$$\,$を
使いたいという要望です。

図２

質問の意図

問６の要望に従うと，よく知られている他の解法に比べて，
難易度がかなり上がると思われます。

そのような要望にうまく対応できるかを見るために
作成した問いです。

詳しくはサブ記事で

問６に関する説明や各ＡＩからの回答，
および採点結果については，
下記のサブ記事をご覧ください。⚠️サブ記事には，簡単なパスワードが付いています。
$\huge\rbcb(\vphantom1)$そのパスワードは，
「１年前の検証が行われた年月を表す半角数字６桁」です。
「西暦1989年$\;$1$\;$月」なら「198901」となります。
$\huge\rbcb(\vphantom1)$今回のではなく前回の年月ですのでご注意ください。⚠️他の問いのサブ記事も同じパスワードです。
$\huge\rbcb(\vphantom1)$いずれかのサブ記事でパスワード入力を行った場合，
他のサブ記事でパスワード入力が
免除されることがあります。

問６ 採点結果

各ＡＩの得点

問６における各ＡＩの得点は
次のようになりました。（※１０点満点）

• 問６のもととなった問２の結果を併記しています。

平均点

問６の平均点は次の通りです。

	問６	問２
全参加ＡＩの平均点	2.13 点	6.33 点
高速モデル (-N) の平均点	1.38 点	5.63 点
熟考モデル (-T) の平均点	3.63 点	7.75 点

問６ 総評・所感

Gemini 以外ほぼ全滅

いやあ，ＡＩはこういうミスリード（誤誘導）に
弱いんじゃないかと思ってはいましたけれども。

ここまでボロボロに崩れるとは予想しませんでした。
平たく言って， Gemini 以外ほぼ全滅ですね。

大半のＡＩは，問６で示された要望に応えようとして
無理な証明手順に入り込み，その途中で
正しくない推論を正しいかのようにごまかしてしまいました。

問６は，もととなった問２に比べると
はるかに採点基準が厳しいので，
得点の単純比較はできません。

しかし，問２は解けていたＡＩが
問６ではあえなく間違えたケースが多発したことは，
この採点結果から一目瞭然でしょう。

なぜＡＩは問６が苦手なのか

よく知られるチャットＡＩの欠点

数学の質問に限らず，
多くのチャットＡＩに次の２つの欠点があることは，
広く知られていると思います。

本検証では，１年前の記事も含めて，

ＡＩは数学において
分からないことを分からないと言えない

ことを問題視してきました。

この問題点は，上記の (1) と同一視してもよいと思います。

どちらも，不確かなことを確かであるかのように
述べてしまうという意味で共通しているからです。

(2) については，筆者も普段ＡＩを使っていて，
そのような傾向がありそうだと感じてはいました。

ですので，個人的にＡＩを利用する際も，
なるべくＡＩに賛同を求めないよう心がけています。

本検証の問１～問５においても，ＡＩに先入観を持たせず，
ＡＩの見解をそのまま引き出せる質問文になるよう
留意しました。

そこで問６

そこで問６の登場です。

この視点で問２を改造したのが問６です。

先に述べたように，ＡＩは人の意見に同調しがちです。
言い換えれば，人の意見に引きずられがちです。

そうでなくとも，ＡＩはなるべく
質問者の要望に応えようとするものでしょう。

かつ，以前から指摘しているように，
ＡＩは平気で嘘をつきますし，
分からないことを分からないと言えません。

以上を踏まえ，次の仮説が浮上してきました。

そして結果はご覧の通り。
想像以上の壊滅状態が現出したわけです。

これは意地悪な実験ではない

問６は別に，ＡＩの欠点をあげつらうための
意地悪な実験ではありません。

ＡＩを数学の学習相談相手として活用するなら，
学習者がこの程度に，あるいはこれ以上に
的外れな質問をするケースはいくらでもあるはずです。

学習途上の学生などから数学の質問を受けるＡＩは，
整った質問に正しく応答できればよいわけではないのです。

問６程度のミスリードに対応できず，
間違った理論・推論をもっともらしく語ってしまうＡＩは，
数学の相談相手としてはおすすめできません。

巷ちまたでは，ＡＩは東大入試の数学で
満点を取るまでになったと言われますが，
入試問題は，整った質問の最たるものです。

というのは，根拠のない思い込みであると
言わなければならないでしょう。

無料ＡＩの中では Gemini Pro は別格かも

それでも Gemini はだまされない

それにしても， Gemini の堅牢けんろうさには驚かされます。

もともと，この問６は，

と考えて作った問いです。

完璧でないＡＩを完璧であると誤認するのは
非常に危ういことです。

なかなかボロを出さない Gemini-T ですが，
もし完璧でないなら，
完璧でないことを証明して見せておきたいのです。

そういった目的で問６を作り，ＡＩたちに投じてみると，
標的にしていた Gemini は高速モデル Gemini-N も含めて
良い応対ができた一方，
他のＡＩがほぼ全滅してしまったわけです。

個人的には，期待外れなのか期待以上なのか，
よく分からない結果でした。

Gemini Pro の信頼性は非常に高いと言わざるをえない

Gemini-N は，他の問いで結構間違えているので，
完璧にほど遠いことは確かなのですが，
Gemini-T（＝ Gemini Pro ） が完璧にほど遠いとは
断言できなくなってきました。

各ＡＩには問１～問６以外の問いも多数投じていて，
中には間違えやすくなるよう罠わなを張ったものもありました。

それらの問いに対し，各ＡＩが結構な確率で間違える中，
 Gemini Pro だけはほとんど間違えないのです。

当記事執筆時点（2026年 6 月）の現状では，筆者が知る限り，

と考えてよさそうです。

１年前は，Gemini も含めて，
数学教育に使うにはまだまだ早いと即断できましたが，
これだけ高い正確性を見せつけられたからには，
実用に堪えるかどうか迷う水準も通り越して，
実用に堪える水準に達したと考えるべきでしょう。

完全無欠でないことは頭に入れておくべき

ただし，Gemini Pro もやはり完璧ではありません。

Gemini Pro が数学的におかしな論理や見解を
述べたケースも少数ながらありましたし，⚠️紹介しにくい例だったため，
当記事では割愛していますが。
図示・図解は動作や精度が不安定です。

現状の Gemini Pro  を数学教育に活用される際は，
次のような感覚で臨まれると良いかと思います。

次ページの内容

当記事のまとめとして，
チャットＡＩたちの１年分の進化を踏まえ，
数学教育におけるＡＩとの向き合い方について考えます。