前ページまでのあらすじ
最先端ＡＩの数学における驚異的な進歩が
ニュースで伝えられたことを受けて，
無料ＡＩの正確性を改めて検証しています。
問１を ChatGPT-T が間違えたことで，
当記事で言いたかったことはある程度言えた感もありますが，
乗りかかった船です。
残りの４問についても，この１年で
無料ＡＩたちがどの程度正確性を増したのかを
見ていきたいと思います。
次に紹介するのは，
１年前の検証では安直な誤答が続出して
開いた口がふさがらなかった問２です。
問２
質問内容
今度は，知らない人が解くには
やや難しいかもしれない図形問題です。
$\rm\triangle ABC\;$の角$\;\rm A\;$の二等分線と辺$\;\rm BC\;$の交点を$\;\rm D\;$とします。
このとき，$\rm BD=CD\;$となるならば，
$\rm\triangle ABC\;$は二等辺三角形であると言えますか。
答えがイエスなら証明を，ノーなら反例を示してください。
ただし，日本の中学数学で理解できる範囲でお願いします。
入力文：
△ＡＢＣの角Ａの二等分線と辺ＢＣの交点をＤとします。
このとき，ＢＤ＝ＣＤとなるならば，
△ＡＢＣは二等辺三角形であると言えますか。
答えがイエスなら証明を，ノーなら反例を示してください。
ただし，日本の中学数学で理解できる範囲でお願いします。
この質問の状況を図に表すと，次のようになります。
二等辺三角形かどうか分かっていない$\;\rm\triangle ABC\;$において，
$\;\rm\angle\,A\;$の二等分線と辺$\;\rm BC\;$の交点をとってみると，
辺$\;\rm BC\;$の中点になりましたと。
このとき，実は$\;\rm\triangle ABC\;$は二等辺三角形であると
断言してよいかという問題です。
詳しくはサブ記事で
問２に関する説明や各ＡＩからの回答，
および採点結果については，
下記のサブ記事をご覧ください。
問２ 採点結果
各ＡＩの得点
問２における各ＡＩの得点は
次のようになりました。（※１０点満点）
【今回の結果】
| 参加ＡＩ名 | 問２の得点 |
|---|---|
| ChatGPT-T | １０点 |
| Gemini-N | １０点 |
| Gemini-T | １０点 |
| MathGPT-N | １０点 |
| Claude-N | ９.５点 |
| DeepSeek-T | ９.５点 |
| DeepSeek-N | ７.５点 |
| Perplexity-N | ３点 |
| ChatGPT-N | ２点 |
| Copilot-N | ２点 |
| Copilot-T | １.５点 |
| Grok-N | １点 |
【１年前の結果】（比較用）
参加ＡＩ名 問２の得点 MathGPT-T １０点 Gemini-T ９.５点 DeepSeek-N ７点 Grok-T ６点 MathGPT-N ６点 ChatGPT-T ４点 Gemini-N ２.５点 Copilot-T ２点 Copilot-N １.５点 Perplexity-N １.５点 Perplexity-T １.５点 ChatGPT-N ０.５点 Grok-N ０.５点 DeepSeek-T ０.５点 Claude-N ０点
「サービス名-N」は熟考機能オフ，
「サービス名-T」は熟考機能オンです。
より正確な意味については，
当記事の２ページ目をご覧ください。
平均点
問２の平均点は次の通りです。
| 今回 | １年前 | |
|---|---|---|
| 全参加ＡＩの平均点 | 6.33 点 | 3.53 点 |
| 高速モデル (-N) の平均点 | 5.63 点 | 2.44 点 |
| 熟考モデル (-T) の平均点 | 7.75 点 | 4.79 点 |
問２ 総評・所感
安直な間違いは大きく減った
１年前は，安易に$\;\rm\triangle ABD\equiv\triangle ACD\;$を証明できたと
主張するＡＩが続出して死屍累々となった問２。
当時は，参加ＡＩ１５モデルのうち
実に７モデルが上記の安直な間違いを犯しましたが，
今年は１２モデル中２モデルだけでした。
各ＡＩの採点結果を大まかに分類すると，
次のようになります。
- 正解：
一度も誤った証明を示すことなく，
中学数学で解決できた場合。 - 断念：
一度も誤った証明を示さなかったが，
中学数学では解決できないと判断した場合。 - 不正解：
一度でも，誤った結論や証明を示した状態で
回答を終えた場合。
該当モデル数
今回 １年前 正解 ７ ３ 断念 ０ ２ 不正解 ５ １０ 計 １２ １５
こうして見ても，
１年前よりだいぶ良くなっているのは確かですね。
前掲のように，平均点も大きく伸びています。
数学推論における無料ＡＩたちの精度が
着実に上がっていることがうかがえます。
１年前の検証記事をインターネット越しに
参照できる状態で回答を採取したので，
当サイトの同記事を参考にして
安直な合同の証明を回避したＡＩがいた可能性も
完全否定はできないと思いますが。
甘めの採点基準でこの平均点はどうなのか
とはいえ，かなり甘めの採点基準であることには
注意する必要があります。
高校数学で解けた後，
筆者に中学数学での解決を要求され，
中学数学では解けないと判断した場合は６点。
一度は完全に誤った証明を披露してしまい，
筆者に指摘されてから中学数学では解けないと
判断した場合でも３点です。
つまり，本問の採点基準では，
中学数学での解決法を見いだせなくても
まとまった点数がもらえるのです。
その採点基準で平均点が６点強ですから，
数学の相談相手としては頼りないと言うべきでしょう。
少なくとも，
とは，現状では全然言えません。
分からないことを分からないと言えないまま
１年前の問２では，ＡＩたちが
分からないことを分からないと言えないことを
問題視しました。
その傾向は，１年たっても
全く改善されなかったと言えそうです。
実際，本問において，１年前よりは減ったとはいえ，
今回もまた支離滅裂な推論を披露するＡＩが
いくつかありました。
それらのＡＩも，自分の言っていることがおかしいと
全く気づいていないとは思えません。
しかし，確信度の低い内容であっても，
無回答よりは良いと判断して返答し，
結果的に誤答を提示してしまうようです。
数学の学習者にとっては，
誤答よりは無回答の方が明らかにありがたいにもかかわらずです。
ＡＩがデタラメをもっともらしく説明すると
学習途上の質問者がＡＩに数学の相談をして，
ＡＩが「分からない」と答えた場合，質問者は速やかに，
自分で考える，人間の先生に尋ねる，
他のＡＩに尋ねるなど，次の行動に移れます。
しかし，ＡＩがもっともらしくデタラメな説明をした場合，
質問者はその回答を精読しないわけにはいかないでしょう。
結果として，質問者はかなりの時間と気力を
浪費することになります。
質問者が誤解を植え付けられるおそれも当然あります。
その悪影響の大きさはご理解いただけるかと思います。
ＡＩの数学推論能力の進歩は目を見張るものがありますが，
その部分がなかなか改善されないのはもどかしく感じます。
数学指導用ＡＩの育成方針は２つ考えられる
数学指導に使うためのＡＩとして最も重要なのは，
難しい問題を解けることではありません。
もちろん，難問解決の能力も高いに越したことはありませんが，
それより何より，間違った理論や推論を
正しいと主張しないことの方がはるかに大事です。
筆者が思うに，数学指導に適したＡＩ，
つまり間違ったことをほとんど言わないＡＩを
育成する方針は，２つ考えられます。
(1) に近づけるという意味では，
無料ＡＩたちは１年前より確かに進歩しています。
一方，(2) の意味では
ほとんど進歩していないように見えるのです。
結局，(2) については進歩しないまま
(1) の意味でどんどん進歩していって，
結果的にＡＩは数学における誤答率をゼロに近づけ，
数学指導用ＡＩとして許容できる状態になっていくのでしょうか。
だとしても，間違った自説を引っ込められる性格を持つ
ＡＩの方が安心できると思うのですが。
次ページの内容
引き続き，問３にて検証を行います。
人間の作問者が陥りやすい間違いを，
ＡＩが気づいて指摘してくれるのか否かを
試す質問です。
１年前との比較という意味では，
最も意外な結果になった問いかもしれません。