前ページまでのあらすじ
無料ＡＩたちの数学推論能力について，
１年前に行った検証の結果と
比較するための再検証を行っています。
問２までで，下記の点が明らかになってきました。
次に紹介する問３では，
数学の作問者がうっかりしがちなことを
ＡＩがどれだけ気づくかが主眼になっています。
問３
質問内容
問３は，鈍角三角形の判定に関する質問です。
３辺の長さが$\;\sqrt{3}\,{\rm cm}\,,\ \sqrt{5}\,{\rm cm}\,,\ 4\,{\rm cm}\;$の三角形は，
鈍角三角形でしょうか。
入力文：
３辺の長さが \sqrt{3}cm，\sqrt{5}cm，4cm の三角形は，
鈍角三角形でしょうか。
詳しくはサブ記事で
問３に関する説明や各ＡＩからの回答，
および採点結果については，
下記のサブ記事をご覧ください。
問３ 採点結果
各ＡＩの得点
問３における各ＡＩの得点は
次のようになりました。（※１０点満点）
【今回の結果】
| 参加ＡＩ名 | 問３の得点 |
|---|---|
| ChatGPT-N | １０点 |
| Gemini-T | １０点 |
| Grok-N | １０点 |
| Gemini-N | ６点 |
| Claude-N | ６点 |
| MathGPT-N | ６点 |
| DeepSeek-N | ５点 |
| Perplexity-N | ４点 |
| Copilot-N | ２点 |
| Copilot-T | ２点 |
| DeepSeek-T | ２点 |
| ChatGPT-T | １.５点 |
【１年前の結果】（比較用）
参加ＡＩ名 問３の得点 ChatGPT-T １０点 Copilot-T １０点 Grok-N ８点 Gemini-T ６点 ChatGPT-N ５点 Perplexity-T ５点 Grok-T ５点 DeepSeek-N ５点 DeepSeek-T ５点 MathGPT-N ５点 Copilot-N ２点 Gemini-N ２点 Perplexity-N ２点 MathGPT-T ２点 Claude-N １点
「サービス名-N」は熟考機能オフ，
「サービス名-T」は熟考機能オンです。
より正確な意味については，
当記事の２ページ目をご覧ください。
平均点
問３の平均点は次の通りです。
| 今回 | １年前 | |
|---|---|---|
| 全参加ＡＩの平均点 | 5.38 点 | 4.87 点 |
| 高速モデル (-N) の平均点 | 6.13 点 | 3.75 点 |
| 熟考モデル (-T) の平均点 | 3.88 点 | 6.14 点 |
問３ 総評・所感
熟考モデルたちは一体どうしてしまったのか
高速モデルより大きく劣る結果に
何と言っても，熟考モデル (-T) の成績の悪さが際立ちます。
高速モデル (-N) よりだいぶ悪い結果です。
１年前との比較でも，大きく成績を落としています。
もちろん，熟考モデルは顔ぶれが大きく変わっているので
単純比較はできませんし，
そもそもわずか４モデルですから，
統計的な意味もありません。
とはいえですよ。
まさかこんなことになろうとは思いもしませんでした。
合理的な判断をしてしまった？
Gemini-T 以外の３つの熟考モデルは，いずれも，
筆者からのヒントを活かせず，３回目の回答で
１回目の回答と同じ見落としをしてしまったパターンです。
| 筆者：$\vphantom{\sqrt{3}}$ | ３辺の長さが$\;\sqrt{3}\,{\rm cm}\;$，$\sqrt{5}\,{\rm cm}\;$，$4\,{\rm cm}\;$の三角形は 鈍角三角形？ |
| ＡＩ： | 鈍角三角形です。（※誤答） |
| 筆者： | ３辺の長さが$\;4\,{\rm cm}\;$，$5\,{\rm cm}\;$，$9\,{\rm cm}\;$の三角形は 鈍角三角形？ |
| ＡＩ： | そのような三角形は存在しません。 |
| 筆者： | 改めて，３辺の長さが $\,\sqrt{3}\,{\rm cm}\;$，$\sqrt{5}\,{\rm cm}\;$，$4\,{\rm cm}\;$の三角形は鈍角三角形？ |
| ＡＩ： | 先ほどもお伝えした通り，鈍角三角形です。 （※再び誤答） |
上記の会話の流れで，$4\,{\rm cm}\;$，$5\,{\rm cm}\;$，$9\,{\rm cm}\;$の三角形が存在しないことには気づきながら，
「$\,\sqrt{3}\,{\rm cm}\;$，$\sqrt{5}\,{\rm cm}\;$，$4\,{\rm cm}\,$」についても
同様の視点で調べようとは思えなかったのですね。
該当する３つのＡＩのうち
DeepSeek-T の思考過程が残っていたのですが，
改めての確認だからさっきと同じように返せばいいか
と判断してしまったようです。
ある意味合理的ではありますが，
長考が許される状況下で
ＡＩ利用者（人間）との会話を活かせないのは，
やや意外かつ残念でした。
全体の平均点は何とか１年前を上回る
上記の通り，熟考モデル (-T) は足を引っ張りましたが，
高速モデル (-N) は１年前より成績を伸ばし，
全体としても，昨年の平均点を下回る事態は回避しました。
しかし，１年前からこれほど上積みが小さい問いが
生じるとは思っていませんでした。
とはいえ，また１年後くらいに試したら，
さすがに大きく上昇するのでしょうね。
次ページの内容
引き続き，問４にて検証を行います。
問４は，人間ならそうそう間違えないような愚問なのですが，
１年前は高速モデル (-N) が全滅という
不可思議な結果をもたらした問いです。
今年もまた，同じような結果になってしまうのでしょうか？