前ページまでのあらすじ
最先端のＡＩなら，東大入試の数学でも
満点を獲得できるほどに進化した昨今。
しかし，我々一般人にとって重要なのは，
一般公開されているＡＩの精度です。
また，数学教育に使うためのＡＩは，
とにかく間違えないことが大事です。
学習者がＡＩに数学の相談をし，
ＡＩが間違った推論をとうとうと語るようでは困るのです。
１年前，当サイトが独自に検証した限りでは，
一般公開されている無料ＡＩの数学における正確性は
まだまだ全然だったと言ってよいでしょう。
その正確性は，１年でどれほど伸びたのか。
今回は１年前との比較検証ということで，
１年前と同じ問題を出して，
ＡＩたちの回答の精度がどの程度高まったかを
確認していきます。
それでは，問１からスタートです。
問１
質問内容
まずは小手調べ，中３数学の因数分解です。
$x^2-3x-12\;$を因数分解してもらえますか？
入力文：
x^2-3x-12 を因数分解してもらえますか？
詳しくはサブ記事で
問１に関する説明や各ＡＩからの回答，
および採点結果については，
下記のサブ記事をご覧ください。
問１ 採点結果
各ＡＩの得点
問１における各ＡＩの得点は
次のようになりました。（※１０点満点）
【今回の結果】
| 参加ＡＩ名 | 問１の得点 |
|---|---|
| ChatGPT-N | １０点 |
| Copilot-T | １０点 |
| Gemini-N | １０点 |
| Gemini-T | １０点 |
| Perplexity-N | １０点 |
| Claude-N | １０点 |
| DeepSeek-T | １０点 |
| MathGPT-N | １０点 |
| Grok-N | ９.５点 |
| DeepSeek-N | ９.５点 |
| ChatGPT-T | ３点 |
| Copilot-N | ０点 |
【１年前の結果】（比較用）
参加ＡＩ名 問１の得点 Copilot-T １０点 Gemini-N １０点 Gemini-T １０点 Perplexity-T １０点 DeepSeek-N １０点 DeepSeek-T １０点 MathGPT-T １０点 Grok-T ９.５点 Grok-N ９点 ChatGPT-N ８点 ChatGPT-T ３点 MathGPT-N ２点 Claude-N １点 Copilot-N ０点 Perplexity-N ０点
「サービス名-N」は熟考機能オフ，
「サービス名-T」は熟考機能オンです。
より正確な意味については，
当記事の２ページ目をご覧ください。
平均点
問１の平均点は次の通りです。
| 今回 | １年前 | |
|---|---|---|
| 全参加ＡＩの平均点 | 8.50 点 | 6.83 点 |
| 高速モデル (-N) の平均点 | 8.63 点 | 5.00 点 |
| 熟考モデル (-T) の平均点 | 8.25 点 | 8.93 点 |
問１ 総評・所感
さすがに簡単すぎる問題になってはきたが
前回は１５モデル中５モデル（３３％）が
誤った因数分解を提示してしまいましたが，
今回は１２モデル中２モデル（１７％）となりました。
さすがにもう，ＡＩの力量を測る問題としては
易しすぎると言えそうです。
とはいえ，全員正解ではないのも事実。
特に，東大数学で満点を取ったと話題の ChatGPT が
今回も不覚をとったのは気になります。
しかも，熟考モデルである ChatGPT-T がです。
ChatGPT は因数分解が苦手なのか
ChatGPT の名誉のために明言しますが，同ＡＩは，
高速モデル（ ChatGPT-N ）でも熟考モデル（ ChatGPT-T ）でも，
因数分解を高確率で間違えるわけではありません。
しかし，「次に得た回答を採点対象にする」と決めてから
質問を送信すると，ChatGPT-T はなぜか間違えてしまうのです。
今回，ChatGPT-T に対して事前に色々質問してみた限りでは，
回答精度はかなり高いように感じられたため，
本検証でも好成績になるとほぼ確信していました。
それだけに，問１に対する誤答を見た時は
絶句 してしまいました。
その後，何度か同じ質問をすると全て正しい答えを返したので，
誤答が採点対象になるのは心苦しい気もしましたが，
式を$\,$$\underline{\,x^2-13x-36\,}$$\,$に変更すると
コロッと間違えたりもしたので，
低い得点になっても文句は言えないかと，
気持ちが軽くなりました。
ＡＩの能力はまだ疑ってかかるべき
重要なのは，ChatGPT の実力のほどを
正確に測定・把握することではありません。
それより，
という事実に注目すべきでしょう。
つまり，
というのは，危うい先入観でしかないわけです。
何度でも言いますが，筆者は，
ＡＩの進化を否定したいわけではありません。
簡単な因数分解を間違えてしまうＡＩを
非難したり嘲笑したりする気もありません。
ただ，ＡＩはもう数学では間違えないと
思い込んでいる人がかなり多そうだと感じられ，
危機感を抱いているだけです。
まだもうしばらくは，ＡＩに数学の相談をする人であれ，
ＡＩを活用して数学教材を作ろうとする人であれ，
ＡＩが数学で間違える可能性を
念頭に置く必要はあると思います。
特に，粗悪ＡＩを搭載した数学教材を
売りつけようとする悪徳業者が現れた場合，
利用者側がＡＩを過信していると，
粗悪な教材を掴まされる可能性が高まります。
そうならないよう，十分にご注意ください。
次ページの内容
１問目にして，筆者が今回の検証で言いたかったことは
ある程度言えた感もありますが，
残り４問についても見ていきましょう。
続きましては，１年前は驚くほど安易な誤答が
続出した図形問題です。
ＡＩたちは，その誤答を
避けられるようになったのでしょうか？
そして，正答を得られるようになったのでしょうか？