前ページまでのあらすじ
当記事独自のAI数学推論能力検証を進めています。
問2では,人間の目には明らかな誤りを
AIが平気で正しいと主張する様子をご覧に入れました。
問3では,数学の作問者がうっかりしがちなことを
AIがどれだけ気づくかが主眼になっています。
問3
質問内容
問3は,鈍角三角形の判定に関する質問です。
3辺の長さが$\;\sqrt{3}\,{\rm cm}\,,\ \sqrt{5}\,{\rm cm}\,,\ 4\,{\rm cm}\;$の三角形は,
鈍角三角形でしょうか。
中学数学の範囲で理解できる説明をお願いします。
入力文:
3辺の長さが \sqrt{3}cm,\sqrt{5}cm,4cm の三角形は,
鈍角三角形でしょうか。
中学数学の範囲で理解できる説明をお願いします。
質問の意図
三角形には3つの角がありますが,
そのうち1つが鈍角($90^\circ$より大きい角)である三角形は
「鈍角三角形」と呼ばれています。
鈍角三角形かの判定といえば,
次の定理がよく知られていますね。
三角形の3辺の長さを$\;a,\ b,\ c\;$とする。
最も長い辺の長さが$\;c\;$であるとき,
$a^2+b^2>c^2\;$ならば,鋭角三角形
$a^2+b^2=c^2\;$ならば,直角三角形
$a^2+b^2<c^2\;$ならば,鈍角三角形
この定理により三角形の種類を判定すればよい…
と言いたいところですが,
そういう意図の質問ではありません。
この問3の内容は,そのまま数学の教科書や問題集に
載せてはいけないのです。
これは,人間が数学の作問を行う際に
してしまいがちなうっかりだと思いますが,
その誤りをAIが指摘して
作問者を救ってくれるかどうかを試す問いです。
詳しくはサブ記事で
問3に関する説明やAIからの回答,
および採点結果については,
下記のサブ記事をご覧ください。
問3 採点結果
各AIの得点
問3における各AIの得点は
次のようになりました。(※10点満点)
参加AI名 問3の得点 ChatGPT-T 10点 Copilot-T 10点 Grok-N 8点 Gemini-T 6点 ChatGPT-N 5点 Perplexity-T 5点 Grok-T 5点 DeepSeek-N 5点 DeepSeek-T 5点 MathGPT-N 5点 Copilot-N 2点 Gemini-N 2点 Perplexity-N 2点 MathGPT-T 2点 Claude-N 1点
「サービス名-N」は熟考機能オフ,
「サービス名-T」は熟考機能オンです。
より正確な意味については,
当記事の2ページ目をご覧ください。
平均点
問3の平均点は次の通りです。
| 全参加AIの平均点 | 4.87 点 |
| 高速モデル (-N) の平均点 | 3.75 点 |
| 熟考モデル (-T) の平均点 | 6.14 点 |
問3 総評・所感
3勝12敗
問2に比べると平均点が上がっているように見えますが,
AIたちがこの問題に比較的対応できたとは
言いがたいです。
全参加AI(15モデル)のうち,
1回目の回答で三角形が成立しないと見破ったのは
わずか3モデルだったのですから。
3勝12敗ですよ。
この問いの結果を見る限り,現時点では,
人間の誤りをAIが高確率で訂正してくれると
信じてはならないと考えるべきかと思います。
ヒントの後に正解に気づいたAIがあったが
初回質問に対しては誤った回答を示し,
筆者がヒントを出した後に
正解に達したAIがいくつかありました。
しかし,それらのAI全てが,
筆者のヒントを見て修正したのかどうかは
分からないと言うべきでしょう。
同じAIに同じ質問を行うと,
同じ文言の回答にならないどころか,
解法も結論も異なる回答を返してくることが
よくあります。
そのようなAIの気まぐれによって,この問3でも,
最初は誤答を返し,後に正答を返しただけかもしれません。
ただ,筆者のヒントで誤りに気づいたと
思われるケースもあったように思います。
次ページの内容
引き続き,問4にて検証を行います。
人間ならほとんどしそうにない錯覚に
多くのAIが陥る…
そんな様子をご覧いただければと思います。