前ページまでのあらすじ
前ページまでで，よく使われているチャットＡＩの
数学推論能力について検証およびその総括を行いました。
ゆえに，当記事の本編は
終了したと言ってよいのですが，
ＡＩの得意分野や苦手分野について
ぼんやり考えたことを書いてみたいと思います。
書籍の「あとがき」のような感覚で
ご覧いただければと思います。
ChatGPT と将棋を指してみた
暇つぶしの依頼
2025年 4 月のある日，ふと思い立って，
ChatGPT に次のような依頼を出してみました。
ちょっと日本の将棋の相手をしてほしいのですが，
お願いできますか。
多分「自分は将棋は指せません，ごめんなさい」
という返事だろうと予想していました。
以前にも「あなたは将棋を指せますか」と
質問したことがあり，
「指せない」という回答だったからです。
しかし，今回は意外にも，
次のような返答でした。
何と，相手してくれるというのです。
不覚にも筆者の心臓は高鳴りました。
緊張する筆者
最先端の将棋ＡＩは，人間では到底敵わないほど強い。
その事実は，将棋ファンでなくても
かなり多くの人が知っていることでしょう。
それに対し，筆者の棋力など知れたものです。
「初心者ではない」程度のものです。
そんな筆者がＡＩとまともに戦って簡単に負けたら，
相手（ＡＩ）の力量を測ることもできません。
なので，筆者の方は，失礼がないように，
次のような形で相手することにしました。
- 筆者は，手元に将棋ソフトを用意する。
- 指したい手は筆者自身が考える。
- 筆者が指したい手を実際に ChatGPT に送信する前に，
その手を手元の将棋ソフトに評価してもらい，
大悪手なら別の手を筆者が考える。
ここまですれば，簡単には負けないでしょう。
ヘ…ヘ○レと笑わば笑うがよいのです。
対局開始
${}$ChatGPT が対局の条件を尋ねてきたので，
平手（ハンデなし），筆者は後手とし，
遠慮はいらないので全力でかかってきたまえと伝えました。
${}$ChatGPT が了承し，
元気よく初手を伝えてきました。
いよいよ対局開始です。
熟考機能は回数制限があるので，
基本的に熟考機能を切って相手してもらいました。
つまり，この検証の ChatGPT-N に相当します。
あれ，何かおかしいぞ
最初の数手は，まあ普通の手順だったのです。
しかし，徐々にＡＩ側の指し手が乱れます。
手を入れるべきところに手を入れないし，
防御にならない防御を繰り出すし。
明らかに筆者が優勢です。
筆者はもはや手元の将棋ソフトを
見る必要もなく指し進めます。
いよいよ荒ぶる ChatGPT の指し手
そして迎えた２３手目。
${}$ChatGPT は，筆者が直前に打った「歩」を
「銀」で取ったと伝えてきたのですが，
その周辺には「銀」がなかったのです。
つまり，不正な手です。
ひと悶着の末，ChatGPT が誤りを認めて
別の手を指しました。
それで一応続行してみたのですが。
そこからの ChatGPT の応対はひどいものでした。
- 王手をかけられても，王手が解消されない手を指す。
つまり，自分の王様を見殺しにする。
筆者に指摘されてから逃げる。 - その逃げた先も，筆者の駒の移動範囲にある。
つまり，筆者が相手の王様を取れてしまう。 - 筆者が王様を取った後も，
平然と次の指し手を伝えてくる。
筆者に指摘されてから，
自分の王様が取られたことに気づく。
これは，残念ながら，強い弱い以前に，
ChatGPT は将棋を指せるとは言えないですね。
ったく… 緊張して損しましたわ ，ホントに。
あ，一応スクリーンショットを載せておきますね。
⇒ 画像：将棋（vs ChatGPT）（お目汚し注意）
チャットＡＩは，ＩＴ技術は得意らしい
チャットＡＩの得意分野と苦手分野について，
筆者はよく知らないのですが，
ＩＴ技術は得意らしいという話は小耳に挟んだことがあり，
それは筆者の実感と一致します。
筆者は，2025年の前半に，
やや本格的にネットワークの学習をしたのですが，
ChatGPT に頼りきりでした。
筆者はＩＴ分野をある程度得意にしているのですが，
その中ではネットワーク分野がかなり苦手で，
参考書を読んでも，問題集を解いても，
なかなか理解が進みませんでした。
解説を読んでも疑問が残ってしまい，
半ば苦しまぎれに ChatGPT を頼ったのですが，
これがまた回答精度の高いこと高いこと。
かなりマニアックな質問も多数したと思うのですが，
ほとんどの場合において，参考書や問題集の解説と
矛盾しない答えを返してくれるのです。
例えば，次のような質問にも
軽々と答えてくれました。
- （ルータなどのネットワーク機器について）
ルーティングテーブルにないアドレスから
送信されたパケットは破棄するという機能に
名前が付いていたような気がするのですが？ - やや大規模な内部 LAN で，
DHCP を利用したい PC とDHCP サーバの間に
L3 スイッチが２つ挟まっているとします。
DHCP リレーエージェントは，
両方の L3 スイッチに必要でしょうか？ - （Kerberos 認証システムで）
クライアントが有効な TGT を持っていれば，
レルム内の各サーバにアクセスする際，
KDC にアクセスする必要はないのですか。
多分，知らない人にはちんぷんかんぷんだと思います。
「日本語で喋ってくれ」という感じでしょう。
これらのように，深めの専門知識と
正確な思考が求められる質問にも，
ChatGPT は相当な精度で答え続けてくれました。
おかげさまで，筆者のネットワークに対する理解は，
以前に比べれば飛躍的に上がりました。
ChatGPT 先生には足を向けて寝られません。
なお，筆者と ChatGPT の間で議論になって，
筆者の方が正しかったというケースもありましたが，
少なくとも数十回の問答を重ねた中で，
ChatGPT が間違っていた記憶は
その１回くらいしか残っていません。
この記事の検証で，数学においては
チャットＡＩが信じられない勘違いをするさまを
数多くご覧いただきましたが，
ＡＩのＩＴ技術に関する問答の正確さは，
数学とは比べものにならないと思います。
マイナーな技術については
精度が落ちる可能性が高いと思うので，
ご利用の際はご注意ください。
なぜこれほどまでに得手不得手が生じるのか
ＡＩの得手不得手を左右する要素
ＩＴ技術に関しては，知識・思考ともに
相当なレベルに達しているチャットＡＩ。
一方で，将棋を指させたら
正しく指すことさえままならないチャットＡＩ。
なぜ，分野によってこれほどまでに
差が生じるのでしょうか。
それは，学習の質と量の違いで
説明できそうな気がします。
すなわち，
学習のための良質なデータが
人間との対話から大量に得られるかどうかが，
分野によって大きく異なる
ということではないでしょうか。
ＡＩがＩＴ技術を得意とするのは自然なことかも
前述の通り，チャットＡＩが
ＩＴ技術を得意にしていることは
間違いなさそうです。
その原因はおそらく，
次のような要素があるからかと思います。
- ＩＴ技術を使う人の数が多い。
- ＩＴ技術は仕事で使われることが多く，
総じて質問者の真剣度が高い。 - ＩＴ技術を使う作業と
ＡＩチャット利用の親和性が高い。 - ＩＴ技術者は総じてＡＩへの理解度が高い。
ＩＴ技術は，世界中で
多くのＩＴ技術者が使っています。
しかも，仕事で使っていることも多いため，
ＡＩチャットでＩＴ技術関連の質問をする際の真剣度が
総じて高いと思われます。
また，ＩＴ技術を使う人は，
ほとんどの場合パソコンの前にいて，
ウインドウを開いて作業をしています。
そこでもう１つウインドウを開いて
ＡＩチャットを利用することは，
作業的に無理がありません。
ＩＴ技術者なら，画像をチャットＡＩに渡すといった
基本的なＩＴスキルにも困らないでしょう。
加えて，ＡＩもＩＴ技術ですから，
ＩＴ技術者は，ＡＩの仕組みまでは知らなくとも，
ＡＩから適切な回答を引き出すために
ＡＩに与えるべき情報を
適切に取捨選択できることが多いと思います。
こうして見ると，ＩＴ分野は，
ＡＩが人間との対話から良質な学習データを
大量に得られる条件が揃っていると言えそうです。
ＡＩがＩＴ技術を得意とするようになったのは
当然なことのようにも思えます。
将棋では一体なぜこんなことに？
ChatGPT は裏で将棋ソフトを操っていなかった
このページの冒頭では，筆者 vs ChatGPT の
お目汚しにもほどがある将棋対局風景を
ご覧いただきました。
ＡＩは将棋が強いはずなのに，
一体なぜこれほど拍子抜けなことになったのか。
まず１つは，ChatGPT がインチキをせず
正々堂々と自分の力で将棋を指そうとしたことです。
人間より強い将棋ソフトが存在するのは事実です。
そして，ＡＩチャットの利用者から見れば，
ＡＩが裏でこそこそと将棋専用ソフトを
操っている可能性を否定できません。
もし ChatGPT がそうしていたら，
筆者などひと捻りだったはずです。
自力で指すにしても，もう少し指せてもいいのに
しかし，チャットＡＩが自力で将棋を指すとしても
それなりの力を発揮しそうなものなのに，
と思ってしまいます。
他分野でのチャットＡＩの活躍を
目の当たりにしているのでなおさらです。
ＩＴ技術に関しては素晴らしい回答精度。
数学に関しては，全体的には穴が多いものの
なかなかの推論を見せることもある。
そのように多くの分野で力を発揮するＡＩが
将棋の相手をしますと言うのだから，
かなりの腕前に違いないと思ってしまった筆者を
誰が責められましょう。
しかし，実際には，反則なく指し続けて
終局を迎えることもできませんでした。
裏で将棋ソフトを操っていないのはもちろんのこと，
筆者の挑戦を堂々と受けておきながら
棋力以前の問題でした。
自力で指すにしても
もう少し指せてもよさそうなのに，
なぜチャットＡＩはここまで将棋が
できないのでしょうか。
良質な学習データが集まりやすい分野ではない
ＡＩの育成には大量のデータによる学習が
必要だと言われます。
しかし，将棋に関しては，
人間との対話によるデータ収集が捗らない理由が
揃いすぎている気がします。
- 将棋を指す人は，ほぼ日本にしかいない。
- 作業の親和性がない。
すなわち，将棋盤で人間相手に対局する人は，
ＡＩチャットを利用できる状態にあるとは限らない。
かつ，利用できる状態にあってもほとんどしない。 - コンピュータで将棋を指したり学んだりするなら，
将棋専用ソフトの方がはるかに便利。 - 将棋の知識とＡＩの知識は関連がほとんどないため，
将棋を指す人の多くが
ＡＩの扱いに長けているとは言えない。
これでは，チャットＡＩが
将棋をうまく指せるようになるだけの学習データを
人間との対話で集めるのは，不可能に近いでしょう。
もしも，将棋を指しましょうと言われたチャットＡＩが，
マウス操作可能な将棋盤を表示して
相手してくれるようになったら，
ＡＩチャットで将棋を指す人が増え，
学習データも増えるので強くなるかもしれませんけれど。
では数学についてはどうか
では，数学はどうでしょうか。
ＡＩにとって良質な学習データが
集めやすい分野と言えるでしょうか？
- 数学を学ぶ人は，世界中にいる。
- 学生の真剣度はそれなりだが，
数学を真剣に学ぶ社会人は多くない。 - 数学は基本的に，紙と鉛筆で勉強するもの。
パソコンやスマホが手元にあるとは限らない。 - 数学の学習者には中学生や高校生が多く含まれ，
数学やＩＴスキルに長けた集団とは言えない。
現状では，数学の学習のために
ＡＩチャットで質問するという手段は
まだ一般的ではないでしょう。
教科書とノートと鉛筆で
数学を学ぶことは十分可能ですから，
ＡＩチャットの必要性・有用性を
感じられるかどうかという問題があります。
ＡＩチャットを使いたくなっても，
そのためにパソコンかスマホを用意したり，
基本的なＩＴスキルを学んだりというのは，
少々ハードルが高いかもしれません。
また，ＡＩチャットで数式を伝えるのも，
ある程度知識がないと厳しいです。
仮に，それが手書き入力でクリアできたとしても，
数学の学習者には，中学生や高校生が多数含まれます。
数学が苦手な生徒も大勢いますから，ＡＩチャットで
数学的に要領を得ない質問をしてしまうケースも
多数発生しそうです。
それは，下手をすると，
ＡＩ側の学習の妨げになるかもしれません。
このように考えると，数学分野は，
必ずしもチャットＡＩにとって
良質な学習データを集めやすい分野では
ないように思えます。
もちろん将棋ほど困難ではないでしょうが，
ＩＴ分野に比べるとはるかに，
学習データの収集に苦労しそうです。
現在のチャットＡＩの数学推論能力が，
将棋の能力とＩＴ技術関連の能力の間くらいというのは，
妥当な現状と言えるのかもしれません。
ＡＩを信じがちな心理に注意
ＡＩは平気で嘘をつく
再び将棋の話題で恐縮ですが，
次のような質問を ChatGPT-Nに投げてみました。
質問した時期は，2025年の 5 月末あたりだったかと思います。
将棋の「永世名人」の称号を
最年少で獲得したのは誰でしょう？
プロの将棋の「名人戦」で５回優勝すると
「永世名人」の称号が獲得できるのですが，
それを最年少で達成したのは誰かという質問です。
この質問に対する ChatGPT-N の答えは，
「藤井聡太八冠」でした。
いや違うでしょ。
実際はこの時点で八冠ではなく七冠であり，
その点も気になりましたが，
それより何より藤井氏は未達成でしょ。
そもそもこの質問は，藤井氏がまだなのは分かっているが，
同氏が今後最年少記録を打ち立てるにあたり，
どの程度時間的余裕があるかを知りたいという
意図だったのですから。
筆者は，単に知りたかったからこの質問をしたのであり，
ＡＩの精度を試す意図はありませんでした。
しかし，この回答を見て，
ＡＩたちを試してみたくなりました。
さっそく，今回の検証に参加してもらったＡＩのうち，
数学専用の MathGPT を除く７製品１３モデルに，
同じ質問をしてみました。
結果は次の通りです。（敬称略）
票数 棋士名 ４票 中原誠 ３票 藤井聡太 ２票 大山康晴 ２票 谷川浩司 １票 羽生善治 １票 渡辺明
そうそうたる面々ですね。
いずれ劣らぬ将棋界の巨人たちです。
でもそうではなくて。
普通，最年少記録は１人しか持っていないはずです。
そうそうたる面々とかいらないから，
正解の１人だけを教えてほしいのです。
それがこれほどばらばらの回答になるとは。
ちなみに，Wikipedia の情報を信じるなら，
正解は中原誠氏のようです。
辛うじて最多得票ではありますね。
しかし正解率は１３分の４，わずか３０％強です。
ＡＩチャットが世に出てから２年以上経つのに，
質問によってはまだまだこんなものなのですね。
よく，インターネットの情報は
正しくないものも多いから気をつけろと言われますが，
ＡＩからの情報は，通常のネット情報とは
比較にならないほど当てにならないようです。
回答によっては信じていたかも
前述のように，筆者はこの質問を，
実際に知りたかったから問いました。
筆者はもともと，羽生氏や渡辺氏が
この質問の正解でないことを知っていましたが，
最初の質問相手である ChatGPT-N の回答が
大山氏か谷川氏だったら信じていたかもしれません。
いや，１つのＡＩからの情報なら
疑いなく信じたりはしませんが，
念のために複数のＡＩに問い合わせて，
偶然にも回答が一致したら，
「かなりの確率で正しい情報」として
脳にインプットしていたと思います。
これはきっと，筆者だけに当てはまる話ではないでしょう。
多少なりともＡＩを信じるタイプの人なら，
この心理効果はきっとあると思います。
危うい心理効果だと自覚することが大事
そもそも，ＡＩチャットを利用する人は，
ＡＩからの回答が自分の認識と矛盾しないものなら
受け入れるつもりだから利用するのでしょう。
これは，分野によってはＡＩの回答精度が
著しく低くなる現状では，危うい心理効果です。
筆者も人のことは言えません。
よく知らない分野のことをＡＩに尋ね，
その回答内容を結構信じてしまっている自覚があります。
しかし，ある程度の精度で回答してくれるＡＩを忌避して
全く使わない方針は，極端すぎて妥当ではないでしょう。
大事なのは，次の３点かと思います。
- この情報はＡＩからの回答内容だという事実も
併せて覚えておくこと。 - ＡＩは，分野によっては回答精度が
著しく低くなるという意識を常時持つこと。 - ＡＩから得た情報の正確性が
実利や実害に影響しうる状況になったら，
ＡＩ以外の手段で確認すること。
これらのことに気をつけていれば，
大過なくＡＩとつきあっていけるのではないでしょうか。
もちろん筆者自身も気をつけながら
日々を過ごしたいと思います。
最後までお読みくださった方々，
誠にありがとうございます。
参考になった部分があれば幸いです。