「とりあえずやってみよう」で1日が終わるのは、進んだ気がするから
目次
エラーが出たら、とりあえずAIに貼る。返ってきたコードを、とりあえず貼り付けて動かす。別のエラーが出たら、それもまた貼る。
たとえば、そんな往復を朝から続けたとします。夕方には一応動くものができた。手はずっと動いていたし、体感では「今日はかなり進んだ」。
ところが、この体感がどれくらい当てになるのかを実際に測った研究があります。結果は、多くの人の予想と逆向きでした。
「速くなった」という体感は、測ると外れていた
2025年、AIの能力評価を行う米国の非営利団体METRが、ランダム化比較試験の結果を公表しました。対象は、大規模なオープンソースのプロジェクトに平均5年関わってきた熟練開発者16人です。
舞台は、平均2万2,000超のスターと100万行以上のコードを持つリポジトリ。そこで実際に抱えていた課題246件を、課題ごとに「AIを使ってよい」「使ってはいけない」にランダムに割り振りました。使われたのは主にCursor ProとClaude 3.5/3.7 Sonnetです。
開発者たちは事前に「AIを使うと所要時間が24%短くなる」と予想していました。作業を終えた後の自己評価でも「20%短くなった」。ところが実測では、AIを使った課題のほうが所要時間が19%長くかかっていました。
研究チームは遅くなった要因として、AIの出力を確かめる時間、指示を書く時間、応答を待つ時間を挙げています。AIが生成したコードのうち、採用されたのは44%未満でした。
ここで「AIを使うと遅くなる」と結論を急がないほうがいいと思います。著者たち自身が、AIが多くの開発者を速くしないことの証拠ではないと明記しています。16人という少人数で、巨大なプロジェクトを熟知した人たちという特殊な条件での結果です。
2026年2月には後続の実験について、今ではAIで速くなっている可能性が高いとしながら、参加者がAIなしではやりたくない課題を出さなくなる偏りが生じたため、データは弱い証拠にしかならないと報告しています。
それでも、この研究から言えることが1つあります。作業している本人の「速くなった」という感覚は、実測と向きまで逆になることがある。
手が動いている時間は、進捗に見える
なぜ体感はずれるのか。私は、試行の手応えが「変化の量」で測られてしまうからだと考えています。
コードを貼れば、エラーの文面が変わる。画面の表示が変わる。何かが起きるたびに、前に進んでいる気がします。でも、エラーが変わったことと、原因に近づいたことは別物です。
エリック・リース氏は『リーン・スタートアップ』で、スタートアップの進捗を製品の完成度で測ってはいけないと書いています。進捗の単位は「検証による学び」、つまり実験で何が確かめられたかです。見栄えはよくても次の行動につながらない数字を、リース氏は「虚栄の評価基準」と呼びました。
試した回数や画面が変わった回数は、個人の作業における虚栄の評価基準に近いと私は思います。増えるほど進んだ気がするのに、何がわかったかは教えてくれません。
AIは、この錯覚を強めやすい道具です。答えがすぐ返ってくるので、試行1回あたりの手間が小さく、回数だけが積み上がります。
2024年、コンピューター教育の研究者ジェームズ・プラザー氏らは、米国の大学で入門プログラミングを学ぶ学生21人が生成AIを使って課題を解く様子を、観察と聞き取りと視線計測で調べました。21人中20人が課題を完成させています。
ただ、中身は二極化していました。順調だった学生は、もともと書こうとしていたコードをAIに書かせ、役に立たない提案や誤った提案は無視できた。つまずいた学生は、以前から知られていたつまずきがAIで重なり、新しいつまずきまで加わっていました。
しかも、つまずいた学生の多くは自分の出来を実際より高く見積もったまま作業を終えています。論文はこれを「有能さの錯覚」と呼びました。
熟練者の速さは、手の速さではなかった
順調だった学生が持っていて、つまずいた学生が持っていなかったもの。それは「次に何が起きるはずか」という見通しです。
同じことは、40年前の熟練者研究でも指摘されていました。1986年、ミシガン大学のレオ・ガガティ氏とゲイリー・オルソン氏は、熟練者と初心者にバグを1つ仕込んだ短いプログラムを直してもらう実験を報告しています。
熟練者のほうが速く、正確でした。主な理由は、少ないコードを読んだだけで質の高い仮説を立てられたことです。一方、初心者は元のバグを探している最中に、新しいバグをしばしば書き足していました。当たりをつけないまま手を動かすと、問題が減るどころか増えることがあるわけです。
アンダース・エリクソン氏は『超一流になるのは才能か努力か？』で、熟達者を支えるのは「心的イメージ」だと説明しています。経験から組み立てられた知識の構造で、これがあるから次に何が起きるかを予測でき、自分のやり方がどこで理想からずれたかにも自分で気づけます。たとえば野球の打者は、投手の腕の振りから球種と軌道を予測しているそうです。
つまり、熟練者の試行には最初から「こうなるはず」が付いています。結果が予想どおりなら仮説は強まり、外れれば捨てる。どちらに転んでも情報が残ります。予想のない試行は、結果が出ても比べる相手がいません。
予想を先に書くと、外れたときに学べる
予想することの効き目を、実験で確かめた研究があります。
2018年、ドイツ国際教育研究所のガーヴィン・ブロート氏らは、フランクフルト大学の学生36人に2つの課題を解いてもらいました。1つは「2つの国のどちらが人口が多いか」、もう1つはサッカーの試合結果です。
同じ人が、答えを見る前に予想する条件と、答えを見た後に「自分ならどう予想したか」を答える条件の両方を経験します。結果、先に予想した条件のほうが、人口の知識がよく身につきました。後から答える条件のほうが答えを眺める時間は倍以上あったにもかかわらず、です。
サッカーの課題では、予想を裏切った試合結果ほど、先に予想した条件でよく記憶されていました。瞳孔の反応を測ると、予想外の答えに驚く反応は先に予想したときにしか現れず、驚きが大きいほどよく覚えていました。
後から「まあ、そうだろうね」と答え合わせをするだけでは、驚く機会そのものが生まれません。
教育の現場にも、この順番を取り入れた方法があります。英国で開発されたPRIMMは、プログラムを実行する前に、出力を予想して書かせるところから授業を始めます。キングス・カレッジ・ロンドンのスー・センタンス氏らが13校の11〜14歳を対象に評価したところ、PRIMMで学んだ生徒は従来の授業の生徒より事後テストの点が高くなりました。
ただし、学校や授業をランダムに割り振った実験ではありません。差も小さなものです。予想以外の手順も含めた一式の効果である点にも注意が要ります。
片亀光行さんは『問う技術 書く技術 考える技術』で、書くことで「わからない部分」がはっきりし、それが次の問いを生むと述べています。予想を1行書こうとして書けないなら、それ自体が「自分はこのコードの動きをわかっていない」という発見になります。
貼る前に、1行だけ予想を書く
とりあえずの試行が空回りするのは、試すこと自体のせいではありません。結果と比べる予想がないからです。行動に落とすと、次の3つになります。
誤解：AIの答えは、とりあえず動かしてみればわかる → 動いても、なぜ動いたかは教えてくれません。動かなかったときも、どこが違ったのかがわかりません。
正しいアプローチ：実行する前に「何が変わるはずか」を1行書く → たとえば「この修正でタイムアウトは消え、代わりに初回の読み込みが少し遅くなるはず」。書けなければ、実行より先にAIにそのコードが何をするのか説明させます。今日から、1回5秒で始められます。
2つ目は、外れた予想だけを記録することです。当たった予想は流してかまいません。ブロート氏らの実験で学びが大きかったのは、予想を裏切られた場面でした。「〇〇だと思ったら△△だった」と1行残せば、それが自分の心的イメージを直す材料になります。
3つ目は、速さを体感でなく記録で測ることです。作業の開始と終了の時刻を書き留め、夕方の「今日は進んだ」という手応えと並べてみてください。METRの研究が示したのは、熟練者でも手応えと実測が逆を向きうるという事実でした。
これはプログラミングに限りません。表計算の関数を直すとき、スライドの配置を変えるとき、AIへの指示を書き換えるとき。どれも「こうなるはず」を先に置けば、1回の試行から持ち帰れる情報が増えます。
おわりに
「とりあえずやってみよう」は、悪い口癖ではありません。試さなければわからないことは、実際にたくさんあります。
足りなかったのは、試す前の1行です。予想を書いてから動かせば、外れた試行も「わかったこと」として手元に残ります。
明日の最初のエラーで、AIに貼る前に1行だけ書いてみてください。夕方の手応えが、少し違って見えるはずです。
この記事で参考にした本
『問う技術 書く技術 考える技術』片亀光行さん → 書くことで「わからない部分」が浮かび上がり、次の問いが生まれる。予想を1行書く行動の土台
『超一流になるのは才能か努力か？』アンダース・エリクソン氏 → 熟達者は「心的イメージ」で次に起きることを予測し、ずれを自分で見つける。熟練者の速さを説明する枠組み
『リーン・スタートアップ』エリック・リース氏 → 進捗は「検証による学び」で測る。手を動かした量と進捗を分ける視点
合わせて読みたい
調べた。試した。わからなかった。 一人で粘る試行錯誤を、どこで打ち切って答えを見に行くかを扱ったコラムです。この記事の「予想を書く」と組み合わせると、試す前と試した後の両方の型がそろいます。
「AIで楽になる」と思っている人が、一番危ない AIに任せるほど、確認する目や判断の腕がどこから弱るのかを研究で追ったコラムです。AIの答えを貼るだけの作業が長く続いたときのリスクを知りたい人に向いています。
『超一流になるのは才能か努力か？』アンダース・エリクソン｜才能は「引き出す」ものではなく「創る」もの この記事で触れた「心的イメージ」が、どんな練習で育つのかを詳しく書いた本の書評です。予想の精度そのものを上げたい人に読んでほしい一冊です。