本文へスキップ
ブクドリ | BOOK DRIP

データ分析が使われない理由は、結果を受け取る側にある

更新日:
約7分で読めます 思考法・問題解決
目次

分析結果を報告した。会議では「参考になった」と言われ、翌月も同じ施策が続いている。データ分析が使われないとき、私たちはつい分析の側に原因を探します。精度が足りなかった。グラフがわかりにくかった。

もちろん、そういう場合もあります。ただ、意思決定の研究を読んでいくと、別の場所に原因が見えてきます。結果を受け取る人の頭の中と、受け取る場の仕組みです。

問いの立て方が正しく、分析も正確だった。それでも使われない。この記事で扱うのは、その最後の一歩で起きていることです。

分析結果は、白紙の頭には届かない

分析結果を受け取る人は、白紙の状態で数字を見るわけではありません。たいていは、すでに見立てを持っています。その施策を承認したのが本人だった、ということも珍しくありません。

たとえば、ある販促キャンペーンの効果を測ったとします。結果は「売上への効果はほぼゼロ」。この報告を聞く部長が、半年前にキャンペーンを推した本人だったらどうでしょう。数字は同じでも、受け止め方は第三者とまるで違うはずです。

受け手の側で分析が止まる経路は、研究から見ると少なくとも3つあります。

  • 見立てと逆の結果は、正しく読まれにくい
  • 予測モデルは、外れる場面を見たとたんに見限られる
  • 会議が承認の場になっていると、分析は飾りとして扱われる

順に見ていきます。

見立てと逆の数字は、正しく読まれにくい

イェール大学のダン・カハン氏らは、米国の成人1,111人に、架空の実験結果を2行2列の表で見せました(2013年調査、Behavioural Public Policy誌に2017年掲載)。正しく読むには、行ごとの比率を比べる必要がある問題です。

表の形は同じで、題材が2種類ありました。一つは新しい皮膚クリームの効果。もう一つは、拳銃の携帯禁止で犯罪が増えたか減ったか。後者は、米国で支持政党によって意見が割れるテーマです。

銃の題材では、正解が自分の政治的立場に沿うときのほうが、正答率が高くなりました。デビッド・ロブソン氏は『知性の罠』でこの実験を紹介し、数字に強い人ほど偏りが大きかった点に注目しています。賢い人ほど、知性を自分の考えを守るために使ってしまう、という主張です。

ただし、この「数字に強い人ほど」の部分は、追試で揺らいでいます。スウェーデンのリンショーピン大学のチームが3,154人で事前登録の追試をしたところ、偏りが計算力とともに大きくなる傾向は確認できませんでした(Cognition誌、2021年)。立場に沿った読み方そのものも、銃の2つの場面のうち片方でしか出ていません。

一方で、同じ情報でも自分の考えに沿うかどうかで評価が変わるという土台の部分は、51件の実験、1万8,000人超を統合したメタ分析でも確認されています(ピーター・ディット氏ら、2019年)。賢さとは関係なく、見立てと逆の数字は割り引いて読まれやすい。確かに言えるのは、ここまでです。

この傾向がいちばん強く出るのは、数字が自分の過去の判断を否定するときです。マシュー・サイド氏は『失敗の科学』で、これを認知的不協和から説明します。自分は有能だという自己像と、判断を誤ったという事実がぶつかると、人は事実のほうを曲げて解釈します。

本書が挙げる例の一つが、米国イリノイ州のフアン・リベラ氏の事件です。2005年のDNA鑑定で、現場の精液は彼のものではないとわかりました。それでも検察は別の説明を持ち出して裁判を続け、2009年に3度目の有罪判決を得ています。控訴裁判所が有罪を覆したのは2011年でした。

職場に置き換えると、効果測定の報告先がキャンペーンを決めた本人、という構図です。結果を受け入れることが自分の判断ミスを認めることと同じ意味になる限り、数字は読み違えられるか、聞き流されます。

予測モデルは、一度外れると見限られる

分析結果が需要予測やスコアリングのようなモデルの形をとるとき、別の現象も起きます。ペンシルベニア大学ウォートン校のバークリー・ディートボースト氏らが名づけた「アルゴリズム回避」です(Journal of Experimental Psychology: General誌、2015年)。

最初の実験では、ウォートン校の実験室に集まった361人が、MBA志願者の書類から入学後の成績を予測しました。統計モデルの予測も使えます。モデルは5つの実験すべてで人間より正確で、この課題では人間の誤差がモデルより15〜29%大きいものでした。

それでも、練習段階でモデルの予測と正解を見比べた人は、見なかった人より報酬をモデルに賭けなくなりました。モデルが自分より当たっているのを見た人でも、そうでした。一方、人間が外すのを見ても、人間を選ぶ割合は有意には下がっていません。

人は同じ間違いでも、モデルの間違いを人間の間違いより重く見るわけです。実績を見せていない段階では、多くの参加者がむしろモデルを選んでいました。モデルが嫌われるのは、外れる場面を見たあとです。

同じチームは解決策も試しています(Management Science誌、2018年)。高校生の数学テストの順位を予測する課題で、参加者288人に「モデルの誤差は平均17.5パーセンタイル」と伝えました。

モデルを使うか使わないかの二択にすると、モデルを選んだのは32%でした。「モデルの予測を最大10パーセンタイルまで修正してよい」とすると、76%に増えています。予測の誤差も、二択の条件より小さくなりました。

修正できる幅がごく小さくても、効果は出ました。この「修正できるなら使う」効果は、2025年に280人で行われた事前登録の追試でも再現されています。完璧さを約束するより、手を入れる余地を渡すほうが、モデルは使われます。

会議が「承認の儀式」だと、分析は飾りになる

3つ目は、個人の頭の外にある、組織の決め方の問題です。

組織論のマーサ・フェルドマン氏とジェームズ・マーチ氏は1981年の論文で、組織は使う以上の情報を集め、それでもさらに情報を求めると指摘しました(Administrative Science Quarterly誌)。情報を集めて使うこと自体が、きちんと調べて決めたことを示す社会的な合図になっているからだ、という説明です。

この見方に立つと、分析は判断の材料より、決めたことの正当性を示す飾りとして求められる場合があります。飾りとして求められた分析は、中身が予想と違っても判断を変えません。

クリス・ブラッドリー氏らの『マッキンゼー ホッケースティック戦略』は、その典型を戦略会議に見ています。担当部門が分厚い資料で1つの計画を説明し、承認を取りつける。初年度に落ち込んだあと急成長する右肩上がりの計画を見せ合うことを、本書は「儀式のようなもの」と表現しています。

本書が勧める切り替えの一つは、YESの獲得から、真の選択肢の議論へ移ることです。1つの案を通す場では、データはその案を支える方向にしか使われません。複数の案を比べる場になって初めて、数字が選択を左右する余地が生まれます。

使われる分析に変える、3つの切り替え

ここまでの3つの構造を、実務の手順に置き換えます。

誤解:結果が出てから、わかりやすく報告すればいい → 分析を始める前に、受け手と「この数字がここを下回ったら施策を止める」を決めて、書き残します。たとえば「新規顧客の購入率が1%を切ったら、来月は打ち切る」。結果を見る前に決めた基準なら、受け入れても本人の判断ミスを認めることにはなりません。

誤解:モデルは完成品として渡し、そのまま使ってもらう → 受け手が一定の幅で修正できる形で渡し、修正した値と結果を記録します。修正の余地があるだけで使われやすくなり、記録が残れば、人の修正とモデルのどちらが当たったかも後で確かめられます。

誤解:結論を1つに絞り、厚い資料で支える → 2〜3の案を並べ、それぞれの数字を1枚にまとめます。たとえば「継続」「縮小」「予算を倍にする」の3案に、見込める売上と失敗したときの損失を並べる。分析の役割が、1つの案の証明から、案を選ぶための材料に変わります。

5分でできることもあります。次に出す分析レポートの冒頭に、「この結果次第で変わりうる判断」を1行だけ書いてみてください。書けないなら、その分析はまだ飾りの側にあります。

おわりに

データ分析が使われないとき、分析の精度を上げても、たいていは解決しません。数字が届く先には、すでに見立てを持ち、過去の判断を背負い、承認の場に座っている人がいます。

受け手のことを、分析の設計図に最初から書き込んでおく。結果が出たあとにできることより、結果が出る前にできることのほうが多いのです。


この記事で参考にした本

『知性の罠 なぜインテリが愚行を犯すのか』デビッド・ロブソン氏 → 賢い人ほど、知性を自分の考えを守るために使ってしまうという「動機づけられた推論」

『失敗の科学』マシュー・サイド氏 → 自分の判断を否定する証拠ほど、認知的不協和によって曲げて解釈される

『マッキンゼー ホッケースティック戦略』クリス・ブラッドリー氏ほか → 戦略会議が承認の儀式になると、データは1つの案を支えるためだけに使われる


合わせて読みたい

データ分析が役に立たないとき、疑うべきは「課題設定」 分析が使われない原因を、結果が出る前の問いの立て方から見たコラムです。この記事と合わせると、分析の入口と出口の両方を点検できます。

意見を変えられる人が、いちばん正確になる 新しいデータで見立てを更新する手続きを、ベイズの法則から解説しています。見立てと逆の数字を割り引いてしまう癖に、受け手の側から向き合うための一本です。

『恐れのない組織』エイミー・C・エドモンドソン|沈黙は、いちばん安全で、いちばん危険な選択 会議で「これ、おかしいのでは」と言えない空気が、組織の判断をどう歪めるかを描いた本の要約です。承認の場で不都合な数字を出しにくい理由が見えてきます。