データ分析がプロセスであることを意識しないと見えないこと

「分析」だけしか考えていないと欠落すること

世の中で「データ分析」というと、手元にあるデータに対して何かの手法を適用するためにプログラミングすることと捉えている人は非常に多い。しかし、この理解はあまりにも不十分である。だからアナリストに丸投げすれば何とかなるとか、手法の勉強をすれば仕事ができるようになるといった勘違いをする人が後を絶たない。その原因は、データ分析がプロセスであるということを意識していないからだ。データ分析プロセスの説明については


を参照してほしい。

もしデータ分析がプロセスであることを意識せずに、与えられたデータを元に何かの手法を使ってアウトプットを出すことだけだと考えていると、以下のような本来やるべきことが欠落する。

  • 何が目的であるかを決める
  • 意思決定者から分析者へ「何を知りたいのか」を伝える
  • 目的のために何を知る必要があるかを考える
  • たくさんの課題と様々な制約条件の中で取り組む内容と優先順位を決める
  • 情報収集、保管、管理について考える
  • データハンドリング、前処理を行う
  • 分析結果を洞察して次にどうするべきかを考える
  • 資料作成とプレゼンテーションを行う
  • 施策の実行とフィードバックを行う

これらは1つ1つが大きな問題であり、1つでもないがしろにすれば多大な時間を取られたり分析が無駄になったりしてしまう問題なのだが、残念ながら多くのデータ分析では意識されることは少ない。特に重要なのは「何が目的であるかを決める」ことなくとりあえずデータを集めたり分析したりすると悲惨なことになる。

何が目的であるかを決めずにデータ分析を行うと起きること

一言で言えば

ということだ。まず最初に分析の目的を決めなけれならない。目的を決めずにいきなりデータを触りだしたりすると、適当にいじくりまわしているうちに面白そうなデータが出てきたりして、いつの間にかに時間が過ぎて仕事をした気にはなれるが、実態はただ時間が過ぎただけ、などということがよく起きる。

目的をはっきり言われなかったから「相手はこう考えているだろう」などと勝手に想像して分析を進めた結果が「こんなのいらない」「今そんな分析は必要ない」などということにもなる。あとになって「言わないのが悪い」といったところで責任は回避できても失った時間は取り戻せない。

「探索的データ解析」という言葉もあり、方針が決まっていない時に「とりあえず基礎的なデータを見てみる」ことがよく行われるが、データを見て何か思いつくのはなんらかの問題意識があるからであり、とにかく何か思いつくかもしれないとデータを見るのは多大な浪費となる。

目的が決まったとしても、その目的設定が正しいのかどうかはまた別問題。もっと優先順位を高めるべき問題が抜けていないか、そもそもその問題設定は正しいのか、と刻々と変わっていく状況の中で常に見直していかなければならない。もちろん、間違えた目的設定がされていれば、分析はあらぬ方向へ向かっていく。

さらには、もし意志決定者に明確な目的があったとしても、それが正しく分析者に伝わるか、あるいは分析者がその目的をきちんと聞きだせるのかということも問題になる。これは結局のところクライアントや上司との信頼関係が構築できるかであり、分析とは全く別のスキル、いや、スキル以前に人間性の話にもなるが、今までの「データ分析」の話題ではあまりにもないがしろにされている部分だろう。

データ分析はプロセス全体が動いて初めて価値が出る

データ分析は、目的の決定から始まって施策が実行され、その結果が出て初めて価値が生まれる。学問としての研究は別として、少なくともビジネスでは社会(あるいは自社の利益)に対してどれだけ有益であるかで図られるべきで、分析はしたから理解されなくても使われなくても利益に繋がらなくても自分の責任ではない、という認識は間違いだ。

プロセスに参加している以上、そのプロセスがうまく動かなければそこに参加している全員の失敗である。データ分析の失敗の責任は経営者・マネージャーにあるのは当然として、分析者もまずはできることはやりきった後でそれでもなおプロセスがうまく動かないのであれば、然るべき指摘をしなければならず、それでもプロセスをうまく動かすことができなければそれはまたアナリストの失敗でもあるのだ。