データ分析とは何か

データ分析にも検証や監査の仕組みが必要なのではないか

「データ分析」を誰が「データ分析」するのか

「データ分析」では「何が起きたか」「なぜ起きたか」「これからどうなるのか」を調べる。この時に他人の行動やマーケティング施策の結果を(時には偉そうに)評価したりするわけだが、その「データ分析」自体が正しかったのか、最もよい方法だったのかを評価することはあまりされていない。

足りていないのは「検証と学習というデータを積極的に収集すること」なのかもしれないと思っているが、実は一番この「検証と学習」が足りていないのはデータ分析そのものだったりするのではないか。

そこで、データ分析についても検証や監査の仕組みがあった方がよいのではという話を反省を踏まえて書く。

何を検証するのか

検証するべきは予測が正しかったかではなく「分析した時点において、最良の分析が出来ていたのか」ではないだろうか。特に人が絡む場合は施策によって行動の変化が起こるため、予測があっていたのかだけを見ても検証にはならない。

では具体的には何を検証するのが良いだろう。意思決定と分析のプロセスの全体像の順に検証していくなら以下の項目が考えられる。

すぐに検証できる項目もあれば、検証が必要なのはわかるがどうしたらいいのかさっぱり見当がつかない物まで様々ある。数が多いのでここでは項目を列挙するに留めておく。倫理、法律、セキュリティまで含めたらもっと増える。

  • 目的は正しかったか
  • 目的を達成するために知るべき内容は正しかったか
  • 収集するべきデータに過不足は無かったか
  • データは基盤に集約されていたか
  • データは整理されており必要なデータを簡単に入手できたか
  • 利用したデータは適切な方法で保管ないしは破棄されたか
  • 手法の選択は適切だったか
  • コードの書き方は適切だったか
  • 意思決定者に正しく伝わったのか
  • 施策は実行されたか
  • フィードバックされたか
  • 分析結果は意思決定にどのように関与できたか
  • データ分析による意思決定の向上のROIはどれぐらいか

誰が検証を行うのか

分析者当人が行っては検証にならない。ということは内部でクロスチェックをするか、外部に依頼することになる。

内部でのクロスチェック

全てを外部に監査させるのは予算も時間も不可能なので、通常はこの内部での検証を行うことにはなるだろうが、きちんと機能するためには何が必要だろう。

内部でクロスチェックを行うためには、検証の対象となる分析を行う人と同じレベルの分析ができる人がいなければならない。なので分析する人が1人しかいない場合は成立しない。複数いても最高レベルの人が突出していたらやはりその人の分析の検証は難しい。

もう1つ、適切な批判ができる企業文化が必要だ。文化がなければ様々な弊害が起きることは容易に想像がつく。例えば以下のことが考えられる。

  • 忙しいので手が回らないという言い訳が横行する
  • 各個人間での関係によってチェックがおざなりになるか逆に無用に厳しくなる
  • 検証により間違いが指摘されても無視することが当たり前になる
  • 分析の検証と個人の批判の区別がされず関係が悪化したり、悪化することを恐れて検証できなくなる

第三者による外部のチェックをうける

内部で検証ができない部分に対して第三者による外部のチェックの導入はどうか。懸念点としてはコストがそれなりにかかることと、内部でのクロスチェック以上に阿りや付託が発生しやすくなるリスクがあることだろうか。

そのためスキルがある人に頼むだけでは済まないので、そううまくはいかないかもしれない。しかし、選択肢としては残しておくべきだろう。

予測ではない分析であればなおさら必要かも

競合の動きや感染者数の増減のように予測を行うならばいずれ現実が答えを出してくれる。前述したように、予測とずれていたからどうかだけ見ても検証にはならないが、あまりにも大きく外れていれば何かがおかしいと気づく。

しかし「使いやすさ」「わかりやすさ」といった状態や「なぜそうなったのか」のような要因を対象としている分析は意図的に検証を行わないとクライアントが満足しているかどうかが判断基準になってしまいやすい。

ビジネスとしてはそれでもいいのだが、クライアントが満足しているかと分析が正しかったかは別の話である。結果を後で検証したら間違えていたり、違った方法が見つかることもあるだろう。その次にもっと良い分析ができるようになるためには検証と学習が必要だろう。

間違い探しは目的ではない

間違いを指摘されると人格を否定されたかのごとく考える人がいるが、何が良くて悪いかを振り返って次に生かすためであって、個人を攻撃するものではない。監査する側もされる側もこの点を勘違いしてはいけない。

何の監査もないと、適当にやってもどうせばれないとつい力を抜いたりしてしまいがちだ。定期的な監査を行うことで分析側には緊張感が生まれるだろう。それだけでも十分な効果をもたらすと思われるが、いかがだろうか。

人気のある記事

HOME > データ分析とは何か > データ分析にも検証や監査の仕組みが必要なのではないか