データ分析にも監査が必要ではないか

誰が見張り番たちを見張るのか?

「データ分析」では「何が起きたか」「なぜ起きたか」「これからどうなるのか」を考え、意思決定につなげていくわけだが、その「データ分析」自体が正しかったのかを評価することはあまりされていないようだ。

日ごろから「検証と学習というデータを積極的に収集すること」が足りていないと思っているが、実は一番この「検証と学習」が足りていないのはデータ分析そのものだったりするのではないか。

そこで、データ分析についても検証や監査の仕組みがあった方がよいのではという話を反省を踏まえて書く。

検証すべきことは何か

検証すべきは「予測した時点において、正しい方法で行われたのか」だろう。施策による行動の変化、競合、法律、自然災害などが原因で大きく状況が変わってしまうので予測が正しかったかは結果からだけでは評価できない。

また、「意思決定者が納得や満足をしたか」で評価してもいけない。ビジネスとしては「満足しているか」だけでいいかもしれないが、クライアントが満足しているかと分析が正しかったかは別の話である。”顧客満足”を優先して客観性を無視してしまうなら分析者は存在意義を失うので特に気を付けたい。ただし分析者と意思決定者が別の場合は「正しく伝わったか」は検証すべきことに含まれる。

検証すべき項目

意思決定と分析のプロセスの全体像の順に検証していくなら以下が考えられる。倫理、法律、セキュリティまで含めたらもっと増える。

• 問いは正しく設定されていたか
• 知るべき内容は正しかったか
• 収集するべきデータに過不足は無かったか
• データは基盤に集約されていたか
• データは整理されており必要なデータを簡単に入手できたか
• 利用したデータは適切な方法で保管ないしは破棄されたか
• 手法の選択は適切だったか
• コードの書き方は適切だったか
• 意思決定者に正しく伝わったのか
• 施策は実行されたか
• フィードバックはされたか
• 分析結果は意思決定の質をどのぐらい向上させたか

すぐに検証できる項目もあれば、検証が必要なのはわかるがどうしたらいいのかさっぱり見当がつかない物まで様々ある。

誰が検証を行うのか

分析者当人が行っては検証にならない。ということは内部でクロスチェックをするか、外部に依頼することになる。

内部でのクロスチェック

内部でクロスチェックを行うためには適切な批判と検証ができる企業文化が必要だ。

文化がなければ様々な弊害が起きることは容易に想像がつく。例えば以下のことが考えられる。

• 忙しいので手が回らないという言い訳がまかり通り検証がされない
• 各個人間での関係によってチェックがおざなりになるか逆に厳しくなる
• 間違いが指摘されても無視することが当たり前になる
• 分析の検証と個人の批判の区別がされず関係が悪化したり、悪化することを恐れて検証できなくなる
• 正しく検証しても評価に繋がらない

第三者による外部のチェックをうける

内部で検証ができない部分に対して第三者による外部のチェックの導入はどうか。きちんと機能するための懸念点としてはコストがそれなりにかかることと、内部でのクロスチェック以上にクライアントの顔色伺いや付託が発生しやすくなるリスクがあることだろうか。

間違い探しは目的ではない

間違いを指摘されると人格を否定されたかのごとく考える人がいるが、何が良くて悪いかを振り返って次に生かすためであって、個人を攻撃するものではない。監査する側もされる側もこの点を勘違いしてはいけない。

何の監査もないと、適当にやってもどうせばれないとつい力を抜いたりしてしまいがちだ。定期的な監査を行うことで分析側には緊張感が生まれるだろう。それだけでも十分な効果をもたらすと思われるが、いかがだろう。