データ分析にも第三者による監査を取り入れてはどうか
誰もわからないからといってブラックボックス化は危険
高度な分析であればあるほど、何をしているのかを理解できる人が減っていくことになるが、だからと言って誰もわからないままで任せきりにしてしまうのがよいかと言えばそんなことはない。後で検証したら間違えていたり、より良い方法が見つかることもあるだろうし、なにより上位の意思決定に関与すればするほど権力となり、監視されない権力は徹底的に腐敗する。分析も同じことだ。
そこで、データ分析についても第三者による監査の仕組みがあった方がよいのでは、という提言である。
内部でのクロスチェック
全てを外部に監査させるのは予算も時間も不可能なので、通常はこの内部での検証を行うことにはなるのだが、きちんと機能するためには
- 適切な批判ができる人間関係であること
- 同じぐらいのレベルの人が複数いてお互いの検証ができること
の２つが必要である。特に１は重要で、人間関係がうまくいっていないような場合は、お互いにあまり関わりたくないという気持ちから
- 忙しいので手が回らないという言い訳が横行する
- チェックがおざなりになるか逆に無用に厳しくなる
- 間違いを見つけても指摘できない、指摘されても無視することが当たり前になる
などの弊害が起きる。
第三者による定期的に外部のチェックをうける
そこで、第三者による定期的な外部のチェックの導入はどうか。監査する内容によってはかなり踏み込んだ情報の開示が必要になるが、後で致命的な間違いが発覚して修正するリスクを考えれば投資する価値には見合うかもしれない。監査する内容だが、ざっと考えてもポイントとしては
- 問題設定は正しいか
- 知るべき内容は正しいか
- 収集するべきデータに過不足は無かったか
- 分析手法の選択は適切か
- コードは正しく書かれているか
- 分析結果の評価は正しかったか
- 予測はどの程度当たったのか
- 分析結果は意思決定にどのように関与できたか
- 実行されたか
- フィードバックされたか
などが思いつく。全ては無理でも適用する分析手法や予測の評価といった専門知識の部分だけでも行う価値はあるのではないか。
間違い探しは目的ではない
間違いを指摘されると人格を否定されたかのごとく考える人がいるが、何が良くて悪いかを振り返って次に生かすためであって、個人を攻撃するものではない。監査する側もされる側もこの点を勘違いしてはいけない。
また、定期的な監査を行うことで、分析側には監査されるという緊張感が生まれるだろう。逆に何の監査もないと、適当にやってもどうせばれないとつい力を抜いたりしてしまいがちだが、いつか監査されるかもしれないとなれば向き合い方も変わるだろう。その結果ミスが減るのであれば、それだけでも十分な効果をもたらすと思われるが、いかがだろうか。