前処理は従だがおまけじゃない
「前処理は重要」は世の中の常識とは限らない
分析において前処理はとても重要で、むしろ前処理をやらないで何をやるんだぐらいの場合もある、ということは経験者からすれば当たり前であろうが、収集や前処理は部下や外注に任せてそれ以外だけをやる人も存在する。コンサルやマーケターは特にそうだ。
現実問題として部下や外注に任せることはやむを得ないのではあるが（参考：分析と収集を同じ人が行う場合のメリットとデメリットと、現実的にどうするか）、適当に人を当てればよい、という話ではない。
ところが、前処理を自分でやらない人というのは往々にして前処理を馬鹿にして、誰でもできる下っ端の仕事であると思うらしい。
この状況を放置するとどうなるか
これを放っておくと何がおきるか。まず誰かに任せるにしても当人にスキルがないので適切な依頼や指示が出せない。だから収集や前処理の担当者側でコントロールすることになるが、前処理を見下しているのでまともに話を聞かない。担当者もそれにすぐ気づくので協力関係ができない。
するとコミュニケーションコストが膨大になり、手戻りが頻繁に発生するためアウトプットの質も量も下がってしまう。つまりデータ分析の生産性が酷く落ちる。
となれば当然関係者の評価は下がる一方で、待っているのはデータ分析チームの消滅、となって関係者全員が不幸になるだけだ。
そんなところからはさっさと転職するのが手っ取り早いかもしれないが、すぐにどうこうできるわけでもない。
そこでどうにかして理解してもらう方法は無いだろうか。
ゴールを決めた人だけを評価するのはプロではない
前処理を自分でやらない人に前処理の重要性だけを話しても通じないので、こういうときはいつもの通りたとえ話を出そう。
分析や洞察が中心になるのは当然だが、その分析や洞察を行うためには適切な収集と前処理が必要になる。
これはサッカーでゴールを決めるためには、適切なアシストが必要だし、そのアシストに至るまでのパスがやはりうまく繋がらないとシュートも打てないのと同じだ。
ゴール（分析や洞察）を決めたシーンが目立つのは当然のことだが、しかしゴールを決めた当人が「これは自分の力だけで成し遂げたのであって、アシスト（前処理）やそこまでのパス（収集）をなど誰がやっても同じだ。」とか言ったら大炎上間違いなしだが、データ分析で起きているのはまさにこのようなことだ。
前処理の書籍や資料があまり見当たらない
よくよく考えてみれば、実務の中であれこれ失敗したり試したりして身に着けてはきたが、データハンドリングや前処理についてまとまった書籍や資料というのはほとんど見当たらない。いったいみんなどうやって勉強しているのだろうか。
現場の人間ですら参考にできる書籍があまりないのに、そうでない人に収集や前処理のことを理解しろというはたしかに無理な話で、きちんと伝えてこなかった側にも責任はともかく落ち度はあろう。
なので経営者には「データ分析が何を提供できるか」、コンサルやマーケターには「分析の専門家との働き方」を分析者側からの視点で提供することも始めようと思う。
問題は、このブログを読んでいるのは多分分析者が多いので、それをどう当人達に読んでもらうかなのだが、とりあえず書いてから考える。