面接でデータ分析の文化についてどう聞いたらよさそうか

リクエストがきた

Twitterである人からこんなお題をいただいた。

  • 1. (特にマネジメント層が)データ分析プロセスについて理解している
  • 2. A/Bテストを頻繁に実施している (Webマーケティング以外では、A/Bテストの必要性すら認識されていない場合が多々ある)
  • 3. 施策後に期待どおりの結果が出ない可能性を意思決定者とアナリストの双方が怖がる必要がない

ということを面接で確認したいと思っております。そこで、どのような聞き方で探れば良さそうかという内容のエントリーを追加していただけますと助かります。

というわけで、考えてみた。

(特にマネジメント層が)データ分析プロセスについて理解しているか

「データ分析プロセスにおいて最も重要なことは何だと思いますか」という質問はどうだろう。「データ分析プロセス」が伝わらなかったら「CRISP-DM」で聞き直してみる。多分こちらの方が聞いたことがある人は多い。

ただ、これはデータ分析にある程度は取り組んでいる企業でないと質問自体が成立しないかもしれない。大半の企業はそうでないし、たとえ取り組んでいても「データ分析は現場の人がやる仕事」と思っていてマネジメントがデータ分析のプロセスを具体的に意識しているケースは少ないだろう。逆に言えば、データ分析プロセスに理解があり、独自の見解を持つ人がマネジメントにいれば非常に心強い。

自分がもし聞かれたら、目的無きデータ分析は無駄であると答える。現場の分析者だと「分析」という人もいるかもしれないけど、正しいかよりも理解していて議論できるかの方が重要。

A/Bテストを頻繁に実施しているか

これは直接「どのようなA/Bテストを何回ぐらいのペースで行っているか」でよいのでは。あとは相手が実務の人なら検定の方法をどうしているかや最近うまくいった/大失敗だった話を聞くとレベル感は判りそう。多分「やってみてうまく行った方を取る」がほとんどだろうけどやらないよりはよっぽどいいと思う。

他にはA/Bテストには誰が参加しているか。運用するのは少数でもアイデアを出すのはマーケティング担当に限らず営業でもエンジニアでも良いし対象がアプリだけに限るわけでもないので、むしろ特定の人だけが行っているのだとしたらそれは文化として定着していないとみることもできる。

あとはABテストを行うにあたりどんなツールを使っているか。こちらは先にツールを聞いて「導入している」と喜んでいたら、実は「導入はしているが全然使えていない」だったりするので参考程度に。

「施策後に期待どおりの結果が出ない可能性を意思決定者とアナリストの双方が怖がる必要がない」

ごめんなさい、いい案が思いつかない。これはとてもとても難しい。いざという時にどんな態度をとるかはその時にならないとわからないので「失敗を恐れるな」とか口では言うが実際に失敗した時に態度が違うことは当然起こりえるし、一方で数は少なくとも普段そんな素振りも見えないのにいざとなったら頼もしい人もいるので面接でいくら聞こえの良いことを言っても信用できない。

データ分析をしなかった場合と比べてどれぐらいの利益があるのかは数値化できないので「データ分析をしたら必ずうまくいくというわけではないが、うまくいく可能性が高められるはず」が許容できるか、という話になるのだが、データ分析を使えば何でもうまくできるようになる魔法の杖だと思っていたり、現場がやることであってマネジメントは関係ないと思っていたりするのがこれまた大半なので、このような抽象的な話を面接でするとそれだけで落とされるかもしれない。最初の2つにきちんと答えてくれるマネジメントが相手でない限り聞かない方が得策かも。

その企業の社員あるいは元社員の声を直接ないしSNSなどで間接的に収集する方が実態はつかめるのだが特にネガティブな話は表にでづらいのでうまくいくとは限らない。メディアの話はいい話しか出てこないのであてにしない。

あまりに理不尽なことを言うようならさっさと出ていく、そのための力を蓄えておくことを怠らない、が現実解な気はする。

ただ、意思決定者が怖がることはあまりなく、コミュニケーション不足だろうがおかしな案件だろうが理由を問わず失敗したらアナリストのせいにさせるというのはよくある話なので、もしそのようなことがあったとしてもある程度はそういうものだと思っておいた方がいい。むしろ失敗してもとがめられることない企業やマネジメントと出会えたら本当にラッキーだ。

やっぱり他の視点はためになる

振り返ってみれば最初は自分自身の理解がなかったし、データ分析プロセスを知ってからは「企業にはあまり期待できないので自分でやれることはやる、仕組みがなければ自分で作る、できれば啓蒙もする」という気持ちなのでここまで具体的に聞いたことがあまりなかった。今回のリクエストでいつもの自分とは違う視点で考えることができたのでとてもありがたかった。

が、果たしてこれで満足してもらえるかは不安もあるのでフィードバックをいただけたら幸いだ(そしてそれを次のネタに…)。