キャンペーンの効果測定を事例にして、分析者はどこまで関与するべきか「原則」と「現実と対策」を考える

抽象的でわかりづらいなら事例で考えてみよう

分析者は目的の決定に関わってはいけないことについて「原則」と「現実と対策」を書いたのだが、どうにも話が抽象的で自分で書いていてもわかりづらい。そこで「キャンペーンの効果測定」を事例にして、分析者はどこまで関わるべきかについて、目的の決定だけでなくプロセス全般に広げて検討する。

分析者が原則的にやるべきこと、やってはいけないこと

日常の業務においてデータ分析をしている人が意思決定者と関わることはたびたび起きるが、やるべきことは〇、原則的にやってはいけないと考えられることを×とすると、

  • × 効果測定を行うことを提案する
  • 〇 何を集計するかを決める
  • × キャンペーンの良し悪しの基準を提案する・決める
  • 〇 事実の提供
  • × 次にどうするかの提案
  • ◎ 効果測定を行うための事前の話し合い

といったようになる。詳しく個別に見ていくことにしよう。

効果測定を行うことを提案する

原則:×

何かをしなければならない、ということを分析者側が提案することは原則的に行ってはいけない。その理由は客観性を担保できないからであり、客観性を失ったら分析者に存在価値はない。また、意思決定者がキャンペーンに対して継続や中止を検討する余地がないようであれば効果測定をしても無駄である。

現実と対策

意思決定者が効果測定を行うことは当然であるが今は必要ない、と明確に考えているのであれば問題ないが、そういう状況はまれであろう。言わなければ何もしない、勘と経験だけで判断する、調べもしないで自分の都合の良い解釈をするのいずれかがほとんどではないか。であれば分析者としてはやはり効果測定をして次につなげましょう、という提案を持っていくというのが理想だ。

しかし、失敗したことがばれたくない、企画者ではなくその上司が決めたことで余計なことはして欲しくないと考えている人にとってはたとえ会社にとって有益でも提案される側には迷惑な話になるかもしれないので、信頼関係がある相手出ない場合はいきなり持ち掛けるよりも観測気球を上げたほうが良い場合もある。

客観性については効果測定であればすでに起きていることの事実を調べるのであり予測とは違うのでさほど問題にはならないと考えられる。言い換えると別のケースでは問題になりえるが今回は考えない。

何を集計するかを決める

原則:〇

効果測定においてどういった項目(売上なのか、伸長率なのか)を考えるのかは分析者が意思決定者の要求に基づいて
話し合いで決めるのが妥当であろう。

現実と対策

「〇月の売上を出せ」というような明確な指示があればそれはそれでかまわない。ただし知りたいことに対して適切かというとまた別の話なので、どういったことが知りたいのか?という投げかけを行い、より適切な指標なりを提示できればなおよい。

キャンペーンの良し悪しの基準を提案する・決める

原則:×

項目は分析者が決めるとしても、良し悪しを決めるのは意思決定者でなければならない。なぜならその良し悪しを元にキャンペーンの継続や中止を検討するのであるからその基準は意思決定者が決めるのが筋であろう。分析者が「このくらいなら良いだろう」などと考えて提案することはもちろん、勝手に決めて良し悪しだけを報告するのは控えるべきだ。

現実と対策

これはさほど問題にはならないが、結果を出した際に「この結果は良いのか悪いのか」を相談されることはたびたびある。突き放して関係を悪くすることにメリットはなく、さりとて良し悪しを答えるのは良くないし、比較自体にあまり意味もないことも多いので正直困るが、聞かれたら分析者としてではなく個人としての考えを伝えることはかまわないのではないか、とは思うし実際そうしている。とはいえこれは議論が必要だろう。

なお、後になって良し悪しを決めようとするからいけないのであって、本来であれば事前に項目と基準は決めておくのが良いやり方だろう。事前の話し合いについては後述する。

事実の提供

原則:〇

効果測定なので「分析」や「洞察」もなく特に議論の必要はないだろう。あえて言うなら個人の感想など聞かれてもいないのに余計なことを言うな、である。

次にどうするかの提案

原則:×

「効果測定を行うことを提案する」のと同様、客観性の担保ができないので分析者が意思決定や企画に携わってはいけない、というのは原則中の原則。

現実と対策

が、これを意思決定者との事前の意識合わせなしにやると「それで?」という話になってしまうので分析者がどこまで踏み込むかについては事前に決めておくのが望ましい。これも後述する。

効果測定を行うための事前の話し合い

原則:◎

効果測定がうまく行くはこの「事前の話し合い」でほぼ決まる。重要なのは2つ、「何を集計するか」と「役割分担」だ。

まず、「何を集計するか」はさらに

  • 目的に沿うように集計する項目を決める
  • その項目はコスト・技術・リソース・時間を加味して収集可能か
  • 収集不可の場合の代替案

の3点を考えることが必要になる。具体的かつ現実的なところに落とし込むのはまた別のスキルであるが、これを怠るとあとでひどい目に合う。

「役割分担」は主に「次にどうするのか」を提案すべきか、情報の提供にとどめるべきかを決めておく。前述のとおりこれも事前に認識を合わせずに分析者が勝手に役割を決めてしまうと、「いわれたことしかやらない」か「でしゃばりすぎる」となってしまいどちらもその後の活動に致命的な影響を及ぼす。

現実と対策

どんな理由があっても、分析者として良い仕事をするためにはこれをやらないという選択肢はない。できないことをやれと言われたり、どうしたらいいか目的も考えろと言われたり、相手との仲が悪くてまともにコミュニケーションができないとかいろいろあるとは思うがそれでもやるしかないという覚悟が必要。

なおここはデータ分析プロセスにおける「要求」フェーズの重要な話なので別の機会にもっと掘り下げて書く予定。

今回書いてないこと

今回は効果測定というすでに行われたキャンペーンの結果をいう「過去」を見るだけなので書いていないが、分析者の仕事のメインはそれよりも分析・洞察による「予測」にある。次回はその「予測」も必要な事業部の戦略立案における分析者の役割について書く。効果測定と基本的には同じになるが、話の重要度によって対応を変える必要があるので今回の効果測定の話との比較も行いながら書いてみる予定だ。予定ばかりでごめんなさい。