効果測定／効果検証で考えるべきこと
効果測定／効果検証で考えるべきこと
施策やキャンペーンの効果を測るというのは過去に行った施策を振り返り次に生かしていくというまさにデータ分析の王道であり、日常業務においては最も使う機会が多いのではないだろうか。その割にはあまりまとめられている様子がないので書いてみる。
個別のテーマを考えるともっといろいろあるだろうが、ここではどんなテーマについても共通していそうなことについてまとめている。
目的は何かを明確にする
「何が知りたいのか」という目的がはっきりしていなければ、何を検証すべきかがわからない。ブランディングのためであればキャンペーンで得られた利益のみで評価しても意味がないし、利益を上げたいのであれば売上だけを見ても的外れになる。「あの施策の効果測定をやれ」だけ分析者に丸投げするととにかく施策のデータを集めたり、Webであればアクセス解析ツールの数値をいきなり見てあれこれ議論しだすが目的に沿っていなければそれはただの雑談だ。コミュニケーションは意思決定者と分析者の双方に責任があることを忘れてはならない。
売上だけではなく、利益を考慮しているか
利益向上が目的の場合、50万円の宣伝費を使って100万円の売上があったから成功に見えても、利益が5万円ならば判断には大きな違いがでるであろう。その数値が何を示しているのかきちんと把握すること。
余計な言葉に注意する
「売上や利益は少ないですが〇〇を考えれば失敗ではないと思います」。会員獲得、ブランディングといった言葉で本来の目的に沿った指標では失敗となるところを誤魔化そうとする際にくっついてくる余計な言葉に惑わされないようにする。もちろんそういった効果はゼロではないが単なるおまけにすぎない。
施策を行わなかったグループとの比較を行っているか
例えばキャンペーン対象者による反応が30%あったからといって実は何もしていなくても25%の反応があれば、キャンペーンの効果としては5ポイントである。この点を隠して30%という数字だけが押し出されていないかどうか注意すること。本来であれば事前にランダム化比較試験を、難しいのであれば対照群を設定して分析者との認識合わせをするのが良い。後になって都合の良い対照群を設定されるとわかりづらいし、対象群の設定がうまくいかずに効果測定の信頼性が失われてしまうかもしれない。
期間の設定は適切か
今日購入した人が、3か月前に1度配信したメルマガの効果であるとか、1か月前に放送したCMの効果であると言い切るのは難しい。0%では無いかもしれないが、100%と考えるのは明らかにおかしい。いつからいつまでの反応者を効果と見なすかは議論が必要。
効果とする対象者・商品は適切か
A商品のプロモーションを行った結果、まったく関係のないB商品を買った人はキャンペーンの効果に含まれるのか、を考える上で「プロモーションをきっかけに来店したのだから効果に含めるべき」という言い分を鵜呑みにしてはいけない。期間と同様に0%ではないだろうが、かといって全てを効果とするのは無理がある。「キャンペーン期間中に商品を購入した人」の中に、効果とするにはふさわしく無い人・商品が含まれていないか確認すること。
一部分を強調して全体が見えなくなっていないか
全体で見たら明らかな失敗だが、たくさんのセグメントを作って効果の出ているごく一部分を見せて強調することがある。まるでハゲ山に生えている2・3本の木だけの写真を見せて「この山は緑が生い茂っている」と言うようなものである。細かい話ではなく、まずは全体としてはどうであったかを把握する。
人件費などを考慮しているか
コストと言うとプロモーションや製作費だけの話になることが多いが、打ち合わせなどで自社の人間が動いている分もコストに含るのが本来の在り方だろう。稼働の分だけ他の仕事で稼ぐ機会が奪われることを考えると、その分も差し引いておいた方が良いかもしれない。
長期的に見ているか
プロモーションを打てば直後に多く反応するのは当たり前であるが、最初の勢いがずっと続くことを前提にしているのは間違えだ。過去の同様でなくても類似したプロモーションの結果があれば、それを参考に効果の減衰を考えるのがよい。一方で、新規獲得顧客の評価をするのにLTVを全く考慮しないのもまた不自然であろう。
難しそうで高いだけのサービスは最初は不要
最初はごく基本的なところだけでもいいから社内で初めたほうがいい。その方が安くて早くてノウハウが溜まって人が育ち、その上効果も出る。ある程度経って行き詰りを感じたら、その時に改めて専門家の知識を借りることを検討する。「○○理論を使った分析」をうたったサービスやツールは、自分達にとって何が必要であるかを考えて必要であれば使えばよい。ただし、理論がある程度でも理解できる人がいない場合は利用は慎重にした方がよいだろう。なぜならば、ブラックボックスの中で行われた結果をもとに判断するのは危険すぎるし、何よりその分析が正しいのか検証ができない。
効果測定を次回の施策に活かしているか
効果測定の目的は「次にどうするか意思決定をするため」である。どれだけ正しい効果測定をしたところで使われないのであれば無駄になるだけなので、すぐに止めてその分を広告費にでも回した方がよい。
まずはできるところから始めよう
上記の内容を最初から網羅しようとしても難しいので、まずは簡単に始められるところから手を付けるのが良い。何より大事なのは「効果測定を次回の施策に活かす」ことは今すぐにでも手をつけるべきだ。とにかくやってみて修正するのがおすすめ。もう1つ、後で検証しようとしてもデータが無かったり、他の仕事が優先されてしまって手が付けられないということが起きるので、準備や効果測定まで含めて一つの施策として捉えることも必要だ。これはデータ分析がプロセスであることを忘れてはいけないのと同じだろう。