メルマガの効果測定

どこからどこまでがメルマガの効果なのか?

効果測定/効果検証で考えるべきことを踏まえて、メルマガの効果測定について考えてみる。今更メルマガと思う人もいるだろうがいまだに健在だし、これから書くようなレベルのこともしていない企業はまだまだ多いので書いておく意味はあるだろう。

さて、1万人にメルマガを送って100人購入した場合、その100人全てがメルマガの効果であると考えるのは、明らかに間違っている。なぜかと言えば、メルマガを送ったとしても必ずしも読まれているわけではないからだ。それどころか、読まれもしない場合の方が遥かに多い。そして、読まれたとしてもそれが本当に来店や購入に影響があったかというとそうとも限らない。メルマガを読まなくても来店していたかもしれないからだ。では、どこからどこまでをメルマガの効果とするべきか。

100の効果があったと報告のあったメルマガは、きちんと検証してみたところ実は5の効果しかなかったという例である。100の効果があると思ってメルマガを続けていたのだが、実はやればやるほど赤字であったということがわかったため、この企業は即座に見直しを行い、有効なセグメントに絞ることで赤字にならないように修正を行った。

しかしここまで迅速に動ける企業は少ない。多くの企業は100の効果があるという報告をそのまま信じてメルマガを続けているし、おかしいと思った場合でも止めたり縮小した場合の売り上げ低下を恐れて方向転換に踏み切れない。

ともかくもまずは完璧ではなくとも(そもそも完璧な検証など不可能)、より正確な効果を把握することが大切である。では、具体的にはどのように考えるのが良いのだろうか。

開封していない人は効果に入れるべきではない

メルマガを送っても、その大部分は実は開封すらされていない。例えば「メルマガ 開封率 平均」で検索して出てくる記事をいくつか見てみると、概ね10%台という数字が出てくる。つまり、10人に送っても見ているのはそのうちの1人かよくて2人ということになる。開封すらしていないのだから、例えメルマガを送ってから購入があったとしてもそれはメルマガの効果とは考えるべきではない。

開封していなくてもタイトルを見ているので想起に繋がっているという主張もあるが、これは無視してよい。自分に当てはめてみればわかると思うが、タイトルだけ見て「あ、この商品ほしい」などと思って買いに行く場合がどれだけあるだろうか。偶然そういうことがあるかもしれないが、全体から見れば微々たるものであり、問題にならない。

開封した人の購入すべてがメルマガの効果ではない

ECの場合はメルマガを読んだが後で別の場所やデバイスから購入するという場合もあるだろうが、個人が特定できるのであれば紐づけできるはずなので議論の必要はないだろう。

問題は店頭への誘導で、開封してメルマガを読んだから来店し購入したのか、メルマガを読まなくても買っていた人が読んだのかは開封の結果からだけでは判別ができない。したがって、開封した人が購入しているからといってそれをすべてメルマガの効果とするのはこれも問題がある。ではどうするかというと、送らなかった人と比較をするのである。

必ず送らなかった人との比較をすること

解決するための方法として、メルマガを送った人と送らなかった人の比較をする方法がある。この際、比較対象とするのはメルマガを送る同じセグメントでなければならない。10代向けのキャンペーンメルマガを送って、20代の人と比較して多く来ているなどというのはインチキである(それに近い実例は見たことがあるが)。

再掲した図では、メルマガを送った人1万人に対して開封した人だけに絞ったところ15の購入があったのに対して、送った人と同様のセグメントから開封した人と同人数のメルマガ未送付者をランダムで抽出したところ、10の購入があったので、メルマガの効果は100でも15でもなくその差分である5であったということを示している。

比較対象者はメルマガを送ろうとしているリストがあったらそこからランダムに一定数を確保して、その人達には送らないようにする。結果が出たら、送った人とそうでない人の割合から、同数送った場合の数値を算出し、その差をメルマガの効果と考える。

この比較を行う場合と行わない場合では、効果とされる数字に非常に大きな差がでることは図の通り。実際のところ、まず開封で6分の1から7分の1に激減し、送らなかった人との差を取ることでさらに減る。もしまだ上の図でいう100をメルマガの効果としているのであれば、直ちに見直しを行った方が良いだろう。

開封率やクリック率について

ところでメルマガの効果測定というと開封率やクリック率の話がでるが、これらはコンバージョンに至るまでの途中経過であって、その数値を図ることは目的ではないことに注意しよう。もちろんこの数値が解れば改善を考える際にどこがボトルネックになっているかの手がかりになるので重要な指標であるのはたしかなので、さほど手間がかからないようであれば取得しておいて損は無い。

開封率やクリック率はどの程度ならよいのか

ではその開封率やクリック率はどの程度なら良くて、どの程度ならば悪いのか。これは、配信する通数(多ければ多いほど開封率・クリック率は下がる)、セグメント、タイトルや本文などに大きく影響されるので一概にこれぐらいとは言いづらいのでまずは現状を把握し、その数値を基準として改善していくのが良いだろう。開封率で1桁、クリック率が1%未満だったらすぐにテコ入れを検討したほうが良いと思う。

メルマガの効果は何日ぐらいか

複雑になるのを避けるため上の図では考慮していないが、実際にはメルマガを送ってからいつまでの購入を効果と見なすかは重要な問題の1つである。当然設定する期間が長ければ長いほど効果と見なせる売り上げは増えるため、担当者や代理店としては出来る限り長めに設定したくなるのは当然だろう。

ではその期間はどれぐらいかというと、即座に購入できるECと、週末に店頭に出向いて購入する場合と、長期的に検討して購入するような場合で大分違うので、開封率やクリック率同様一律で決めることは難しい。これについては各商材に合わせて都度妥当な期間を決めていくしかない。

まずは簡単なことから始める

いきなりたくさんの事をやろうとしてもうまくいかないので、少しづつ始めたら良い。まずは効果を開封した人だけに絞るということだけでも大分様子が違うだろう。1つ1つ取り組みながら、より精緻な測定を行っていけばよい。ただしあまり精緻に行うことに目が行き過ぎると他の施策の効果測定がおざなりになってしまうので、メルマガだけでなく全体見てより効果が高く出せるように何をするか優先順位を決めていくのがよいだろう。