データ分析とインテリジェンス

こんなA/Bテストの仕組みを作ってみたい

誰でもA/Bテストができる環境とは

足りていないのは「検証と学習というデータを積極的に収集すること」なのかもしれないと書いた。身近なところで検証と学習を取り入れるにはA/Bテストがよさそうだ。

技術的な話は『A/Bテスト実践ガイド』に詳しく書いてある。今回は仕組みを作る側ではなく使う側としてこんなのがあったらいいな、を想像してみた。

A/Bテストがとてもやりやすい環境なので今回の話では主にWebやアプリでのサービスを念頭に置いている。とはいえシステムでもリアル店舗でもA/Bテストが出来るのであればやらない理由は無い。

こんなABテストの仕組みができたらいいな

  • テキストや画像の変更を簡単に指定できる
  • 評価指標を簡単に指定できる
  • ユーザーの振り分けは自動で行ってくれる
  • 大きな変動が起きた場合にはアラートがなるか自動で止めてくれる
  • 過去に行ったテストがすぐに調べられる
  • 進捗や結果が見られる仕組みも作ってくれる
  • エンジニアやアナリストを通さず全ての人が行うことができる

テキストや画像の変更を簡単に指定できる

簡単に、というのはコードを書く必要がなくてGUIでレイアウトを決めたり内容を書き換えたりできるような仕組みのこと。

変更点を画面上でポチポチするだけでテストができたら普段めんどくさがってテストしない人にも広く展開できそう。

評価指標を簡単に指定できる

売上やCVRなどいくつかの選択肢から選ぶだけになっていると楽。新しい指標は都度設定が必要だけれども、多分そんなに種類は必要ない。

ユーザーの振り分けは自動で行ってくれる

開始日と対象規模を入力したらあとは自動で他のテストと干渉しないように適度にテスト対象者を振り分けしてくれる機能。

この機能があればテストする対象者をいちいち抽出したり他のテスト対象者を除外したりを手動で行う必要がなくなる。

同時期に行われている他のテストで十分確保できなければいつからなら可能なのかも表示してほしい。

大きな変動が起きた場合にはアラートがなるか自動で止めてくれる

通常はどのテストでも一定期間を決めて行われるだろうが、とはいえ開始直後に大きな変動が起きたらアラートは欲しい。悪い場合はなおさら。

極端に悪い場合は即座に自動でテストを中止する仕組みもあったほうが良さそう。どうなっているか気になってらちらとダッシュボードを確認したりしなくて済む。

過去に行ったテストがすぐに調べられる

過去に行われたテストの記録が参照できるといい。ある個所のテストを行おうとしたら「ここでは以前にこのようなテストが行われて結果はどうだった」と探さなくてもすぐその場で教えてくれると見逃さなくて済む。

進捗や結果が見られる仕組みも作ってくれる

これはもうそのまま。いちいち抽出依頼をかけたり自分でクエリを書かなくてもそのテストの結果が見られる専用のダッシュボードができると良い。まぁどうなっているかは気になるとはいえ知ったところで何かできるわけでもないので、進捗はダッシュボードでなくてもメールやコミュニケーションツールに定期的に送られてくるだけでもいいかもしれない。

A/Bテストの実行をエンジニアやアナリストを通さず全ての人が行うことができる

A/Bテストが浸透しない大きな理由の1つとして、準備や手続きの煩雑さが考えられる。テストをしたいと思ったら誰でも簡単に上記の仕組みを使ってその場で始められるようにしたい。

もちろん結果が良くてもそのまま実装するかは別の話。結果を解釈し、意思決定者に伝えるのはアナリストの仕事になる。

A/Bテストの結果がよかったからとそのまま実装すると「解約率を下げるのには解約ページをわかりづらくすればいい」を誰も止められなくなる。

需要はあるのか?

事例として書籍はちらほら見かけるもその実態は判らないことも多いA/Bテストのプラットフォームを自分で想像してみた。

書いているうちにもしかしたら「誰でもデータを使える」だけでなく「誰でも検証と学習を行うことができる」ようになるのが本当の「データの民主化」なのではないだろうかと思い始めている。

待っていても作ってもらえるわけではないので自分で作る側にも回ってみたい(そしてアナリストの仕事を作りたい)ところだが、そんな需要はあるのだろうか。

カテゴリー:データ分析とは何か