メルカリで実施した過去最大規模のABテスト「ドロワー vs 下タブ」の舞台裏 15分

中元寺 武尊 (@chuganzy)

メルカリでは、サーバー側だけでなく、クライアントアプリ内でも様々なABテストを実施しています。
1度のリリースで、多いときには新たに5つほど新しいABテストが追加されることもあり、データをもとに日々サービスの向上を行っています。

今回は、少し前のことになりますが、メルカリUS版アプリで実施した、過去最大規模となるABテスト「ドロワー vs 下タブ」について、

・その実現方法(設計)
・ぶつかった壁
・やってみた結果

などなど、可能な範囲で洗いざらいお話します。