「ウォーターフォール A と B、今週はどちらが強かったのでしょうか」。AppLovin MAX のダッシュボードを開きながら、毎週この問いに少しずつ答える時間が増えてきました。フロアプライスを毎日触る運用は前回まとめたとおりですが、その上の層にある A/B テストは週単位でしか動けません。日次の作業と週次の判断を、別のリズムで運ぶ必要があると感じ始めたのが、この運用を 1 ヶ月続けてみたきっかけです。
私は 2014 年から個人でアプリを作り続けていて、累計 5,000 万ダウンロードを超えるくらいの規模になった今でも、こうしたメディエーション周りの判断は手元に置いておきたい性質の作業だと感じています。毎日触るのは Claude in Chrome に任せられても、週次の方向決めだけは自分の言葉で書き起こしたい。そんな線引きを試した 1 ヶ月の記録です。
何を A/B テストしていたか
対象は Beautiful HD Wallpapers と浮世絵壁紙アプリ、Relaxing Healing、Law of Attraction Everyday の 4 本です。AppLovin MAX のウォーターフォール A/B テスト機能を使い、それぞれのアプリで次のような比較を回していました。
- A: 既存のウォーターフォール（フロアプライス手調整版）
- B: in-app bidding を上位に置き、ウォーターフォールは fallback に回した構成
トラフィック割合は 50/50 で、対象は全ユーザー。広告ユニットはリワード動画とインタースティシャルの 2 種類で、4 アプリ × 2 ユニット = 8 件の A/B テストを並行で回す形になりました。
Claude in Chrome に頼んだ手順
毎週月曜の朝、Claude in Chrome に AppLovin MAX のレポート画面を巡回してもらい、テストごとに次の数値を表にまとめてもらいました。
- 直近 7 日の eCPM（A 群 / B 群）
- 直近 7 日の impressions と fill rate
- ARPDAU（広告収益を DAU で割った値）の前週比
- 統計的に有意な差が出ているテストのフラグ立て
- 国別の eCPM ヒートマップ（上位 5 ヶ国だけ）
数値そのものは AppLovin MAX のダッシュボードを開けば見えるのですが、4 アプリ × 8 件分を毎週手で集計するのは骨が折れます。Claude in Chrome は「同じ手順を 8 回繰り返す」が得意なので、私はその結果をテキストで受け取って読むだけに集中するようにしました。
ぶつかった壁
最初の 2 週間は、レポートの取得タイミングと A/B テストの新鮮さで何度かつまずきました。日曜深夜にレポートを取ると、B 群の最終日が JST と PST のずれで欠けてしまい、数値が不当に低く見える日があったのです。火曜朝にずらしてからは、この問題は落ち着きました。
もう一つは、有意差の判定に踏み込みすぎないようにする線引きです。Claude in Chrome に「どちらが勝っているか結論を書いてください」と頼むと、サンプルサイズが足りない週でも踏み込んだ判断を返してきます。そこで、有意差判定は「impressions が 10 万を超えていて、かつ eCPM 差が 5% 以上のときだけ書いてください」と条件を渡す形に落ち着きました。条件を先に決めておくと、判断を任せる範囲がきれいに整います。
1 ヶ月で見えた 3 つの傾向
1. リワード動画は B 群（in-app bidding 優先）が一貫して強い
4 アプリ全てで、リワード動画のリクエストでは B 群が平均 8〜14% の eCPM 改善を見せました。Liftoff・Unity Ads・Meta Audience Network がリアルタイムに入札参加する構成のため、ウォーターフォールよりも価格が伸びやすかったようです。
2. インタースティシャルはアプリによって結果がきれいに割れた
壁紙系の 2 本では B 群が勝ち、ヒーリング系と引き寄せ系の 2 本では A 群（フロア手調整）が勝つという、はっきりした分かれ方になりました。後者の 2 本はセッション時間が長く、特定の国で固定的に高い floor が刺さる傾向があるため、ウォーターフォール手調整の方が相性が良かったように見えます。
3. 国別では「日本だけ A 群が強い」が頻発
これは興味深い傾向でした。日本市場では in-app bidding 参加ネットワークが少ない時間帯があり、その時間帯のフィルが弱くなることで全体平均が落ちていました。日本だけ A 群を残し、他国は B 群に寄せる、というハイブリッド構成が次の課題になりそうです。
任せきりにしなかった部分
Claude in Chrome に渡さなかった作業も残しておきます。
- A/B テストを止める・新規に切り直すタイミングの判断は、毎回自分でしました。テスト設計の変更は影響範囲が大きく、自分で手を動かして残しておきたかったためです
- 月末の収益集計と確定値の照合は、私自身が App Store Connect・Google Play Console・AdMob・AppLovin MAX の 4 画面を直接開いて行っています。お金が絡む数値の最終確認は、自動化の対象から外しています
- 新しい広告ネットワークパートナーの追加と、それに伴う W-8BEN 等の書類対応も、引き続き自分で巡回しています
数値の振り返り
1 ヶ月運用してみての結果は、4 アプリ合算で広告収益が前月比で 6.8% 増、ARPDAU が 5.4% 増となりました。劇的な改善ではないものの、フロアプライス調整で見た 12% 改善の上にさらに積み上がった形です。
副次的な効果として、月曜朝の集計作業に取られていた 2 時間ほどがほぼ消えました。代わりに「Claude in Chrome がまとめた表を読みながら、来週何を変えるかをノートに書く 30 分」という時間が生まれています。手を動かす時間が、考える時間に置き換わった感覚があります。
これから取り組もうとしていること
次に試したいのは、A/B テストの設計案そのものを Claude in Chrome に提案してもらう運用です。今は私が「次はこれを比較しよう」と決めていますが、ヒートマップから自動的に「日本だけハイブリッド構成」のようなパターンを拾ってもらえると、次の一手の幅が広がりそうです。
少し離れた話をすると、私が 17 歳のころオンラインで出会ったメンターは、「芸術とは全ての人に開かれた自然な言語であってほしい」と話してくれた人でした。広告の最適化はその対極のように見えますが、世界中の利用者に対して同じアプリを公平に届けるための土台づくりだと考えれば、根は近いのかもしれません。アプリを長く運用していくために、こうした地味な数値の付き合い方も、丁寧に育てていきたいと感じています。
同じ構成で AppLovin MAX を運用されている方の参考になれば幸いです。お読みいただきありがとうございました。