AIでApp Storeのレビューを分析する方法:アプリ開発者のための実践ガイド

私のパソコンには reviews_FINAL_v3.xlsx という名前のスプレッドシートがありますが、これは最終版でも version 3 でもありません。春に、アプリについてユーザーが言っていることを手作業で追いかけようとした試みでした。それは11日間しか続きませんでした。それに代わって導入したのが AIアプリレビューという仕組みで、正直に言うと自分にはそんなものは必要ないと思っていたため、あまりにも長く導入を拒んでいました。しかし、そんなことはありませんでした。

手短に言うと、それだけ知りたいという方のために:App StoreのレビューをAIで分析するには、公式のAppleとGoogleのAPIでレビューを取得し、言語モデルにそれぞれ3つのラベル(感情、トピック、どの機能か)を付けさせ、そのラベルを退屈そうな会計士のように数えるだけです。最も件数が多く、最も怒りの強いまとまりが次のスプリントになります。それがコツです。以下では、それぞれの要素がなぜ重要なのか、痛い経験も含めてお話しします。

手作業によるApp Storeレビュー分析が機能しない理由

怒りのレビューは問題ではありません。それらは窓を突き破るレンガのようにはっきりとやってきます。

問題は、霧雨のようにじわじわとやってくるレビューです。

バージョン2.4.1で、ホーム画面のウィジェットを壊してしまいました。大々的にではありません。ただ静かに更新が止まっただけです。1週間で34人がそれについて言及しました。後から数え直して愕然としたので、これは確かな数字です。誰もウィジェットという単語を使っていませんでした。「あの箱のやつ」「ホーム画面が更新されない」「更新してから壊れた??」。ポルトガル語のレビューが1件あり、それを翻訳できたのは1か月後でした。

気づくまでに6日かかりました。私自身、そのうち8件を読んでいたのに、点と点をつなげられませんでした。これが手作業によるレビュー分析の実態です。読んでいるのではなく、煙を探してざっと目を通しているだけで、霧雨は煙を立てません。

さらに、誰も開かない★3レビュー(ちなみに、ここに有用な要望が隠れています。冷静なユーザーの声です)や、英語以外のレビューがそのまま消えてしまう事実を加えると、ロードマップはたまたま声の大きかった不満によって作られることになります。

AIレビュー分析が実際に行っていること

率直に言うと、「AIレビュー分析」という言葉は、実際よりも高度に聞こえます。実際には4つの作業にすぎません。

1つ目、感情分析。星の数ではなく、言葉そのものです。ある人は★5を付けながら「毎朝クラッシュするけど大好き」と書いていました。リボンの付いたバグレポートです。

2つ目、トピック。バグ、要望、価格への不満、ログイン問題、賛辞、そして「その他」という、思っている以上に大きくなるカテゴリーです。

3つ目、どの機能か。リマインダー、オフラインモード、チェックアウトなど、あなたのアプリの機能次第です。

4つ目、グルーピング。「あの箱のやつ」と「ホーム画面が更新されない」が、2つではなく1つの不満であると見極めることです。

すべてのレビューにこれらのラベルを付ければ、あとは単純な計算です。計算なら私にもできます。できなかったのは、風邪を引いた状態で夜11時に900件のレビューに一貫したラベルを付けることでした。

AIでApp Storeのレビューを分析する方法:ステップごとの解説

ステップ1:コンソールからレビューを取り出す

コピー&ペーストではありません。それは私がやりました。11日間です。上述のスプレッドシートを参照してください。

Appleの App Store Connect APIを使えば、レビューの取得と返信の投稿が可能です。Google Playにも、Play Consoleで同等の機能があります。どちらも、すでに支払っているデベロッパーアカウント以外に費用はかかりません。

選択肢は2つです。毎晩実行する小さなスクリプトを書くか、取得作業を代わりにやってくれるApp Storeレビュー分析ツールを導入するかです。ツールを選ぶなら、まず1つだけ確認してください。公式APIを使っているか、それだけです。私の最初の試みはスクレイパーを使ったもので、1か月で2回壊れ、ある日曜日は丸一日、自分のアプリのリスティングがフラグを立てられるのではないかと心配し続けました。結局そうはなりませんでしたが、それなりに老け込みました。

ステップ2:まず翻訳し、分析はそのあと

ここは私の失敗から学んでください。生のテキストのまま分析をかけたところ、ウィジェットのバグが英語、スペイン語、ポルトガル語という理由で3つの別々の問題として出てきました。同じバグが3つのまとまりに分かれ、それぞれ無視できるほど小さく見えてしまいました。レビューにラベルを付ける前に、すべて1つの言語に翻訳してください。返信を書くために、原文も残しておきましょう。

まともなレビュー分析ソフトウェアなら、頼まなくてもこれをやってくれます。自分で構築する場合は、パイプラインにもう1つ工程を追加することになります。面倒ですが、これを省くと数字がウソをつきます。

ステップ3:各レビューに感情とトピックのタグを付ける

モデルが登場する部分です。デモが示すほど魔法のようなものではありません。私のプロンプトは、だいたいこんな感じです。

「このアプリレビューを読んでください。感情(ポジティブ、ニュートラル、ネガティブ、混在)、主なトピック(バグ、機能要望、賛辞、価格、アカウント、その他)、そして言及されている具体的な機能があれば教えてください。」

これをすべてのレビューに対して実行し、回答を元のテキストの横に保存します。

白状すると、最初のトピック分類は間違っていました。「アカウント」というカテゴリーがなかったため、大量のログイン問題がバグに分類され、ある木曜日は存在しないクラッシュを探し回る羽目になりました。1回目のあとでカテゴリーを見直すことになります。誰もがそうなります。

ステップ4:グループ化して集計する

表を作ります。トピック、次に機能。件数で並べ替え、さらに平均星評価で並べ替えます。

両方のリストの上位にあるものがロードマップです。言及が多く、評価が低く、機能は1つ。それはサポートチケットではありません。次のスプリントです。

私自身はこのビューを一度も自分で作ったことがありません。 AI Review Sensorの分析ダッシュボードには、返信率、感情の内訳、ストア別の分析がすでに備わっていて、そのストア別の部分のおかげで、私がiOSを責めている間に実はAndroidがひそかに平均評価を下げていたことに気づきました。自分で作りたいなら、ピボットテーブルでほとんどの部分をカバーできます。ほとんど、とはいえすべてではありません。

ステップ5:スナップショットではなく傾向を見る

1週間分のデータは、何が炎上しているかを教えてくれます。3か月分のデータは、その消火が効いたかどうかを教えてくれます。チームが本当に気にするのは後者だけです。

実際に見ているもの、つまり見ると言っていたものとは違うものです。

• 週ごとのネガティブレビューの割合

• リリースごとの上位3つの不満トピック

• 誰かが返信するまでにレビューが放置されている期間

• 返信率

リリース後にあるトピックが上位3つから外れたら、それが証拠です。リリースノートに書き込みましょう。Appleは 問題を修正したあとに過去のレビューに戻って返信することさえ推奨しています。私は最初、呆れた顔をしていました。しかしその後、同じ週に★1が2件、★4に変わったのを見て、呆れるのをやめました。

ステップ6:返信でループを閉じる

誰も行動しないグラフは、人々を無視するための高くついた手段にすぎません。何がユーザーを困らせているか分かっているなら、それを伝えましょう。返信するとAppleがレビュー投稿者に通知し、評価を変更できるようになります。実際に変更する人もいます。

各返信を自分で入力する必要はありません。AIがあなたのbrand voiceで、レビュー投稿者の言語に合わせて返信を作成してくれるので、コーヒーを飲みながらまとめて承認できます。低評価のものは依然として人が対応します。これは私が絶対に譲らない一点で、これについては何度も議論してきました。AI Review Sensorはデフォルトで、設定した星評価のしきい値未満のものを保留し、 自動化と承認に関するドキュメントには、返信が自動送信される前に満たすべきルールが記載されています。

App Storeレビュー分析ツールの選び方

これを自分で構築するのが、むしろ週末を潰したくないと感じる作業に思えるなら、レビュー分析ソフトウェアに求めるべき点を挙げます。最初に選択を誤ったことから学んだものです。

• 公式のAppleとGoogleのAPIのみを使用していること(これで3回目です。もう言いません)

• 翻訳機能が標準搭載されていて、プラグインではないこと

• 金曜日のまとめメールではなく、すべてのレビューに感情とトピックが付与されること

• リリースをまたいだ傾向を見られるビューがあること

• スパムや偽レビューのフラグ付けができること。ボットの群れが一度来るだけで、グラフが紙吹雪のようにバラバラになります

• 自動化されたものには人による承認ステップがあること

• エクスポート機能。自分のデータは自分と一緒に持ち出せるべきです

そして料金です。レビュー単位の課金は、うまくやればやるほど多く支払うことになり、本末転倒です。固定料金のほうが、支払いを管理する人を納得させやすいでしょう。Googleの 評価とレビューのヘルプページも見てみてください。Play Consoleはすでにこの一部を無料で提供しています。

避けるべきよくある間違い

星評価を信用しすぎること。★5なのに「毎朝クラッシュする」。こうした例は何十も見てきました。

1つのストアだけを見ること。私たちのiOSユーザーとAndroidユーザーは、まったく異なる点について不満を述べていました。片方だけを見ると、問題の半分しか解決できません。

スパムを数えてしまうこと。ある火曜の夜、その日の午後に作成されたアカウントから、1行だけの★1レビューが60件届きました。これらを数えると、グラフは断崖絶壁のようになります。まずフラグを立て、そのあとで数えましょう。

誰も読まないレポート。週ごとの不満リストがスプリント計画に反映されていないなら、作るのをやめましょう。本当にそうすべきです。

シンプルな週次ルーティン

私の場合は、だいたい次のような流れです。

• 月曜日、10分。傾向ビュー、上位3つ、新しいもの。

• 毎日、5分。ドラフトを承認し、保留されている低評価レビューはきちんと読みます。

• リリース前に、上位の要望を取り出し、どれが反映されたかを確認し、リリースノートに名前を挙げます。

• リリース後は、新たな急上昇がないか3日間注視します。

スライドもなければ、定例会議もありません。それだけです。

最後に

AIは私にレビューを読ませなくしたわけではありません。すべてを読む必要をなくしたのです。これは同じことではありません。何を作るか、何を返信するかは、今も私が決めています。ただ今は、電車の中でスクロールして見た最後の20件ではなく、全体像を把握したうえで決めているのです。

まだ迷っていますか?1か月分のレビューを取り出して、タグを付け、数えてみてください。あなたがまだ知らなかった何かを見つけることに、実際にお金を賭けてもいいくらいです。私たちはウィジェットの問題を見つけました。その日の午後の作業は、何倍もの価値を生み出し、reviews_FINAL_v3.xlsx はそれ以来一度も開かれていません。