AI로 App Store 리뷰를 분석하는 방법: 앱 개발자를 위한 실전 가이드

제 노트북에는 reviews_FINAL_v3.xlsx라는 스프레드시트가 있는데, 사실 최종본도 아니고 버전 3도 아닙니다. 봄에 사람들이 우리 앱에 대해 하는 말을 수작업으로 따라가 보려던 시도였죠. 겨우 11일 만에 끝났습니다. 그걸 대체한 것은 제가 너무 오래 거부했던 AI 앱 리뷰 체계였습니다. 솔직히 저는 그런 게 저한테는 필요 없다고 생각했거든요. 필요했습니다.

짧은 답을 원한다면: App Store 리뷰를 AI로 분석하는 방법은, 공식 Apple 및 Google API로 리뷰를 가져온 다음, 언어 모델에게 각 리뷰마다 세 가지 라벨(분위기, 주제, 관련 기능)을 붙이게 하고, 그 라벨을 지루한 회계사처럼 집계하는 것입니다. 가장 크고 가장 화가 난 덩어리가 다음 스프린트가 됩니다. 그게 핵심입니다. 아래 내용은 각 단계가 왜 중요한지에 대한 이야기이며, 제가 겪은 고생담도 포함되어 있습니다.

수동 App Store 리뷰 분석이 무너지는 이유

화난 리뷰는 문제가 아닙니다. 창문을 깨고 들어오는 벽돌처럼 확실하게 드러나니까요.

진짜 문제는 이슬비처럼 조용히 내리는 리뷰들입니다.

버전 2.4.1에서 저희는 홈 화면 위젯을 고장 냈습니다. 요란하게 터진 건 아니었어요. 그냥 조용히 갱신을 멈췄을 뿐입니다. 일주일 동안 34명이 이걸 언급했습니다. 나중에 다시 돌아가서 직접 세어 봤기 때문에, 그리고 그러면서 속이 메스꺼워졌기 때문에 압니다. '위젯'이라는 단어를 쓴 사람은 한 명도 없었습니다. '그 상자 같은 거.' '홈 화면이 업데이트가 안 돼요.' '업데이트하고 나서 고장 난 거 아닌가요??' 포르투갈어로 쓴 리뷰 하나는 한 달이나 지나서야 번역했습니다.

눈치채는 데 엿새가 걸렸습니다. 저는 그중 여덟 개를 직접 읽었는데도 연결 짓지 못했습니다. 수작업 앱 리뷰 분석이 그렇습니다. 읽는 게 아니라 연기가 나는지 훑어보는 거고, 이슬비는 연기를 내지 않거든요.

여기에 아무도 열어보지 않는 3점 리뷰(참고로 유용한 요청들이 여기, 차분한 사람들 사이에 숨어 있습니다)와, 영어가 아닌 리뷰는 그냥 증발해 버린다는 사실까지 더하면, 결국 로드맵은 그때그때 가장 크게 소리친 불만들로 만들어지게 됩니다.

AI 리뷰 분석이 실제로 하는 일

솔직히 말하면, 'AI 리뷰 분석'이라는 말은 실제보다 더 똑똑하게 들립니다. 사실은 네 가지 단순 작업일 뿐입니다.

첫째, 감정. 별점이 아니라 글이 말하는 내용입니다. 누군가 별 다섯 개를 주면서 '매일 아침 멈추긴 하는데 그래도 좋아요'라고 썼습니다. 리본을 단 버그 신고서인 셈입니다.

둘째, 주제. 버그, 요청, 가격 불만, 로그인 문제, 칭찬, 그리고 생각보다 훨씬 커지는 '기타' 항목입니다.

셋째, 관련 기능. 알림, 오프라인 모드, 결제 등 여러분 앱에 해당하는 무엇이든요.

넷째, 그룹화. '그 상자 같은 거'와 '홈 화면이 업데이트 안 됨'이 두 개가 아니라 하나의 불만이라는 걸 파악하는 것입니다.

모든 리뷰에 이 라벨을 붙이고 나면 나머지는 그냥 계산입니다. 계산이라면 저도 할 수 있습니다. 제가 할 수 없었던 건 감기에 걸린 채 밤 11시에 900개 리뷰에 일관되게 라벨을 붙이는 일이었죠.

AI로 App Store 리뷰를 분석하는 방법: 단계별 안내

1단계: 콘솔에서 리뷰 가져오기

복사해서 붙여넣기로 하지 마세요. 저는 그렇게 했고, 11일이 걸렸습니다. 위에서 말한 스프레드시트를 보세요.

Apple의 App Store Connect API를 사용하면 리뷰를 가져오고 답글을 올릴 수 있습니다. Google Play에도 Play Console에 동등한 기능이 있습니다. 둘 다 이미 비용을 내고 있는 개발자 계정 외에는 추가 비용이 들지 않습니다.

길은 두 가지입니다. 매일 밤 실행되는 작은 스크립트를 직접 작성하거나, 가져오기를 대신해 주는 App Store 리뷰 분석 도구를 연결하는 방법입니다. 도구를 쓸 거라면 먼저 한 가지만 확인하세요. 공식 API를 쓰는가, 그게 전부인가? 저의 첫 시도는 스크래퍼를 썼습니다. 한 달 사이에 두 번 고장 났고, 우리 앱 등록이 플래그 될 거라고 확신하며 긴 일요일을 보냈습니다. 그런 일은 없었지만, 저는 늙었습니다.

2단계: 먼저 번역하고, 그다음에 분석하기

여기서는 제 실수를 배우세요. 원문 그대로 분석을 돌렸더니 위젯 버그가 영어, 스페인어, 포르투갈어로 나뉘어 세 가지 별개의 문제로 나왔습니다. 똑같은 버그인데 세 개의 묶음으로 쪼개져서 각각 무시해도 될 만큼 작아 보였던 거죠. 리뷰 하나라도 라벨을 붙이기 전에 전부 한 언어로 번역하세요. 답글을 쓸 때를 위해 원문도 남겨 두세요.

제대로 된 앱 리뷰 분석 소프트웨어는 이 작업을 따로 요청하지 않아도 해 줍니다. 직접 만든다면 파이프라인에 단계가 하나 더 늘어나는 거죠. 지루한 일입니다. 이 단계를 건너뛰면 숫자가 거짓말을 하게 됩니다.

3단계: 각 리뷰에 감정과 주제 태그 붙이기

모델이 등장하는 부분입니다. 데모에서 보여주는 것만큼 마법 같지는 않습니다. 제가 쓴 프롬프트는 대략 이렇습니다.

"이 앱 리뷰를 읽어 주세요. 감정(긍정, 중립, 부정, 혼합), 주요 주제(버그, 기능 요청, 칭찬, 가격, 계정, 기타), 그리고 언급된 특정 기능이 있다면 그것까지 알려 주세요."

전체 리뷰에 돌리세요. 결과는 원문 텍스트 옆에 저장하세요.

고백하자면, 제가 처음 정한 주제 분류는 틀렸습니다. '계정' 항목이 없어서 로그인 문제가 전부 버그로 분류됐고, 저는 목요일 하루를 존재하지도 않는 충돌을 찾아다니며 보냈습니다. 1차 작업 이후에는 분류를 다시 정비하게 될 겁니다. 누구나 그렇습니다.

4단계: 그룹화하고 집계하기

표를 만드세요. 주제, 그다음 기능. 개수로 정렬하고, 평균 별점으로 다시 정렬하세요.

두 목록 모두의 최상단이 여러분의 로드맵입니다. 언급이 엄청 많고, 평점은 낮고, 기능은 하나. 그건 지원 티켓이 아닙니다. 스프린트입니다.

저는 이 화면을 직접 만든 적이 없습니다. AI Review Sensor의 분석 대시보드에는 이미 답글률, 감정 분포, 스토어별 분석까지 다 들어 있었습니다. 그 스토어별 분석 덕분에, 저는 그동안 iOS를 탓하고 있었는데 사실은 Android가 조용히 평균을 끌어내리고 있었다는 걸 알게 됐습니다. 직접 만들고 싶다면 피벗 테이블로 대부분은 해결됩니다. 대부분이지, 전부는 아닙니다.

5단계: 스냅샷이 아니라 트렌드를 보기

일주일치 데이터는 지금 불타고 있는 게 무엇인지 알려줍니다. 3개월치 데이터는 물을 뿌린 게 효과가 있었는지 알려줍니다. 팀은 오직 두 번째에만 관심이 있습니다.

제가 하겠다고 말했던 것과 달리, 실제로 보는 지표는 다음과 같습니다.

• 주간 부정 리뷰 비율

• 릴리스별 상위 3개 불만 주제

• 리뷰가 답변을 받기까지 걸리는 시간

• 답글률

릴리스 이후 어떤 주제가 상위 3개에서 사라지면, 그게 증거입니다. 릴리스 노트에 넣으세요. Apple은 심지어 문제를 고친 뒤 예전 리뷰로 돌아가서 답글을 다는 것까지 권장합니다. 저는 처음엔 시큰둥했습니다. 그런데 같은 주에 1점 리뷰 두 개가 4점으로 바뀌는 걸 보고 더는 비웃지 않게 됐습니다.

6단계: 답글로 선순환 완성하기

아무도 행동으로 옮기지 않는 차트는 사람들을 무시하는 더 비싼 방법일 뿐입니다. 사용자를 괴롭히는 게 무엇인지 알았다면, 그렇다고 말하세요. 여러분이 답글을 달면 Apple이 리뷰 작성자에게 알림을 보내고, 그러면 평점을 바꿀 수도 있습니다. 실제로 그렇게 하는 사람들도 있습니다.

답글을 하나하나 직접 타이핑할 필요는 없습니다. AI가 여러분의 브랜드 보이스로, 리뷰 작성자의 언어에 맞춰 초안을 작성해 주고, 여러분은 커피를 마시며 묶음으로 승인하면 됩니다. 별점이 낮은 리뷰는 여전히 사람이 처리해야 합니다. 이건 제가 절대 타협하지 않는 원칙이고, 이 문제로 논쟁도 여러 번 했습니다. AI Review Sensor는 기본적으로 설정한 별점 기준 아래의 리뷰는 보류해 두고, automation and approvals 문서에는 답글이 스스로 발송되기 전에 통과해야 하는 규칙들이 정리되어 있습니다.

App Store 리뷰 분석 도구 고르기

직접 만드는 게 주말을 포기해야 하는 일처럼 느껴진다면, 제가 앱 리뷰 분석 소프트웨어에서 바라는 요건을 알려드릴게요. 처음에 잘못 골라 보고 배운 것들입니다.

• 공식 Apple 및 Google API만 사용할 것. 다른 건 안 됩니다. (세 번째로 말하네요. 이제 그만할게요.)

• 번역이 플러그인이 아니라 기본 내장일 것.

• 금요일 요약 메일이 아니라, 모든 리뷰에 감정과 주제 태그가 붙을 것.

• 릴리스 전반에 걸친 트렌드 화면.

• 스팸 및 가짜 리뷰 플래그 기능. 봇 무리 한 번이면 차트가 종잇조각이 됩니다.

• 자동화된 작업에는 반드시 사람의 승인 단계가 있을 것.

• 내보내기 기능. 데이터는 여러분과 함께 떠날 수 있어야 합니다.

그리고 가격 정책도 중요합니다. 리뷰 건당 과금은 잘될수록 더 많이 내야 한다는 뜻이니 앞뒤가 맞지 않습니다. 고정 요금제가 카드를 쥔 사람을 설득하기도 더 쉽습니다. Google의 평점 및 리뷰 고객센터 페이지도 한번 보세요. Play Console은 이미 이런 기능을 일부 무료로 제공하고 있습니다.

피해야 할 흔한 실수

별점을 믿는 것. 별 다섯 개에 '매일 아침 멈춤'. 이런 사례가 수십 개나 있습니다.

한 스토어만 보는 것. 저희 iOS와 Android 사용자들은 완전히 다른 것들에 불만을 가졌습니다. 하나만 보면 절반만 고치는 셈입니다.

스팸까지 세는 것. 어느 화요일 밤, 그날 오후에 만들어진 계정에서 날아온 60개의 한 줄짜리 1점 리뷰가 있었습니다. 이런 걸 그대로 집계하면 차트가 절벽처럼 보입니다. 먼저 플래그를 걸고, 그다음에 집계하세요.

아무도 읽지 않는 리포트. 주간 불만 목록이 스프린트 계획에 반영되지 않는다면, 그냥 만들지 마세요. 진심입니다.

간단한 주간 루틴

제 루틴은 대략 이렇습니다.

• 월요일, 10분. 트렌드 화면, 상위 3개, 새로운 사항 확인.

• 매일, 5분. 초안 승인. 보류된 낮은 별점 리뷰는 실제로 읽기.

• 릴리스 전, 상위 요청을 뽑아서 어떤 게 반영됐는지 확인하고 릴리스 노트에 명시.

• 릴리스 후, 새로운 급증이 있는지 사흘간 지켜보기.

슬라이드도 없고, 정기 회의도 없습니다. 그게 전부입니다.

마무리하며

AI가 저를 리뷰 읽기에서 멀어지게 한 게 아닙니다. 저를 '전부 다' 읽는 일에서 멀어지게 했을 뿐이고, 이건 전혀 다른 이야기입니다. 무엇을 만들고 어떻게 답할지는 여전히 제가 결정합니다. 다만 이제는 지하철에서 스크롤하며 본 마지막 스무 개가 아니라, 전체 그림을 보고 결정한다는 차이가 있습니다.

아직 확신이 안 드시나요? 한 달치만 뽑아서 태그를 붙이고 집계해 보세요. 분명 몰랐던 걸 찾아낼 거라고 진짜 돈을 걸어도 좋습니다. 저희는 위젯 문제를 그렇게 찾아냈습니다. 그날 오후 한 번의 작업이 몇 배로 값어치를 했고, reviews_FINAL_v3.xlsx는 그 이후로 한 번도 열리지 않았습니다.