Cách phân tích đánh giá App Store bằng AI: Hướng dẫn thực tế cho nhà phát triển ứng dụng

Trong laptop của tôi có một file bảng tính tên là reviews_FINAL_v3.xlsx, và nó chẳng phải bản cuối cùng cũng chẳng phải phiên bản 3. Đó là nỗ lực của tôi, vào mùa xuân, để theo dõi những gì người dùng nói về ứng dụng của chúng tôi bằng tay. Nó tồn tại được mười một ngày. Thứ thay thế nó là một hệ thống đánh giá ứng dụng bằng AI mà tôi đã chống lại quá lâu vì, thành thật mà nói, tôi nghĩ mình cao siêu hơn thế. Tôi không hề cao siêu hơn thế.

Trả lời ngắn gọn, nếu đó là tất cả những gì bạn cần: bạn phân tích đánh giá App Store bằng AI bằng cách lấy chúng về qua các API chính thức của Apple và Google, cho một mô hình ngôn ngữ gắn ba nhãn lên mỗi đánh giá (tâm trạng, chủ đề, tính năng liên quan), rồi đếm các nhãn đó như một kế toán viên chán việc. Đống to nhất, giận dữ nhất chính là sprint tiếp theo của bạn. Đó là bí quyết. Phần còn lại dưới đây giải thích vì sao mỗi phần đều quan trọng, kể cả những vết bầm dập mà tôi đã trải qua.

Vì sao phân tích đánh giá App Store bằng tay lại thất bại

Những đánh giá giận dữ không phải là vấn đề. Chúng xuất hiện như một hòn gạch ném xuyên qua cửa sổ.

Vấn đề nằm ở những đánh giá đến như mưa phùn.

Ở phiên bản 2.4.1, chúng tôi làm hỏng widget màn hình chính. Không nghiêm trọng gì cả. Nó chỉ lặng lẽ ngừng tự làm mới. Trong vòng một tuần, ba mươi tư người đã nhắc đến điều này. Tôi biết vì tôi đã quay lại đếm, và cảm thấy phát ốm. Không một ai gõ chữ "widget". "Cái hộp đó." "Màn hình chính không cập nhật." "Hỏng từ sau khi update??" Có một đánh giá bằng tiếng Bồ Đào Nha mà tôi chỉ dịch được một tháng sau đó.

Sáu ngày mới nhận ra. Tôi đã tự mình đọc tám trong số các đánh giá đó. Nhưng không ghép được các mảnh lại với nhau. Đó chính là việc phân tích đánh giá ứng dụng bằng tay: bạn không thực sự đọc, bạn chỉ lướt qua để tìm khói, mà mưa phùn thì không tạo ra khói.

Thêm vào đó là những đánh giá 3 sao mà chẳng ai mở ra xem (nơi những yêu cầu hữu ích thường nằm ở đó, từ những người dùng bình tĩnh), cùng với việc bất cứ thứ gì không viết bằng tiếng Anh gần như biến mất, thì roadmap của bạn cuối cùng chỉ được xây dựng dựa trên những lời phàn nàn nào ồn ào nhất.

Phân tích đánh giá bằng AI thực chất làm gì

Nói thẳng: cụm từ "phân tích đánh giá bằng AI" nghe có vẻ thông minh hơn thực tế. Thực ra nó chỉ là bốn việc vặt.

Một, cảm xúc (sentiment). Không phải số sao. Mà là nội dung lời viết. Có người cho chúng tôi 5 sao và viết "sập mỗi sáng nhưng tôi vẫn yêu nó". Một báo cáo lỗi được gói trong lớp nơ xinh đẹp.

Hai, chủ đề. Lỗi, yêu cầu tính năng, phàn nàn về giá, rắc rối đăng nhập, lời khen, và một nhóm gọi là "Khác" mà sẽ to hơn bạn mong đợi.

Ba, tính năng nào. Nhắc nhở. Chế độ offline. Thanh toán. Bất cứ tính năng gì mà ứng dụng của bạn có.

Bốn, nhóm lại. Nhận ra rằng "cái hộp đó" và "màn hình chính không cập nhật" là một lời phàn nàn, không phải hai.

Gắn được các nhãn đó lên mọi đánh giá rồi thì phần còn lại chỉ là phép tính số học. Số học thì tôi làm được. Điều tôi không làm được là gắn nhãn nhất quán cho chín trăm đánh giá vào lúc 11 giờ đêm khi đang bị cảm.

Cách phân tích đánh giá App Store bằng AI: từng bước một

Bước 1: Lấy đánh giá ra khỏi console

Không phải bằng cách copy và paste. Tôi đã từng làm vậy. Mười một ngày. Xem lại file bảng tính ở trên.

Apple có App Store Connect API cho phép bạn lấy đánh giá về và đăng phản hồi. Google Play có công cụ tương đương trong Play Console. Cả hai đều không tốn thêm phí nào ngoài tài khoản nhà phát triển mà bạn đã trả tiền rồi.

Có hai hướng. Viết một đoạn script nhỏ chạy mỗi đêm, hoặc dùng một công cụ phân tích đánh giá App Store để tự lấy dữ liệu về. Nếu chọn hướng dùng công cụ, hãy kiểm tra một điều trước tiên: có dùng API chính thức không, chấm hết? Lần thử đầu tiên của tôi dùng một scraper. Nó hỏng hai lần trong một tháng, và tôi đã mất cả một ngày Chủ nhật dài đằng đẵng vì tin chắc rằng nó sẽ khiến listing của chúng tôi bị gắn cờ. Không hề. Nhưng tôi thì già thêm vài tuổi.

Bước 2: Dịch trước, phân tích sau

Hãy học từ kinh nghiệm của tôi. Tôi từng chạy phân tích trên văn bản gốc và lỗi widget bị tách thành ba vấn đề riêng biệt, vì có tiếng Anh, tiếng Tây Ban Nha và tiếng Bồ Đào Nha. Cùng một lỗi, ba nhóm khác nhau, đều nhỏ đến mức dễ bị bỏ qua. Hãy dịch mọi thứ sang một ngôn ngữ duy nhất trước khi gắn nhãn cho bất kỳ đánh giá nào. Nhưng vẫn giữ lại bản gốc, để dùng khi viết phản hồi.

Phần mềm phân tích đánh giá ứng dụng tử tế sẽ tự làm điều này mà không cần bạn yêu cầu. Nếu bạn tự xây dựng hệ thống riêng, đây là thêm một giai đoạn nữa trong quy trình. Tẻ nhạt. Bỏ qua bước này và các số liệu của bạn sẽ nói dối.

Bước 3: Gắn nhãn cảm xúc và chủ đề cho từng đánh giá

Đây là phần có sự tham gia của mô hình AI. Ít kỳ diệu hơn những gì các bản demo gợi ý. Prompt của tôi, đại khái là:

"Đọc đánh giá ứng dụng này. Cho tôi biết cảm xúc (tích cực, trung lập, tiêu cực, lẫn lộn), chủ đề chính (lỗi, yêu cầu tính năng, lời khen, giá cả, tài khoản, khác), và tính năng cụ thể được nhắc đến, nếu có."

Chạy nó qua toàn bộ dữ liệu. Lưu các câu trả lời bên cạnh văn bản gốc.

Thú nhận: các chủ đề ban đầu của tôi đều sai. Không có nhóm "tài khoản", nên một loạt rắc rối đăng nhập bị xếp vào mục lỗi, và tôi đã mất cả ngày thứ Năm để săn lùng một lỗi sập ứng dụng không hề tồn tại. Bạn sẽ phải làm lại các nhóm sau lần đầu tiên. Ai cũng vậy cả.

Bước 4: Nhóm lại và đếm

Một bảng. Chủ đề, rồi tính năng. Sắp xếp theo số lượng. Sắp xếp lại theo số sao trung bình.

Đầu của cả hai danh sách chính là roadmap của bạn. Nhiều lượt nhắc đến, đánh giá thấp, một tính năng duy nhất. Không phải một ticket hỗ trợ. Mà là sprint tiếp theo.

Tôi chưa từng tự xây dựng giao diện này. Analytics dashboard trong AI Review Sensor đã có sẵn tất cả: tỷ lệ phản hồi, phân chia cảm xúc, phân tích theo từng store, và chính phần phân tích theo store đó là cách tôi phát hiện ra Android đã âm thầm kéo điểm trung bình của chúng tôi xuống trong khi tôi vẫn đang đổ lỗi cho iOS. Một pivot table có thể giúp bạn đi được phần lớn chặng đường nếu bạn muốn tự làm. Phần lớn. Không phải tất cả.

Bước 5: Theo dõi xu hướng, không chỉ ảnh chụp nhanh một thời điểm

Một tuần dữ liệu cho bạn biết thứ gì đang cháy. Ba tháng cho bạn biết liệu việc dập lửa có hiệu quả hay không. Team của bạn chỉ quan tâm đến điều thứ hai.

Những gì tôi thực sự theo dõi, khác với những gì tôi từng nói sẽ làm:

• Tỷ lệ đánh giá tiêu cực, theo tuần

• Ba chủ đề phàn nàn hàng đầu cho mỗi bản phát hành

• Một đánh giá phải chờ bao lâu trước khi có người trả lời

• Tỷ lệ phản hồi

Khi một chủ đề rơi khỏi top ba sau một bản phát hành, đó chính là bằng chứng của bạn. Hãy ghi nó vào release notes. Apple còn gợi ý quay lại và trả lời các đánh giá cũ sau khi bạn đã sửa xong vấn đề. Tôi đã từng lắc đầu nghi ngờ. Rồi hai đánh giá 1 sao biến thành 4 sao trong cùng một tuần, và tôi dừng nghi ngờ luôn.

Bước 6: Khép lại vòng lặp bằng các câu trả lời

Một biểu đồ mà không ai hành động theo chỉ là một cách tốn kém hơn để lờ người dùng đi. Khi bạn biết điều gì đang làm phiền người dùng, hãy nói ra điều đó. Apple sẽ thông báo cho người viết đánh giá khi bạn trả lời, và họ có thể thay đổi điểm đánh giá của mình. Một số người thực sự làm vậy.

Bạn không cần phải tự gõ từng câu trả lời. AI sẽ soạn sẵn chúng theo đúng brand voice của bạn, bằng ngôn ngữ của người viết đánh giá, và bạn chỉ cần duyệt cả loạt trong lúc nhấp cà phê. Những đánh giá sao thấp vẫn cần con người xử lý. Đó là điều duy nhất tôi không bao giờ thỏa hiệp, và tôi đã từng tranh luận về điều này không ít lần. AI Review Sensor giữ lại mọi đánh giá dưới ngưỡng sao bạn đặt ra theo mặc định, và tài liệu về automation và approvals liệt kê các quy tắc mà một câu trả lời phải đáp ứng trước khi được phép tự gửi đi.

Chọn một công cụ phân tích đánh giá App Store

Nếu việc tự xây dựng hệ thống này nghe như kiểu cuối tuần bạn muốn giữ cho riêng mình, đây là những gì tôi muốn có ở một phần mềm phân tích đánh giá ứng dụng. Bài học rút ra từ việc chọn sai trước đó.

• Chỉ dùng API chính thức của Apple và Google, không gì khác. (Lần thứ ba rồi. Tôi sẽ dừng ở đây.)

• Tính năng dịch được tích hợp sẵn, không phải một plugin rời.

• Cảm xúc và chủ đề cho mọi đánh giá, không phải một email tổng hợp gửi vào thứ Sáu.

• Một chế độ xem xu hướng qua các bản phát hành.

• Đánh dấu spam và đánh giá giả. Một đợt bot tấn công và biểu đồ của bạn sẽ biến thành giấy vụn.

• Một bước duyệt của con người đối với mọi thứ được tự động hóa.

• Xuất dữ liệu. Dữ liệu của bạn cần có thể rời đi cùng bạn.

Và giá cả. Tính theo từng đánh giá nghĩa là bạn phải trả nhiều hơn khi làm tốt hơn, điều này ngược đời. Giá cố định (flat) thì dễ thuyết phục người nắm thẻ thanh toán hơn. Cũng nên xem trang hỗ trợ về ratings and reviews của Google, Play Console đã cho bạn miễn phí một phần của việc này rồi.

Những lỗi thường gặp cần tránh

Tin tưởng vào số sao. 5 sao, "sập mỗi sáng". Tôi có hàng chục trường hợp như thế.

Chỉ nhìn vào một store. Người dùng iOS và Android của chúng tôi phàn nàn về những thứ hoàn toàn khác nhau. Chỉ nhìn một bên, bạn chỉ sửa được một nửa vấn đề.

Đếm cả spam. Một tối thứ Ba, sáu mươi đánh giá 1 sao chỉ gồm một dòng, từ các tài khoản được tạo ngay trong chiều đó. Đếm cả những cái này và biểu đồ của bạn sẽ như vực thẳm. Đánh dấu trước. Đếm sau.

Bản báo cáo không ai đọc. Nếu danh sách phàn nàn hàng tuần không có mặt trong buổi lên kế hoạch sprint, hãy ngừng làm nó đi. Thật đấy.

Một thói quen hàng tuần đơn giản

Của tôi, đại khái là vậy:

• Thứ Hai, mười phút. Xem xu hướng, top ba, có gì mới.

• Mỗi ngày, năm phút. Duyệt các bản draft. Thực sự đọc những đánh giá sao thấp đang bị giữ lại.

• Trước mỗi bản phát hành, lấy ra các yêu cầu hàng đầu, xem cái nào đã được đưa vào, nêu tên chúng trong release notes.

• Sau mỗi bản phát hành, theo dõi xem có đợt tăng đột biến mới nào không. Ba ngày.

Không cần slide deck. Không cần cuộc họp định kỳ. Vậy là xong.

Lời kết

AI không ngăn tôi đọc đánh giá. Nó ngăn tôi phải đọc tất cả các đánh giá, điều đó không giống nhau. Tôi vẫn là người quyết định điều gì sẽ được xây dựng và chúng tôi sẽ trả lời ra sao. Chỉ khác là giờ đây tôi có cả bức tranh toàn cảnh, chứ không phải chỉ hai mươi đánh giá cuối cùng mà tôi lướt qua trên tàu.

Còn đang lưỡng lự? Hãy lấy dữ liệu một tháng, gắn nhãn, đếm thử. Tôi sẵn sàng cá tiền thật rằng bạn sẽ tìm ra điều gì đó bạn chưa từng biết. Chúng tôi đã phát hiện ra vụ widget đó. Buổi chiều hôm ấy đã đáng giá gấp nhiều lần công sức bỏ ra, và reviews_FINAL_v3.xlsx thì từ đó đến giờ chưa ai mở lại.