큰손탐지기 정확도, 결제 버튼 앞에서 제일 걸리는 부분이죠. 알림은 떴는데 후원이 안 들어오면 어쩌나 싶고요. 저도 똑같이 의심했습니다. 그래서 컨설팅하던 BJ 2명과 함께 12주 동안 알림 289건을 전부 스프레드시트에 적었습니다. 예측이 맞았는지, 틀렸다면 언제 틀렸는지 한 건도 빼지 않고 대조했고요. 오늘 그 숫자를 그대로 공개합니다.
- 12주간 큰손 후보 알림 289건 중 227건이 실제 후원으로 이어짐 (평균 적중률 78.5%)
- 도입 첫 2주는 적중률 61%. 시청 데이터가 쌓인 5주 차부터 80%대로 안정
- 이벤트 방송 날과 새벽 게릴라 방송은 예측이 흔들리므로 수동 보정 필요
큰손탐지기 정확도, 어떻게 검증했나
방법은 단순합니다. 큰손탐지기가 큰손 후보로 짚어준 시청자를 매일 기록했습니다. 그리고 2주 안에 실제 후원이 있었는지 대조했고요. 참여한 BJ는 두 명입니다.
- BJ A: 버라이어티 방송 3년 차, 평균 동접 40명, 주 5회 송출
- BJ B: 게임 방송 1년 차, 평균 동접 70명, 주 4회 송출
기준은 하나로 통일했습니다. 알림이 뜬 시청자가 14일 안에 첫 후원이나 추가 후원을 하면 적중입니다. 애매한 건 전부 실패로 쳤습니다. 숫자를 예쁘게 만들 이유가 없었으니까요. 오히려 깐깐하게 잡아야 결제 전의 저 같은 사람에게 의미가 있다고 봤습니다.
12주 실측 데이터, 알림 289건의 결과
| 구분 | 알림 건수 | 후원 연결 | 적중률 |
|---|---|---|---|
| BJ A (동접 40명) | 137건 | 109건 | 79.6% |
| BJ B (동접 70명) | 152건 | 118건 | 77.6% |
| 합계 | 289건 | 227건 | 78.5% |
BJ A는 처음에 반신반의했습니다. 그런데 6주 차에 상황이 바뀌었어요. 채팅 한 줄 없이 3주를 지켜만 보던 시청자가 후보로 잡혔습니다. 눈에 안 띄는 닉네임이라 A 혼자였으면 그냥 지나쳤을 겁니다. 알림을 보고 이틀 연속 이름을 불러줬더니, 나흘 뒤 그 시청자가 첫 별풍선 500개를 쐈습니다. 지금은 A 채널의 후원 상위 3위 단골이고요. BJ B 쪽에서도 비슷한 사례가 8건 나왔습니다. 조용한 장기 시청자를 시스템이 먼저 찾아낸 경우들이었죠.
솔직히 처음엔 점괘 보는 기분이었거든요. 그런데 12주 기록을 쌓아 보니 제 감보다 정확했습니다. 같은 기간 제 감으로 찍은 후보는 절반도 못 맞혔어요. - BJ A
예측 정확도가 흔들리는 순간 3가지
78.5%를 뒤집으면 5건 중 1건은 빗나간다는 뜻입니다. 빗나간 62건을 다시 뜯어보니 패턴이 분명했습니다.
1. 도입 후 첫 2주
첫 2주 적중률은 61%였습니다. 시청 데이터가 부족하니 당연한 결과죠. 5주 차부터는 두 명 모두 80%대에 안착했습니다. AI가 내 채널 시청자의 패턴을 학습할 시간이 필요한 겁니다.
2. 대형 이벤트 방송 날
1주년, 합방 같은 날은 평소 안 오던 시청자가 몰립니다. 일회성 방문자가 후보에 섞이면서 이벤트 당일 적중률은 69%까지 내려갔습니다. 이런 날 알림은 참고만 하는 게 맞습니다.
3. 새벽 게릴라 방송
편성표에 없던 새벽 방송은 표본 자체가 적었습니다. 들어오는 사람이 단골뿐이라 새로 예측할 데이터가 없는 거죠. 정확도 문제라기보다 재료 부족에 가깝습니다.
큰손탐지기 정확도 끌어올려 쓰는 법
도구는 도구입니다. 같은 알림을 받아도 반응 속도에 따라 결과가 갈렸습니다. BJ B의 기록에서 알림 당일에 소통한 경우와 방치한 경우를 나눠 봤는데요. 당일 반응한 후보의 후원 전환이 2.3배 높았습니다. 그래서 저는 세 가지를 루틴으로 권합니다.
- 알림이 뜨면 그 방송 안에서 후보의 닉네임을 한 번 불러주기
- 후보 시청자의 입장 시간대를 확인하고 그 시간대 오프닝 멘트 조정하기
- 주 1회 적중과 실패를 직접 메모해서 내 채널만의 패턴 찾기
어떤 알림이 어떤 신호를 근거로 뜨는지는 기능 소개 페이지에 정리돼 있으니 세팅 전에 한 번 훑어보세요.
자주 묻는 질문
오늘 방송 끝나고 두 가지만 해보세요. 하나, 최근 2주 후원 내역을 열어서 예상 못 했던 후원자가 몇 명인지 세어 보기. 셋 중 하나라도 이 사람이 왜 쐈지 싶다면, 내 감이 놓치는 시청자가 이미 있다는 신호입니다. 둘, 도구를 쓰기로 했다면 첫 4주는 판단하지 말고 데이터만 쌓기. 정확도는 결제한 날이 아니라 학습이 끝난 날부터 시작됩니다.
