한창 분위기 좋을 때 화면 구석에 빨간 경고가 뜹니다. 심장이 철렁하죠. 그래서 방송 인코딩 오류 해결 모음을 증상별로 정리했습니다. 5년 동안 제 방송에서 직접 겪은 사고와 컨설팅하면서 가장 많이 받은 질문이 바로 이 인코딩 문제였습니다. 오류 메시지는 비슷해 보여도 원인은 제각각이라서, 남의 해결법을 그대로 따라 하면 오히려 화질만 나빠지는 경우가 많습니다.
인코딩 오류, 증상부터 갈라야 답이 나옵니다
OBS 기준으로 방송이 망가지는 경로는 크게 세 갈래입니다. 겉보기엔 다 '끊김'이라 헷갈리죠. 그런데 처방은 전부 다릅니다.
- 인코딩 과부하: 인코더가 처리량을 못 따라가는 상태. OBS 하단에 빨간 경고가 뜹니다.
- 렌더링 랙: 게임이 GPU를 독식해서 OBS가 화면을 그릴 자원이 없는 상태.
- 프레임 드랍: 인터넷 회선 문제. 컴퓨터는 멀쩡한데 송출만 끊깁니다.
구분은 통계 창 하나면 됩니다. OBS 메뉴의 '도킹 가능한 UI'에서 통계를 열어 방송 중에 띄워 두세요. 어느 항목의 숫자가 올라가느냐로 범인이 정해집니다.
| 통계 창 항목 | 원인 | 1차 조치 |
|---|---|---|
| 인코딩 지연으로 건너뛴 프레임 | 인코더 과부하 | 프리셋 하향, NVENC 전환 |
| 렌더링 지연으로 놓친 프레임 | GPU 자원 부족 | 게임 프레임 제한 |
| 네트워크 상태로 손실된 프레임 | 회선, 공유기 | 유선 연결, 비트레이트 하향 |
인코딩 과부하 해결, CPU가 비명 지르는 경우
통계 창에서 '인코딩 지연으로 건너뛴 프레임'이 올라간다면 여기부터 보세요. 순서가 중요합니다. 설정을 한 번에 여러 개 바꾸면 뭐가 효과였는지 알 수 없거든요.
1단계: x264 프리셋을 한 칸 풀기
x264를 쓴다면 프리셋을 faster나 veryfast로 낮추세요. medium을 고집하는 분이 많은데, 시청자 화면에서 체감 차이는 거의 없습니다. CPU 점유율은 20% 이상 떨어집니다.
2단계: 출력 해상도 다운스케일
1080p에서 936p로만 내려도 인코더 부담이 확 줄어듭니다. 픽셀 수 기준 약 25% 감소입니다. 모바일 시청자가 많은 방송이라면 차이를 알아채는 사람이 거의 없습니다.
3단계: 하드웨어 인코더로 전환
지포스 그래픽카드가 있다면 NVENC를 쓰세요. 인코딩을 GPU의 전용 칩이 맡아서 CPU 부담이 사라집니다. 제가 컨설팅했던 동접 40명 규모 FPS 게임 BJ는 시청자가 몰리는 밤 9시마다 과부하 경고가 떠서 방송을 두 번이나 강제로 껐습니다. x264 medium에 CPU 점유율 94%였죠. NVENC로 바꾸고 프리셋을 P5로 두니 점유율이 38%로 내려갔고, 이후 석 달간 경고 0회였습니다.
“그래픽카드를 바꿔야 하나 싶어서 견적만 3일 봤어요. 그런데 인코더 설정 한 줄 바꾸니까 끝나더라고요. 굳은 돈으로 마이크를 바꿨습니다.”
렌더링 랙과 프레임 드랍, 인코딩 오류로 착각하는 두 가지
인코딩 설정을 아무리 낮춰도 안 잡힌다면 범인이 다른 곳에 있습니다.
렌더링 랙: 게임이 GPU를 독식할 때
게임 프레임을 무제한으로 풀어두면 GPU가 100%로 돌면서 OBS가 화면을 합성할 자원을 못 받습니다. 게임 내 설정에서 프레임 제한을 걸어주세요. 144Hz 모니터라면 141, 60Hz라면 120 정도면 충분합니다. 이것만으로 렌더링 지연이 사라지는 경우가 절반 이상입니다.
프레임 드랍: 회선이 흔들릴 때
통계 창에서 네트워크 손실이 잡히면 컴퓨터가 아니라 인터넷 문제입니다. 와이파이라면 무조건 유선으로 바꾸세요. 유선인데도 드랍이 있다면 비트레이트를 1000kbps씩 내려보고, 그래도 안 되면 송출 서버를 다른 지역으로 바꿔보는 겁니다.
오류 안 나는 인코딩 설정 기준값
사양마다 정답은 다르지만, 사고가 안 나는 출발점은 있습니다.
- 고사양 PC + NVENC: 1080p 60fps, 비트레이트 8000kbps
- 중사양 PC: 936p 60fps, 6000kbps
- 노트북, 저사양 PC: 720p 30fps, 4500kbps, x264 veryfast
공통으로 키프레임 간격은 2초, 오디오 비트레이트는 160kbps 이상을 권합니다. 노래 방송 BJ 한 분은 업로드 실측이 12Mbps까지 출렁이는 와이파이 환경에서 1080p 8000kbps를 고집하다가 프레임 드랍률 8%를 찍었습니다. 노래가 뚝뚝 끊기니 시청자가 버틸 이유가 없죠. 유선 연결에 936p 6000kbps로 조정하고 오디오를 192kbps로 올리니 드랍률이 0.1%로 떨어졌고, 평균 시청 시간이 11분에서 19분으로 늘었습니다.
방송 전 5분, 인코딩 오류 재발을 막는 점검 루틴
오류는 잡는 것보다 안 만나는 게 이깁니다. 저는 방송 켜기 전에 이 다섯 개만 확인합니다.
- 스피드테스트로 업로드 실측, 비트레이트의 2배 이상인지 확인
- OBS 통계 창 열고 3분간 테스트 녹화, 건너뛴 프레임 0인지 확인
- 브라우저 탭과 백그라운드 프로그램 정리 (탭 30개가 CPU 10%를 먹습니다)
- 그래픽 드라이버와 윈도우 업데이트는 방송 직후로 미루기
- 송출 서버 핑 확인, 평소보다 높으면 서버 변경
송출이 안정되면 그때부터는 화면이 아니라 시청자를 봐야 합니다. 오류 잡는 습관이 든 BJ일수록 통계 창만 쳐다보다가 후원 채팅을 놓치는 경우가 많거든요. 저는 큰손탐지기 알림을 세컨드 모니터에 띄워 두고 송출 지표는 10분에 한 번만 확인합니다. 후원 신호를 어떻게 잡아주는지는 기능 소개 페이지에 정리돼 있으니 참고하세요.
자주 묻는 질문
오늘 방송 켜기 전에 딱 두 가지만 해보세요. OBS 통계 창을 열어 10분간 어떤 프레임이 깎이는지 확인하고, 인코딩 지연이 보이면 인코더를 NVENC로 바꾸거나 프리셋을 한 단계 낮추는 겁니다. 오류 메시지가 무서운 건 원인을 모를 때뿐입니다. 증상만 구분되면 방송 인코딩 오류는 10분짜리 문제로 내려옵니다.
