인코딩 설정 하나가 방송 화질을 결정한다
방송을 켰는데 화면이 뭉개집니다. 분명 같은 PC인데, 다른 BJ 방송은 선명합니다. 채팅창에 "화질 왜 이래요"라는 말이 올라옵니다. 장비 탓이라고 생각하기 쉽습니다. 그런데 실제로는 OBS 인코딩 설정 문제인 경우가 대부분입니다.
인코딩은 쉽게 말해 영상 데이터를 압축하는 과정입니다. 어떤 코덱으로, 어떤 속도로, 얼마나 압축하느냐에 따라 같은 PC에서도 완전히 다른 결과가 나옵니다. CPU 사용률이 90%를 넘기면서 프레임이 뚝뚝 끊기는 BJ가 있고, GPU 인코딩으로 여유롭게 60fps를 유지하는 BJ가 있습니다. 차이는 장비가 아니라 설정입니다.
x264 vs NVENC vs AMF, 코덱별 인코딩 차이
OBS에서 선택할 수 있는 인코더는 크게 세 가지입니다.
x264 - CPU 기반 인코딩
CPU로 영상을 압축합니다. 화질 대비 용량 효율이 가장 좋습니다. 하지만 CPU를 많이 잡아먹습니다. 게임 방송 중이라면 게임과 인코딩이 CPU를 동시에 사용하면서 프레임이 떨어질 수 있습니다.
NVENC - NVIDIA GPU 인코딩
NVIDIA 그래픽카드의 전용 인코딩 칩을 사용합니다. CPU 부담이 거의 없습니다. RTX 30 시리즈 이상이라면 화질도 x264 medium 프리셋과 비슷한 수준까지 올라왔습니다. 게임 방송 BJ에게 가장 많이 추천되는 방식입니다.
AMF - AMD GPU 인코딩
AMD 그래픽카드 사용자를 위한 옵션입니다. NVENC보다 화질 효율은 조금 떨어지지만, RX 7000 시리즈부터 AV1 인코딩을 지원하면서 격차가 줄었습니다.
| 항목 | x264 | NVENC | AMF |
|---|---|---|---|
| 처리 장치 | CPU | NVIDIA GPU | AMD GPU |
| CPU 부담 | 높음 | 거의 없음 | 거의 없음 |
| 화질 효율 | 최상 | 상 | 중상 |
| 게임 방송 적합도 | 낮음 | 높음 | 중간 |
| 권장 환경 | 토크방송, 고사양 CPU | 게임방송, RTX 30+ | AMD GPU 사용자 |
해상도별 OBS 인코딩 최적 설정값
인코더를 골랐으면 세부 설정이 중요합니다. 비트레이트, 프리셋, 키프레임 간격을 해상도에 맞게 잡아야 합니다.
720p 방송 (1280x720)
- 비트레이트: 3,000~4,500 kbps
- x264 프리셋: veryfast 이상
- NVENC 프리셋: P5 (Quality)
- 키프레임 간격: 2초
- 프레임레이트: 30fps (토크), 60fps (게임)
1080p 방송 (1920x1080)
- 비트레이트: 4,500~6,000 kbps
- x264 프리셋: veryfast (이보다 느린 프리셋은 CPU 과부하 위험)
- NVENC 프리셋: P5~P6
- 키프레임 간격: 2초
- 프레임레이트: 30fps (토크), 60fps (게임)
"비트레이트를 8,000까지 올리면 화질 좋아지지 않나요?" 플랫폼마다 수신 제한이 있습니다. 아프리카TV는 최대 6,000 kbps를 권장하고, 그 이상은 시청자 측에서 버퍼링이 발생할 수 있습니다. 무조건 높다고 좋은 게 아닙니다.
실제 BJ 사례로 보는 인코딩 세팅 변화
사례 1 - 게임 BJ A씨 (RTX 4060, i5-13400F)
처음에 x264 인코더를 사용했습니다. 리그 오브 레전드 방송 중 CPU 사용률이 95%를 넘기면서 게임 프레임이 40fps까지 떨어졌습니다. 화면도 뭉개졌습니다. NVENC로 전환하고 비트레이트를 5,000 kbps, 프리셋 P5로 설정했더니 CPU 사용률이 35%로 떨어졌습니다. 게임은 144fps 유지, 방송 화면도 선명해졌습니다.
A씨는 이후 큰손탐지기로 시청자 반응을 모니터링했는데, 화질 개선 이후 평균 시청 시간이 12분에서 23분으로 늘어난 걸 확인했습니다. 화질이 시청 시간에 직접 영향을 준 사례입니다.
사례 2 - 토크 BJ B씨 (GTX 1660, Ryzen 5 3600)
구형 GPU라 NVENC 성능이 아쉬웠습니다. 대신 토크 방송이라 게임 부하가 없었습니다. x264 인코더, veryfast 프리셋, 720p 30fps, 비트레이트 3,500 kbps로 설정했습니다. CPU 사용률은 40% 내외로 안정적이었고, 화질은 오히려 NVENC보다 깨끗했습니다. 움직임이 적은 토크 방송에서는 x264가 유리한 전형적인 케이스입니다.
방송 전 인코딩 점검 체크리스트
설정을 바꾼 뒤에는 반드시 테스트 방송을 돌려야 합니다. 아래 항목을 하나씩 확인하세요.
- OBS 하단 상태바에서 드롭 프레임이 0%인지 확인
- CPU 사용률이 80% 미만인지 확인 (작업 관리자 기준)
- 인코더 과부하 경고가 뜨지 않는지 확인
- 테스트 녹화 후 재생해서 화면 뭉개짐 없는지 확인
- 비트레이트가 설정값 근처에서 안정적으로 유지되는지 확인
- 키프레임 간격이 2초로 설정되어 있는지 확인
5분짜리 테스트 녹화 하나면 충분합니다. 녹화 파일을 직접 재생해보면 시청자가 보는 화면과 거의 같은 결과를 확인할 수 있습니다. 시청자 분석 기능과 함께 활용하면 설정 변경 전후의 시청 시간 차이까지 데이터로 비교할 수 있습니다.
자주 묻는 인코딩 설정 질문
지금 바로 해볼 것
OBS를 열고 설정 > 출력 > 스트리밍 탭으로 가세요. 출력 모드를 '고급'으로 바꾸세요. 현재 인코더가 뭔지 확인하세요. NVIDIA 그래픽카드가 있는데 x264를 쓰고 있다면, NVENC로 전환하고 프리셋 P5, 비트레이트 5,000 kbps로 잡으세요. 그리고 5분짜리 테스트 녹화를 돌려보세요. 그 파일을 재생하는 순간, 지금까지 왜 화질이 안 나왔는지 바로 알게 됩니다.
