본문 바로가기

OBS 인코딩 프리셋 완전 분석 - 화질과 성능의 최적 균형점 찾기

인코딩 프리셋 하나를 바꾸는 것만으로 방송 화질이 눈에 띄게 달라집니다. x264부터 NVENC, AMF까지 각 인코더의 프리셋을 비교하고 자신의 PC에 맞는 설정을 찾아보세요.


인코딩 프리셋이 뭔지부터 알자

인코딩은 원본 화면 데이터를 압축해서 인터넷으로 전송 가능한 크기로 만드는 과정입니다. 1920x1080 해상도에서 60fps로 촬영하면 1초에 약 370MB의 원시 데이터가 생성됩니다. 이걸 6Mbps(약 0.75MB/초)로 압축해야 방송이 가능합니다. 약 500배를 줄이는 셈입니다.

이 압축 과정에서 인코더는 수많은 알고리즘을 실행합니다. 프레임 간의 차이를 분석하고, 비슷한 영역을 묶고, 눈에 잘 안 띄는 정보를 우선 버립니다. 더 많은 알고리즘을 더 정밀하게 실행할수록 같은 비트레이트에서 화질이 좋아지지만, 그만큼 컴퓨팅 파워가 더 필요합니다.

프리셋(Preset)은 이 정밀도를 결정하는 설정입니다. 느린 프리셋은 더 많은 분석을 수행해서 화질이 좋지만 처리 시간이 길고 CPU/GPU 부하가 높습니다. 빠른 프리셋은 분석을 간소화해서 처리 속도는 빠르지만 화질이 떨어집니다. 같은 비트레이트 6,000Kbps라도 느린 프리셋과 빠른 프리셋의 화질 차이는 육안으로 구분됩니다.

문제는 방송이 실시간이라는 점입니다. 녹화와 달리 방송에서는 1/60초(16.67ms) 안에 한 프레임의 인코딩이 끝나야 합니다. 이 시간을 초과하면 프레임이 밀리고 시청자에게 끊김으로 나타납니다. 프리셋 선택은 "화질을 최대한 높이면서도 실시간 인코딩이 가능한 선"을 찾는 작업입니다.

x264 프리셋 - ultrafast부터 slow까지

x264는 오픈소스 소프트웨어 H.264 인코더입니다. CPU로 작동하며, OBS에서 'x264' 인코더를 선택하면 사용됩니다. 프리셋은 속도 순으로 다음과 같습니다.

ultrafast → superfast → veryfast → faster → fast → medium → slow → slower → veryslow → placebo

실시간 방송에서 실용적인 범위는 ultrafast ~ slow입니다. slower 이하는 사실상 실시간 인코딩이 불가능합니다.

ultrafast
가장 빠르지만 화질이 가장 낮습니다. 같은 6,000Kbps에서 medium 대비 눈에 띄게 블록 노이즈(모자이크 현상)가 발생합니다. 테스트 용도 외에는 권장하지 않습니다.

veryfast
대부분의 스트리머에게 x264의 기본 추천값입니다. CPU 부하가 적당하면서 합리적인 화질을 제공합니다. 게임을 하면서 동시에 방송을 돌리는 싱글 PC 환경에서 가장 많이 사용되는 프리셋입니다. i7 11세대 이상, Ryzen 7 5800X 이상에서 1080p 60fps 6,000Kbps 방송이 가능합니다.

faster / fast
veryfast보다 화질이 눈에 띄게 향상됩니다. 동적 장면(FPS 게임의 빠른 움직임)에서 디테일 보존이 좋아집니다. CPU 여유가 있다면(게임이 가벼운 경우, 또는 고코어 CPU) 사용해볼 만합니다.

medium
x264의 기본값이자 화질과 성능의 균형점입니다. 듀얼 PC 환경에서 송출 전용 PC가 medium을 돌리면 상당히 좋은 화질을 얻을 수 있습니다. 싱글 PC에서는 CPU 부하가 과할 수 있습니다. i9 또는 Ryzen 9급 CPU에서 가능합니다.

slow
매우 좋은 화질이지만 CPU 부하가 극심합니다. 16코어 이상의 CPU 또는 듀얼 PC 환경에서만 현실적입니다. slow와 medium의 화질 차이는 medium과 veryfast의 차이보다 작으므로, medium에서 slow로 올리는 것보다는 비트레이트를 올리는 편이 더 효과적일 수 있습니다.

NVENC 프리셋 - P1부터 P7까지

NVENC은 NVIDIA GPU의 전용 인코딩 하드웨어를 사용합니다. GPU의 게임 렌더링 유닛과는 별개의 칩이므로, NVENC을 사용해도 게임 프레임레이트에 거의 영향을 주지 않습니다. 이것이 NVENC의 가장 큰 장점입니다.

OBS 28 이후의 NVENC 프리셋 체계는 P1(Fastest)부터 P7(Slowest)까지 7단계입니다.

P1 (Fastest)
최소한의 인코딩 연산. 화질은 x264 veryfast와 비슷하거나 약간 낮습니다. GPU 인코더 부하가 거의 없어, 극한의 게임 성능이 필요한 경우에 사용합니다.

P4 (Medium)
NVENC의 스윗스팟입니다. P1 대비 눈에 띄는 화질 향상을 보이면서도, 인코더 부하가 크지 않습니다. RTX 30 시리즈 이상에서 1080p 60fps를 아무 문제 없이 처리합니다. 대부분의 스트리머에게 추천하는 기본값입니다.

P5 (Slow)
P4보다 약간 좋은 화질. 차이는 미미하지만 인코더 부하는 눈에 띄게 증가합니다. P4에서 여유가 있다면 시도해볼 만합니다.

P7 (Slowest)
NVENC이 제공하는 최고 화질. 다만 P7에서의 화질 향상은 P4 대비 10~15% 수준이고, 인코더 부하는 2배 이상 증가합니다. 4K 인코딩에서는 P7이 과부하를 일으킬 수 있으므로 주의가 필요합니다.

Tuning 옵션
NVENC 프리셋 외에 Tuning 옵션도 있습니다. 'High Quality'는 B-프레임과 Look-Ahead를 활성화해서 화질을 추가 향상시킵니다. 'Low Latency'는 저지연 방송에 최적화합니다. 'Ultra Low Latency'는 실시간 상호작용이 극도로 중요한 경우에 사용합니다. 일반적인 방송에서는 'High Quality'를 권장합니다.

AMD AMF와 Intel QSV 프리셋

AMD AMF (Advanced Media Framework)
AMD GPU의 하드웨어 인코더입니다. OBS에서 'AMD HW H.264' 또는 'AMD HW HEVC'로 표시됩니다. 프리셋은 Speed, Balanced, Quality 세 단계입니다. Balanced가 기본 권장값이며, 화질은 NVENC P4와 비슷한 수준입니다. RX 7000 시리즈 이후의 AMF는 이전 세대보다 크게 향상되어 NVENC과의 화질 격차가 줄었습니다.

Intel Quick Sync Video (QSV)
Intel CPU의 내장 그래픽에 포함된 하드웨어 인코더입니다. OBS에서 'QuickSync H.264'로 표시됩니다. 프리셋은 Speed, Balanced, Quality입니다. Intel 12세대 이후의 QSV는 상당히 좋은 화질을 제공하며, 외장 GPU가 게임에만 집중할 수 있게 해줍니다. 외장 GPU + QSV 조합은 싱글 PC 방송에서 게임 성능과 방송 화질을 모두 확보하는 전략입니다.

내 PC에 맞는 최적 프리셋 찾는 법

이론적인 비교를 넘어, 자신의 PC에서 실제로 테스트해서 최적의 프리셋을 찾는 방법입니다.

1단계: 기준점 설정
먼저 안정적인 기준점에서 시작합니다. NVENC 사용자는 P4, x264 사용자는 veryfast를 기본값으로 설정합니다. 비트레이트는 1080p 60fps 기준 6,000Kbps, CBR로 설정합니다.

2단계: 테스트 녹화
방송에 앞서 로컬 녹화로 테스트합니다. OBS '설정' → '출력'에서 녹화를 활성화하고, 방송과 같은 인코딩 설정으로 녹화합니다. 실제 방송에서 자주 하는 활동(게임, 화면 전환, 웹캠 등)을 2~3분간 수행합니다.

3단계: OBS 통계 확인
녹화 중 '보기' → '통계' 창을 열어둡니다. '건너뛴 인코딩 프레임'이 0%인지 확인합니다. 0%가 아니면 인코딩 과부하이므로 프리셋을 한 단계 낮추세요.

4단계: 프리셋 올려보기
3단계에서 0%를 유지했다면, 프리셋을 한 단계 올려봅니다(예: P4 → P5). 다시 같은 테스트를 반복합니다. 0%를 유지하면 한 단계 더 올립니다. 0%가 깨지면 직전 프리셋이 자신의 PC에서 안정적으로 돌릴 수 있는 최고 프리셋입니다.

5단계: 화질 비교
기준점 프리셋과 찾은 최적 프리셋의 녹화 파일을 비교합니다. 빠른 움직임(FPS 게임의 전투, 화면 전환)에서 차이가 가장 크게 나타납니다. 차이가 미미하다면 낮은 프리셋을 유지해서 안정성 여유를 확보하는 것도 좋은 선택입니다.

6단계: 장시간 안정성 확인
2~3분 테스트에서 괜찮았어도 2~3시간 방송에서는 다를 수 있습니다. 장시간 게임으로 CPU/GPU 온도가 올라가면 인코딩 성능이 떨어질 수 있기 때문입니다. 실제 방송 1~2회를 진행하면서 통계를 모니터링하고, 문제가 생기면 프리셋을 한 단계 낮추세요.

프리셋 최적화는 한 번 해두면 하드웨어를 교체하기 전까지 유지됩니다. 30분 정도 투자해서 자신의 PC에 맞는 최적의 프리셋을 찾아두세요.

3일 무료체험큰손탐지기, 지금 바로 시작하세요

설치 없이 웹에서 바로 사용 가능 · PC & 모바일 지원

무료체험 시작
카카오톡 상담