인코딩 오버로드 해결 가이드 - CPU·GPU 과부하 대처법

인코딩 오버로드란 무엇인가

OBS 하단에 빨간색으로 'Encoding overloaded!'라는 경고가 표시된 적이 있으신가요? 이 경고는 방송에 직접적인 영향을 미치는 심각한 문제이므로 즉시 대응해야 합니다. 인코딩 오버로드의 정확한 의미와 영향을 먼저 이해해 보겠습니다.

인코딩 오버로드는 CPU나 GPU가 설정된 시간 내에 비디오 프레임을 인코딩하지 못할 때 발생합니다. 예를 들어 60fps 방송이면 각 프레임을 약 16.7ms 이내에 인코딩해야 합니다. 이 시간 내에 처리가 완료되지 않으면 해당 프레임이 스킵되거나 방송 품질이 저하됩니다.

시청자에게 미치는 영향은 상당합니다. 인코딩 오버로드가 발생하면 방송 화면이 끊기고, 프레임이 드랍되며, 심한 경우 화면이 정지된 상태로 수 초간 멈추기도 합니다. 시청자는 불쾌한 시청 경험을 하게 되고, 이탈률이 높아집니다.

두 가지 유형의 오버로드를 구분해야 합니다. 첫째, 렌더링 지연(Rendering lag)은 OBS가 씬을 렌더링하는 데 GPU 자원이 부족할 때 발생합니다. OBS 통계 창에서 '렌더링 지연으로 인해 누락된 프레임'으로 표시됩니다. 둘째, 인코딩 지연(Encoding lag)은 비디오를 스트리밍 가능한 형식으로 압축하는 과정에서 CPU나 GPU가 부족할 때 발생합니다. '인코딩으로 인해 건너뛴 프레임'으로 표시됩니다.

각 유형에 따라 해결 방법이 다르므로, OBS의 통계 창(보기 > 통계)을 열어 어떤 유형의 프레임 드랍이 발생하고 있는지 먼저 확인하는 것이 중요합니다. 통계 창에서는 프레임 드랍의 정확한 유형과 수치를 실시간으로 확인할 수 있습니다.

CPU 인코딩 오버로드 해결법

x264 소프트웨어 인코더를 사용하고 있다면 CPU에서 인코딩이 이루어지며, CPU 과부하가 인코딩 오버로드의 직접적인 원인이 됩니다.

인코딩 프리셋 변경이 가장 즉각적인 해결책입니다. OBS 설정 > 출력 > 스트리밍에서 인코더 프리셋을 변경하세요. x264의 프리셋은 ultrafast, superfast, veryfast, faster, fast, medium, slow, slower, veryslow 순서로 CPU 사용량이 증가합니다. medium 이하를 사용하고 있다면 veryfast로 변경하세요. ultrafast는 화질이 눈에 띄게 저하되므로 veryfast를 최소 권장 프리셋으로 봅니다.

출력 해상도 낮추기도 효과적입니다. 1080p를 720p로 낮추면 인코딩해야 할 픽셀 수가 약 56% 줄어들어 CPU 부하가 크게 감소합니다. 720p 60fps는 여전히 대부분의 시청자에게 만족스러운 화질을 제공하며, 특히 모바일 시청자에게는 720p면 충분합니다.

프레임레이트 조정도 고려하세요. 60fps에서 30fps로 낮추면 인코딩 작업량이 절반으로 줄어듭니다. 빠른 움직임이 적은 게임이나 토크 방송에서는 30fps도 시청에 큰 지장이 없습니다. 다만 FPS 게임처럼 빠른 화면 전환이 많은 콘텐츠에서는 60fps를 유지하는 것이 좋습니다.

백그라운드 프로세스 정리는 필수입니다. 작업 관리자에서 CPU 사용률이 높은 프로세스를 확인하세요. Chrome 브라우저는 탭마다 별도의 프로세스를 사용하므로 불필요한 탭을 닫으세요. 클라우드 동기화 서비스, 백신 실시간 검사, Windows 업데이트 등도 CPU를 점유합니다. 방송 전에 이런 프로세스들을 최대한 정리하세요.

프로세스 우선순위 설정을 활용하세요. OBS 설정 > 고급에서 프로세스 우선순위를 '높음'으로 설정하면, 다른 프로그램보다 CPU 시간을 우선적으로 배정받습니다. 이렇게 하면 다른 프로그램이 CPU를 잠시 많이 사용하더라도 OBS의 인코딩이 우선 처리됩니다.

GPU 인코딩 오버로드 해결법

하드웨어 인코더(NVENC, AMF)를 사용하거나, OBS의 렌더링 과정에서 GPU가 과부하되면 GPU 관련 오버로드가 발생합니다.

게임 그래픽 설정 낮추기가 가장 효과적입니다. 게임이 GPU를 100% 사용하면 OBS가 렌더링과 인코딩에 사용할 GPU 여유가 없습니다. 게임의 그래픽 품질을 한 단계 낮추거나, 렌더 스케일을 줄이세요. 특히 그림자, 안티앨리어싱, 후처리 효과 등 GPU 부하가 큰 옵션을 먼저 낮추면 시각적 차이는 작지만 성능 개선 효과가 큽니다.

게임 FPS 제한을 설정하세요. 144Hz 모니터를 사용하더라도 방송은 60fps로 출력됩니다. 게임 FPS를 144에서 120이나 90으로 제한하면 GPU에 약간의 여유가 생겨 OBS가 안정적으로 동작할 수 있습니다. NVIDIA 제어판이나 게임 내 설정에서 FPS 제한을 설정할 수 있습니다.

OBS 씬 복잡도 줄이기도 중요합니다. OBS에서 사용하는 소스가 많을수록 GPU 렌더링 부하가 증가합니다. 사용하지 않는 소스를 삭제하고, 브라우저 소스를 최소화하세요. 복잡한 전환 효과나 필터도 GPU를 사용하므로 꼭 필요한 것만 유지하세요.

NVENC 세션 제한 확인도 필요합니다. NVIDIA 소비자용 GPU는 동시 NVENC 세션 수에 제한이 있습니다(보통 3~5개). OBS 방송과 녹화를 동시에 하면서, ShadowPlay나 다른 프로그램도 NVENC를 사용한다면 세션 제한에 걸릴 수 있습니다. 사용하지 않는 NVENC 세션을 해제하세요.

전원 관리 설정 변경을 확인하세요. NVIDIA 제어판의 전원 관리 모드가 '최적 전력'으로 되어 있으면 GPU가 부하에 따라 클럭을 낮추기 때문에 인코딩 성능이 일시적으로 저하될 수 있습니다. '최대 성능 선호'로 변경하면 GPU가 항상 높은 클럭을 유지합니다.

인코더 전환으로 근본적 해결하기

현재 사용 중인 인코더가 시스템 환경에 적합하지 않을 수 있습니다. 인코더를 전환하면 오버로드 문제를 근본적으로 해결할 수 있습니다.

x264에서 NVENC로 전환하면 CPU 부하를 대폭 줄일 수 있습니다. NVIDIA GTX 1660 이상의 그래픽카드는 최신 NVENC(Turing 인코더)를 지원하며, 화질도 x264 medium 프리셋에 근접합니다. OBS 설정 > 출력 > 스트리밍에서 인코더를 'NVIDIA NVENC H.264(new)' 또는 'NVIDIA NVENC HEVC(new)'로 변경하세요. 프리셋은 'Quality'를 권장합니다.

AMD 사용자는 AMF 인코더를 활용하세요. AMD RX 5000시리즈 이상에서는 AMF 인코더의 품질이 크게 개선되었습니다. OBS에서 'AMD HW H.264(AVC)' 또는 'AMD HW H.265(HEVC)' 인코더를 선택하세요. 프리셋은 'Quality'로 설정하고, 비트레이트 모드는 CBR을 권장합니다.

Intel QSV 인코더도 옵션입니다. Intel 내장 그래픽이 있는 시스템에서는 Quick Sync Video를 사용할 수 있습니다. CPU와 별도의 미디어 엔진에서 인코딩이 이루어지므로 CPU와 GPU 모두에 부담을 주지 않습니다. 다만 화질은 NVENC보다 약간 떨어질 수 있습니다.

AV1 인코더 활용도 고려해 보세요. NVIDIA RTX 40시리즈, AMD RX 7000시리즈 이상에서 지원하는 AV1 하드웨어 인코더는 H.264 대비 동일 비트레이트에서 더 좋은 화질을 제공합니다. 다만 아직 모든 플랫폼에서 AV1 수신을 지원하지는 않으므로, 사용하는 플랫폼의 지원 여부를 확인하세요.

인코더를 전환한 후에는 반드시 테스트 방송이나 녹화를 통해 화질과 안정성을 확인하세요. 인코더마다 최적의 비트레이트와 설정이 다르므로, 전환 후 미세 조정이 필요할 수 있습니다.

시스템 최적화와 장기적 대책

인코딩 오버로드를 근본적으로 방지하기 위한 시스템 최적화와 장기적인 대책을 안내합니다.

Windows 게임 모드 활용을 권장합니다. Windows 10/11의 게임 모드를 활성화하면 백그라운드 프로세스에 대한 시스템 자원 할당이 제한되어, 게임과 방송에 더 많은 자원이 배정됩니다. 설정 > 게임 > 게임 모드에서 활성화하세요.

전원 계획 최적화도 필요합니다. Windows 전원 계획을 '고성능'으로 설정하세요. '균형' 모드에서는 CPU가 부하에 따라 클럭을 동적으로 조절하는데, 이 과정에서 인코딩에 필요한 순간적인 성능을 제공하지 못할 수 있습니다. AMD Ryzen 프로세서 사용자는 'AMD Ryzen High Performance' 전원 계획을 설치하여 사용하는 것이 더 좋습니다.

불필요한 서비스 비활성화로 백그라운드 자원을 절약하세요. Windows Search 인덱싱, SysMain(Superfetch), Connected User Experiences 등의 서비스를 비활성화하면 시스템 자원을 절약할 수 있습니다. 다만 일상 사용에 영향을 줄 수 있으니 방송용 프로필을 별도로 만들어 관리하는 것이 좋습니다.

하드웨어 업그레이드 가이드도 제시합니다. 소프트웨어 최적화로도 해결되지 않는다면 하드웨어 업그레이드가 필요합니다. 가성비 기준으로 추천하면, CPU는 AMD Ryzen 7 또는 Intel i7 이상, GPU는 NVIDIA RTX 3060 이상(NVENC 활용), RAM은 32GB를 권장합니다. SSD도 시스템 반응 속도에 큰 영향을 미치므로 NVMe SSD를 사용하세요.

듀얼 PC 방송 환경도 궁극적인 해결책입니다. 게이밍 PC와 방송 PC를 분리하면 각 PC가 맡은 작업에만 집중할 수 있어 인코딩 오버로드가 발생할 여지가 거의 없습니다. NDI나 캡처카드를 통해 게이밍 PC의 화면을 방송 PC로 전달하면 됩니다. 초기 투자 비용이 크지만, 전문적인 방송을 위한 최적의 환경입니다.