OBS 녹화 설정 최적화 가이드 - 용량은 줄이고 화질은 지키는 인코더, 비트레이트, 포맷 세팅

방송을 마치고 녹화 파일을 열어보니 3시간짜리 영상이 60GB를 넘거나, 반대로 화질이 뭉개져서 편집에 쓸 수 없었던 경험이 있으실 겁니다. 둘 다 OBS 녹화 설정이 송출 설정을 그대로 따라가서 생기는 문제입니다. OBS 녹화 설정 최적화의 핵심은 "송출과 녹화는 다른 목적"이라는 점을 인정하고 녹화 쪽 항목을 별도로 잡는 것입니다. 아래에서 실제로 바꿔야 할 항목만 순서대로 짚어보겠습니다.

송출 설정과 녹화 설정은 왜 따로 잡아야 할까

송출은 인터넷 회선과 플랫폼 서버의 제한 때문에 비트레이트 상한이 정해져 있습니다. 예를 들어 1080p 60fps 송출은 보통 6,000~8,000kbps 수준으로 고정합니다. 반면 녹화는 회선 제한이 없습니다. 저장 공간과 CPU/GPU 여유만 있다면 훨씬 높은 품질로 남길 수 있습니다.

OBS는 기본적으로 녹화 설정에서 "스트리밍 인코더 사용" 옵션이 켜져 있습니다. 이 상태로 녹화하면 송출용으로 압축된 낮은 품질이 그대로 파일에 들어갑니다. 유튜브 편집용이나 하이라이트 추출용으로는 부족한 화질입니다.

• 송출: 고정 비트레이트(CBR), 회선 상한에 맞춤, 안정성 우선
• 녹화: 품질 기반(CQP/CRF), 저장 공간에 맞춤, 화질 우선
• 두 작업을 동시에 하면 인코더 부하가 2배가 되므로 GPU 여유 확인 필요

설정 위치는 설정 > 출력 > 출력 방식을 "고급"으로 바꾼 뒤 "녹화" 탭입니다. 단순 모드에서는 녹화 품질을 세밀하게 조정할 수 없으므로 반드시 고급 모드로 전환하세요.

인코더 선택 - 하드웨어 인코더를 우선하세요

녹화 인코더는 그래픽카드 종류에 따라 선택지가 갈립니다. 게임 방송 중 녹화까지 하면 CPU 인코더(x264)는 프레임 드랍의 원인이 되기 쉽습니다. 대부분의 경우 GPU 하드웨어 인코더가 정답입니다.

H.264와 HEVC 중 무엇을 쓸까

HEVC(H.265)는 같은 화질에서 H.264보다 파일 용량이 대략 30~40% 작습니다. 녹화용으로는 HEVC가 유리합니다. 다만 편집 프로그램이 HEVC를 지원하는지 먼저 확인하세요. 프리미어 프로, 다빈치 리졸브 스튜디오는 지원하지만, 일부 무료 편집기나 구형 버전은 H.264만 읽습니다. 불확실하면 H.264로 시작하는 것이 안전합니다.

레이트 컨트롤과 품질 수치 - CQP와 CRF

녹화에서 가장 많이 바꿔야 하는 항목이 바로 레이트 컨트롤입니다. 송출에서 쓰는 CBR(고정 비트레이트)은 장면이 단순할 때도 같은 용량을 쓰고, 장면이 복잡할 때는 화질이 부족합니다. 녹화는 품질 기반 방식으로 바꿔야 용량과 화질을 동시에 잡을 수 있습니다.

• CQP (NVENC, AMF, QSV): 숫자가 낮을수록 고화질. 값이 1 늘 때마다 용량이 약 10~12% 줄어듭니다
• CRF (x264): CQP와 원리가 같고, 같은 숫자 기준으로 CQP보다 조금 더 효율적입니다
• VBR: 최대 비트레이트를 정해두고 싶을 때. 품질 기반보다 관리가 번거롭습니다

실제 수치 기준

1080p 60fps 게임 녹화 기준으로 CQP 18~20이 편집용으로 가장 많이 쓰이는 구간입니다. CQP 18이면 원본과 육안 구분이 거의 어렵고, 1시간 녹화 시 H.264 기준 약 15~25GB 정도가 나옵니다. 장면 움직임이 많을수록 용량이 커지므로 단순 토크 방송은 같은 설정에서도 절반 이하로 떨어집니다.

프리셋은 NVENC 기준 P5(느림) 또는 P6 정도가 화질과 부하의 균형점입니다. P7은 화질 향상이 미미한데 GPU 점유율은 눈에 띄게 올라갑니다. 게임 프레임이 떨어진다면 P4로 내리세요. 키프레임 간격은 녹화에서는 0(자동)으로 두어도 되고, 편집 시 탐색 반응을 빠르게 하려면 1~2초로 설정합니다.

녹화 설정에서 용량을 줄이려고 해상도나 프레임을 낮추는 것은 마지막 수단입니다. CQP 값을 2만 올려도 용량이 20% 이상 줄어듭니다. 화질 손실을 최소화하면서 용량을 줄이는 순서는 CQP 조정, HEVC 전환, 그다음이 해상도입니다.

녹화 포맷 - MKV 또는 하이브리드 MP4

녹화 도중 OBS가 튕기거나 정전이 나면 일반 MP4 파일은 통째로 못 쓰게 됩니다. MP4는 녹화가 정상 종료될 때 파일 끝에 인덱스 정보를 쓰는 구조라서 중간에 끊기면 재생이 안 됩니다. 몇 시간 방송을 날리는 가장 흔한 원인입니다.

OBS 30 버전부터 하이브리드 MP4 포맷이 추가됐습니다. 이 포맷은 녹화 중 갑자기 종료되어도 직전까지의 내용을 복구할 수 있고, 일반 MP4와 호환되어 편집기에서 바로 읽힙니다. OBS 30 이상이라면 하이브리드 MP4, 그 이하 버전이라면 MKV로 녹화한 뒤 OBS 메뉴의 "녹화 다시 멀티플렉싱"으로 MP4로 변환하는 방식을 권장합니다.

• 하이브리드 MP4: OBS 30 이상. 복구 가능 + 편집기 호환. 현재 가장 권장
• MKV: 복구 가능, 다중 오디오 트랙 지원. 일부 편집기는 리멀티플렉싱 필요
• 일반 MP4: 안전성이 가장 낮음. 녹화용으로는 피할 것

오디오 트랙 분리와 리플레이 버퍼

편집용 녹화에서 가장 큰 차이를 만드는 설정이 오디오 트랙 분리입니다. 마이크, 게임 소리, 디스코드 음성, 배경음악을 하나의 트랙에 섞어 녹화하면 편집 단계에서 음악만 빼거나 디스코드 목소리만 줄이는 작업이 불가능합니다.

설정 방법

설정 > 출력 > 녹화 탭에서 오디오 트랙 체크박스를 1부터 4까지 선택합니다. 이후 고급 오디오 속성(오디오 믹서의 톱니바퀴)에서 각 소스가 어느 트랙에 들어갈지 지정합니다. 송출 트랙은 1번 하나만 쓰고, 녹화에서는 1~4번을 모두 켜는 구성이 일반적입니다.

• 트랙 1: 전체 믹스 (송출용과 동일)
• 트랙 2: 마이크만
• 트랙 3: 게임/데스크탑 소리만
• 트랙 4: 디스코드 또는 배경음악

이 구성은 저작권 문제에도 도움이 됩니다. 배경음악 트랙을 분리해두면 유튜브 업로드용 편집에서 음악만 제거할 수 있습니다. 오디오 비트레이트는 트랙당 160~192kbps면 충분하고, 320kbps는 용량 대비 체감 차이가 거의 없습니다.

리플레이 버퍼로 하이라이트만 저장

전체 방송을 녹화할 저장 공간이 부족하다면 리플레이 버퍼가 대안입니다. 최근 N초 분량을 메모리에 계속 유지하다가 단축키를 누르면 그 구간만 파일로 저장합니다. 30초~2분 정도로 설정하고 명장면이 나올 때마다 단축키를 누르는 방식입니다. 메모리 사용량은 설정 버튼 옆에 표시되므로 RAM 16GB 환경이라면 최대 메모리를 2~3GB 이내로 제한하세요.

다만 후원이 몰리는 순간처럼 미리 예측하기 어려운 장면은 단축키를 놓치기 쉽습니다. 방송 중 후원 흐름을 실시간으로 보여주는 큰손탐지기 서비스 같은 도구와 함께 쓰면 어떤 시점이 하이라이트였는지 방송 후 되짚기 쉬워서, 전체 녹화본에서 구간을 찾는 시간이 줄어듭니다.

상황별 추천 세팅과 점검 순서

위 내용을 실제 환경에 맞게 정리하면 다음과 같습니다. RTX 3060 이상, 저장 공간 1TB 이상을 기준으로 잡았습니다.

설정을 바꾼 뒤에는 반드시 실제 게임을 켜고 10분 정도 테스트 녹화를 해보세요. OBS 통계 창에서 건너뛴 프레임이 0.5% 이하로 유지되는지, 파일 용량이 예상 범위인지, 편집기에서 정상적으로 열리는지 세 가지를 확인하면 됩니다.

방송 시간이 길어질수록 녹화 파일 관리 자체가 일이 됩니다. 채널 운영과 영상 편집을 도와줄 사람을 구할 단계라면 내이름은매니저처럼 방송 매니저와 편집자를 연결해주는 곳에서 녹화본 관리 기준을 먼저 정해두는 것도 방법입니다.

오늘 바로 할 일은 두 가지입니다. 첫째, 출력 방식을 고급으로 바꾸고 녹화 인코더를 송출과 분리한 뒤 CQP 18~22 사이로 설정하세요. 둘째, 포맷을 하이브리드 MP4 또는 MKV로 바꾸고 오디오 트랙을 최소 마이크와 게임 소리로 나누세요. 이 두 가지만 적용해도 녹화본의 활용도가 완전히 달라집니다.