텍스트 중복 제거 방법 총정리 - 엑셀, 메모장, 명령어로 중복 줄 한 번에 삭제하기
수천 줄짜리 목록에서 중복 항목을 손으로 지우고 계신가요? 엑셀, 구글 스프레드시트, 텍스트 에디터, 명령어까지 상황별로 가장 빠른 텍스트 중복 제거 방법을 정리했습니다.
이메일 주소 500개가 담긴 명단을 받았는데 같은 주소가 몇 개나 섞여 있는지 모르겠다면 어떻게 하시겠습니까? 하나씩 눈으로 찾다 보면 30분이 훌쩍 지나가고, 그마저도 놓치는 항목이 생깁니다. 회원 명단, 키워드 목록, 로그 파일, 재고 리스트까지. 텍스트를 다루는 일이라면 누구나 한 번쯤 겪는 상황입니다.
다행히 텍스트 중복 제거 방법은 생각보다 다양하고, 대부분 1분 안에 끝납니다. 이미 가지고 있는 프로그램만으로도 충분합니다. 상황별로 가장 빠른 방법을 하나씩 살펴보겠습니다.
텍스트 중복 제거가 필요한 순간
중복 데이터는 단순히 지저분한 문제가 아닙니다. 실제로 비용과 오류로 이어집니다. 이메일 명단에 중복이 있으면 같은 사람에게 메일이 두 번 발송되고, 재고 목록에 중복이 있으면 수량 집계가 틀어집니다.
- 명단 정리: 이메일, 전화번호, 아이디 목록에서 중복 수신자 제거
- 키워드 관리: 블로그나 광고용 키워드 목록에서 같은 단어 정리
- 로그 분석: 반복 기록된 에러 메시지를 고유 항목만 추려서 확인
- 데이터 취합: 여러 파일을 합친 뒤 겹치는 행 삭제
핵심은 데이터의 양과 형태에 맞는 도구를 고르는 것입니다. 표 형태라면 스프레드시트, 순수 텍스트라면 에디터나 명령어가 빠릅니다.
엑셀과 구글 스프레드시트에서 중복 제거하기
엑셀: 클릭 3번이면 끝
엑셀에는 중복 제거 기능이 기본 내장되어 있습니다. 데이터 범위를 선택한 뒤 데이터 탭 > 중복된 항목 제거를 누르면 됩니다. 여러 열을 기준으로 삼을 수도 있어서, 예를 들어 이름과 전화번호가 모두 같은 행만 중복으로 처리하는 것도 가능합니다. 실행하면 몇 개의 중복이 제거되고 몇 개가 남았는지 결과 창으로 알려줍니다.
구글 스프레드시트: 함수로 원본 보존
구글 스프레드시트는 데이터 > 데이터 정리 > 중복 항목 삭제 메뉴를 제공합니다. 엑셀과 사용법이 거의 같습니다. 원본을 건드리고 싶지 않다면 UNIQUE 함수가 더 좋습니다. 빈 셀에 =UNIQUE(A1:A500)을 입력하면 A열의 고유 값만 추출되어 옆에 표시됩니다. 원본은 그대로 두고 결과만 따로 얻는 방식이라 검토 작업에 특히 유용합니다.
텍스트 에디터로 중복 줄 삭제하기
표가 아닌 순수 텍스트 파일이라면 굳이 엑셀에 붙여 넣을 필요가 없습니다. 무료 에디터가 더 빠릅니다.
Notepad++
윈도우 사용자에게 가장 간단한 방법입니다. 파일을 열고 편집 > 줄 작업 > 중복 줄 제거를 누르면 전체 파일에서 중복된 줄이 사라집니다. 최신 버전(8.0 이상) 기준으로 별도 플러그인 없이 기본 메뉴에 들어 있습니다. 바로 붙어 있는 중복만 제거하는 옵션도 따로 있어서, 정렬 상태를 유지해야 할 때 골라 쓸 수 있습니다.
VS Code
개발자라면 이미 설치되어 있을 확률이 높습니다. 전체 선택(Ctrl+A) 후 명령 팔레트(Ctrl+Shift+P)에서 중복 줄 삭제(Delete Duplicate Lines)를 실행하면 선택 영역의 중복 줄이 한 번에 정리됩니다.
명령어 한 줄로 끝내는 텍스트 중복 제거
파일이 수십만 줄이거나 반복 작업이라면 명령어가 압도적으로 빠릅니다. 프로그램을 열 필요조차 없습니다.
리눅스와 맥: sort와 uniq
터미널에서 sort -u 파일명.txt 한 줄이면 정렬과 중복 제거가 동시에 끝납니다. sort 파일명.txt | uniq 형태로도 같은 결과를 얻습니다. 주의할 점이 하나 있는데, uniq는 바로 붙어 있는 중복 줄만 제거하기 때문에 반드시 정렬을 먼저 해야 합니다. 정렬 없이 uniq만 쓰면 떨어져 있는 중복은 그대로 남습니다.
윈도우: PowerShell
PowerShell에서는 Get-Content 목록.txt | Sort-Object -Unique | Set-Content 결과.txt를 실행하면 됩니다. 원본은 그대로 두고 결과를 새 파일로 저장하는 방식이라 안전합니다.
이런 한 줄짜리 도구의 매력은 설치나 준비 없이 바로 결과가 나온다는 점입니다. 개발 작업에서 자주 쓰는 진법 변환기 같은 웹 유틸리티도 마찬가지 이유로 즐겨찾기에 넣어두면 자잘한 변환 작업 시간을 크게 아낄 수 있습니다.
상황별 방법 비교와 선택 기준
| 방법 | 필요 도구 | 장점 | 추천 상황 |
|---|---|---|---|
| 엑셀 중복 제거 | 엑셀 | 여러 열 기준 가능, 결과 요약 표시 | 표 형태 데이터, 사무 작업 |
| UNIQUE 함수 | 구글 스프레드시트 | 원본 보존, 실시간 갱신 | 공유 문서, 검토가 필요할 때 |
| Notepad++ | 무료 에디터 | 메뉴 클릭 한 번, 플러그인 불필요 | 윈도우에서 텍스트 파일 정리 |
| VS Code | 무료 에디터 | 정렬과 조합 가능 | 코드, 설정 파일 작업 중 |
| sort -u | 터미널 | 수십만 줄도 수 초 내 처리 | 대용량 파일, 반복 자동화 |
| PowerShell | 윈도우 기본 | 설치 불필요, 새 파일로 저장 | 윈도우에서 대용량 처리 |
중복 제거의 성패는 도구가 아니라 '기준'에서 갈립니다. 대소문자를 같은 값으로 볼 것인지, 앞뒤 공백은 무시할 것인지 먼저 정해야 합니다. 엑셀은 대소문자를 구분하지 않고 uniq는 구분하기 때문에, 같은 파일이라도 도구에 따라 결과 개수가 달라질 수 있습니다.
실제로 abc와 ABC가 섞인 목록을 엑셀과 uniq로 각각 처리하면 남는 줄 수가 다릅니다. 결과가 예상과 다르다면 가장 먼저 이 기준 차이를 의심해보세요.
지금 바로 적용하는 실전 팁
마지막으로 실무에서 바로 쓸 수 있는 순서를 정리합니다.
- 1단계: 원본 파일을 복사해서 백업본을 만듭니다. 어떤 도구를 쓰든 이것이 먼저입니다.
- 2단계: 데이터 형태를 확인합니다. 표라면 엑셀이나 스프레드시트, 순수 텍스트라면 에디터나 명령어를 선택합니다.
- 3단계: 처리 전후의 줄 수를 비교해서 몇 개가 제거됐는지 기록해둡니다. 나중에 검증할 때 유용합니다.
덧붙여, 계정 목록이나 아이디 명단을 정리하다 보면 여러 사이트에서 같은 비밀번호를 반복 사용해온 사실을 발견하는 경우가 많습니다. 중복 데이터만큼이나 중복 비밀번호도 위험하니, 이 기회에 비밀번호 생성기로 사이트마다 다른 비밀번호를 만들어 교체해두는 것을 권합니다.
오늘 정리 중인 목록이 있다면 지금 바로 백업본을 만들고, 위 표에서 내 상황에 맞는 방법 하나를 골라 실행해보세요. 눈으로 찾던 30분이 클릭 세 번으로 줄어드는 경험을 하게 될 것입니다.
