UnicodeDecodeError: 'utf-8' codec can't decode byte 가 뜨는 한글 CSV 읽는 법How to read a Korean CSV that raises UnicodeDecodeError: 'utf-8' codec can't decode byte
한글 CSV 를 읽다 UnicodeDecodeError 를 만난 독자가 파일의 인코딩에 맞는 읽기 방법을 고르고, 오류만 없애고 글자를 망가뜨리는 옵션을 피하게 돕는다.
CP949 파일은 encoding='cp949' 로 읽혔다. UTF-8 한글 낱말 20개 중 3개는 cp949 로 읽어도 오류 없이 깨진 글자가 나왔으므로 읽는 순서는 utf-8-sig 먼저, 실패하면 cp949 다. latin-1 과 errors='replace' 는 오류를 없애지만 값이 깨진다.
pd.read_csv(경로, encoding='utf-8-sig') 를 먼저 시도하고 UnicodeDecodeError 가 나면 encoding='cp949' 로 바꿔 읽은 뒤, 첫 행의 한글이 제대로 보이는지 확인하라.
목차
한 줄 요약: 한글 CSV 의
UnicodeDecodeError는utf-8-sig를 먼저 시도하고 실패하면encoding='cp949'로 읽는다.
바로 할 것: 아래 함수를 붙여 넣고 pd.read_csv 대신 쓴다. 첫 행의 한글이 제대로 나오는지 print 로 확인한다.
import pandas as pd
def read_ko(path):
try:
return pd.read_csv(path, encoding="utf-8-sig")
except UnicodeDecodeError:
return pd.read_csv(path, encoding="cp949")UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc0 in position 0: invalid start byte위 오류의 0xc0 자리 숫자는 파일의 첫 글자에 따라 다르다. 시험한 파일(이름,점수 로 시작)은 0xc0 이었다. 환경은 macOS 26.6.2, Python 3.9.6, pandas 2.3.3 이다.
용어 먼저. 인코딩은 글자를 바이트로 적는 약속이다. CP949 는 한글을 담는 약속의 하나(파이썬 문서 표에서 이름 cp949, 별칭 ms949·uhc)이고, UTF-8 은 pd.read_csv 가 기본으로 쓰는 약속이다. 파일은 CP949 로 적혀 있는데 파이썬이 UTF-8 로 읽으니 바이트를 해석하지 못해 이 오류가 난다. BOM 은 UTF-8 파일 맨 앞에 붙기도 하는 눈에 안 보이는 3바이트 표지다.
CP949 파일은 cp949 로 읽힌다
이름,점수 와 한글 두 줄을 CP949 로 저장한 파일을 기본값으로 읽으면 pd.read_csv 와 open().read() 모두 위 오류가 났다. encoding="cp949" 를 주면 [['김가나', 90], ['박다라', 85]] 로 읽혔다. euc-kr 로도 읽혔다. 파이썬 문서 표에서 둘은 별도 코덱이고 둘 다 한국어용이다(cp949 의 별칭에 ms949·uhc 가 있다).
인프런 질문 하나는 cp949 로도 안 읽혔다. encoding="cp949" 를 줬는데도 'cp949' codec can't decode byte 0x94 가 났다. 답변자는 엑셀 등으로 열거나 다운로드해 처리하는 과정에서 인코딩이 바뀌었을 것 같다고 했고, 질문자는 파일을 지우고 다시 내려받아 해결했다고 적었다. cp949 를 줬는데도 안 읽히면 이 질문처럼 파일이 다른 인코딩으로 다시 저장됐을 수 있으니, 원본을 다시 내려받아 읽어 본다. 그래도 안 되면 파일을 만든 쪽에 인코딩을 물어본다.
반대로 UTF-8 파일에 cp949 를 주면
UTF-8 로 저장한 같은 표를 encoding="cp949" 로 읽으면 'cp949' codec can't decode byte 0xec in position 0: illegal multibyte sequence 가 났다. 이 경우는 오류가 나서 잘못된 줄 안다. 문제는 오류가 안 날 때다. UTF-8 한글 낱말 20개(이름·점수·서울·주문번호·상품명 등)를 cp949 로 풀어 보니 17개는 오류가 났고 3개는 오류 없이 한자 같은 깨진 글자가 나왔다.
| UTF-8 낱말 | cp949 로 읽은 결과 |
|---|---|
| 주문번호 | 二쇰Ц踰덊샇 |
| 고객 | 怨좉컼 |
| 배송 | 諛곗넚 |
위 세 낱말만 든 짧은 표는 오류 없이 지나간다. 그래서 인코딩을 모를 때는 utf-8-sig 를 먼저 시도하고, 실패하면 cp949 로 간다. 순서를 거꾸로 하면 이 표의 경우가 오류 없이 지나간다. 위 함수의 순서가 이 때문이다. 위 함수로 CP949·UTF-8·BOM 있는 UTF-8·희귀 글자 파일 네 개를 읽어 모두 한글이 맞게 나왔다.
반대 방향의 위험은 작다. CP949 로 적은 한글 11,172자 중 345자(약 3%)는 두 바이트가 우연히 올바른 UTF-8 이라 utf-8 로 오류 없이 읽히고 징 은 ¡ 로 나왔다. 두 글자 조합 2,209개 중에는 36개(1.6%)가 그랬고 시험한 낱말 8개(이름·점수·주문번호 등)는 모두 오류였으며, 그래서 파일이 어느 쪽인지 미리 알아내지 않아도 위 함수가 순서대로 시도한다. 그래도 읽은 뒤 첫 행을 눈으로 보는 확인은 남는다.
BOM 은 pandas 는 지우고 utf-8 로 연 csv 모듈은 안 지운다
맨 앞에 BOM 이 붙은 UTF-8 파일을 시험했다. pd.read_csv 는 기본 인코딩인데도 열 이름이 ['이름', '점수'] 로 맞게 나왔다. 반면 csv.DictReader(open(경로, encoding="utf-8")) 의 첫 키는 '\ufeff이름' 이라 row["이름"] 이 KeyError 로 실패한다. encoding="utf-8-sig" 로 열면 ['이름', '점수'] 가 된다. 파이썬 문서도 utf-8-sig 는 디코딩할 때 맨 앞 3바이트가 BOM 이면 건너뛴다고 설명한다. BOM 이 없는 파일을 utf-8-sig 로 읽어도 열 이름이 같게 나와서, 위 함수의 첫 시도는 BOM 유무와 상관없이 써도 된다.
csv 모듈만 쓸 때도 같은 순서로 시도하면 된다. 위 네 파일(CP949·UTF-8·BOM 있는 UTF-8·희귀 글자 CP949)을 이 함수로 읽어 모두 한글이 맞게 나왔다.
import csv
def read_rows(path):
for enc in ("utf-8-sig", "cp949"):
try:
with open(path, newline="", encoding=enc) as f:
return list(csv.DictReader(f))
except UnicodeDecodeError:
continue
raise ValueError("utf-8-sig 와 cp949 둘 다 실패")오류만 없애는 옵션은 값을 망가뜨린다
CP949 파일에 아래를 시험했다. 오류는 모두 사라졌지만 값은 못 쓴다.
| 옵션 | 읽힌 첫 행 |
|---|---|
encoding="latin-1" |
['±è°¡³ª', 90] |
encoding_errors="replace" |
['�谡��', 90] (열 이름도 �̸� 로 깨져 df["이름"] 으로는 찾을 수 없다) |
encoding_errors="ignore" |
['谡', 90] |
latin-1 은 어떤 바이트도 글자로 읽어서 절대 오류가 나지 않는다. 오류가 없다는 것이 맞게 읽었다는 뜻은 아니다. 읽은 뒤에는 첫 행의 한글을 눈으로 한 번 본다.
euc-kr 은 희귀 글자에서 막힌다
똠·뷁 같은 글자가 든 CP949 파일을 encoding="euc-kr" 로 읽으면 'euc_kr' codec can't decode byte 0x8c in position 10: illegal multibyte sequence 가 났고 cp949 로는 읽혔다. '똠'.encode("euc-kr") 도 b'\xa4\xd4\xa4\xa8\xa4\xc7\xa4\xb1' 로 채움 문자 하나와 자모 셋으로 풀어 쓰여 한 글자로 저장되지 않았고, cp949 는 b'\x8cc' 두 바이트였다. 그래서 한글 CSV 에는 euc-kr 보다 cp949 를 쓴다.
쓸 때도 같은 선택이 있다
BOM 이 붙은 UTF-8 로 쓰려면 df.to_csv(경로, index=False, encoding="utf-8-sig") 를 쓴다. 파일 맨 앞에 3바이트(ef bb bf)가 붙었다(encoding="utf-8" 은 ec 9d b4 로 바로 글자가 시작했다). 엑셀에서 열 파일이면 한 번 써 보고 엑셀에서 한글이 보이는 쪽(utf-8-sig 를 먼저, 깨지면 cp949)을 고른다. encoding="cp949" 로 쓰면 이모지(😀) 가 든 표에서 UnicodeEncodeError: 'cp949' codec can't encode character '\U0001f600' 로 실패했다. errors="replace" 를 주면 쓰기는 되지만 이모지가 ? 로 바뀐 파일이 나왔다. 읽을 때의 인자 이름은 encoding_errors 이고 쓸 때는 errors 다.
시험 범위와 한계
macOS 26.6.2 arm64, Python 3.9.6, pandas 2.3.3 에서 합성한 작은 파일로 시험했고 시험 전체를 두 번 실행해 출력이 같았다. 실제 엑셀을 열어 저장한 파일, 엑셀이 쓰기 결과 파일을 어떻게 여는지, 윈도에서 만든 파일, 실제 공공데이터 CSV, 큰 파일, UTF-16 처럼 다른 방식으로 저장된 파일, chardet 같은 자동 판별 도구, 다른 pandas·파이썬 버전은 시험하지 않았다. 윈도에서 인코딩 없이 open() 이 기본으로 쓰는 값(이 시험 환경의 기본은 UTF-8)과 엑셀 저장 형식 이름은 시험 환경에서 확인하지 못했다. UTF-8 낱말 20개 표본은 낱말마다 따로 푼 것이고 작아서 “3개” 라는 비율이 다른 낱말에서도 같다는 뜻은 아니며, 글자가 많을수록 반대 방향이 드물어진다는 것은 측정이 아니라 논리 추론이다. 인프런 질문의 원인은 글에서 확정되지 않았고 그 파일의 인코딩도 알 수 없다.
세 줄 요약
- CP949 한글 CSV 의 UnicodeDecodeError 는
encoding="cp949"로 읽으면 풀린다. - 인코딩을 모르면
utf-8-sig를 먼저, 실패할 때만cp949를 쓴다. 거꾸로 하면 UTF-8 낱말 20개를 따로 풀 때 3개가 오류 없이 깨졌다. latin-1·encoding_errors="replace"는 오류만 없애고 값을 망가뜨리니 읽은 뒤 첫 행의 한글을 확인한다.
To help a reader who hit UnicodeDecodeError on a Korean CSV pick the reading method that matches the file's encoding and avoid options that remove the error but corrupt the text.
A CP949 file read fine with encoding='cp949'. Of 20 UTF-8 Korean words, 3 decoded as cp949 without any error and came out garbled, so the reading order is utf-8-sig first and cp949 only if that fails. latin-1 and errors='replace' remove the error but corrupt the values.
Try pd.read_csv(path, encoding='utf-8-sig') first, switch to encoding='cp949' if UnicodeDecodeError appears, and check that the Korean text in the first row looks right.
Contents
One-line summary: A Korean CSV’s
UnicodeDecodeErroris fixed by tryingutf-8-sigfirst and reading withencoding='cp949'if that fails.
Do this now: Paste the function below and use it instead of pd.read_csv. Print the first row to check that the Korean text looks right.
import pandas as pd
def read_ko(path):
try:
return pd.read_csv(path, encoding="utf-8-sig")
except UnicodeDecodeError:
return pd.read_csv(path, encoding="cp949")UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc0 in position 0: invalid start byteThe number after 0x in the error above depends on the first character of the file. The test file (starting with 이름,점수) gave 0xc0. The environment is macOS 26.6.2, Python 3.9.6 and pandas 2.3.3.
Terms first. An encoding is the agreement for writing characters as bytes. CP949 is one of the encodings that can hold Hangul (in the Python documentation table its name is cp949, with aliases ms949 and uhc), and UTF-8 is what pd.read_csv uses by default. The file is written in CP949 but Python reads it as UTF-8, cannot interpret the bytes, and raises this error. A BOM is an invisible 3-byte marker that is sometimes placed at the start of a UTF-8 file.
A CP949 file reads fine with cp949
I saved a header 이름,점수 and two Korean rows in CP949 and read it with the defaults. Both pd.read_csv and open().read() raised the error above. With encoding="cp949" it was read as [['김가나', 90], ['박다라', 85]]. euc-kr also worked. In the Python documentation’s table they are separate codecs and both are listed for Korean (cp949 has the aliases ms949 and uhc).
One Inflearn question could not be read even with cp949. They passed encoding="cp949" and still got 'cp949' codec can't decode byte 0x94. The answerer guessed that the encoding had changed while the file was opened or processed in Excel or similar, and the asker wrote that deleting the file and downloading it again fixed it. If a file will not read even with cp949, it may have been re-saved in another encoding as in that question, so download the original again and read that. If that still fails, ask whoever made the file what encoding it uses.
What happens when a UTF-8 file gets cp949
Reading the same table saved as UTF-8 with encoding="cp949" gave 'cp949' codec can't decode byte 0xec in position 0: illegal multibyte sequence. In that case the error tells you something is wrong. The problem is when no error appears. I decoded 20 UTF-8 Korean words (such as 이름, 점수, 서울, 주문번호, 상품명) as cp949: 17 raised an error, and 3 passed without an error and produced garbled, hanja-like characters.
| UTF-8 word | Result when read as cp949 |
|---|---|
주문번호 |
二쇰Ц踰덊샇 |
고객 |
怨좉컼 |
배송 |
諛곗넚 |
A short table containing only the three words above passes without an error. So when you do not know the encoding, try utf-8-sig first and go to cp949 if it fails. If you reverse the order, the cases in this table slip through without an error. That is why the function above uses this order. I read four files with it (CP949, UTF-8, UTF-8 with a BOM, and CP949 with rare characters) and all came out with the Korean text correct.
The opposite direction carries only a small risk. Of the 11,172 Hangul syllables written in CP949, 345 (about 3%) have two bytes that happen to be valid UTF-8, so they read with utf-8 without an error and 징 came out as ¡. Of 2,209 two-syllable combinations, 36 (1.6%) did so, and all 8 words I tried (이름, 점수, 주문번호 and others) raised an error, so you do not need to work out in advance which kind the file is: the function above tries them in order. Looking at the first row after reading is still the check that remains.
pandas strips the BOM, but a csv module reader opened as utf-8 does not
I tested a UTF-8 file with a BOM at the start. pd.read_csv gave the column names ['이름', '점수'] correctly even with the default encoding. In contrast, the first key of csv.DictReader(open(path, encoding="utf-8")) was '\ufeff이름', so row["이름"] fails with a KeyError. Opening it with encoding="utf-8-sig" gives ['이름', '점수']. The Python documentation also says that on decoding, utf-8-sig skips the first 3 bytes if they are a BOM. Reading a file without a BOM as utf-8-sig gave the same column names, so the first attempt in the function above is fine whether or not the file has a BOM.
You can use the same order with the csv module alone. I read the four files above (CP949, UTF-8, UTF-8 with a BOM, and CP949 with rare characters) with this function and all came out with the Korean text correct.
import csv
def read_rows(path):
for enc in ("utf-8-sig", "cp949"):
try:
with open(path, newline="", encoding=enc) as f:
return list(csv.DictReader(f))
except UnicodeDecodeError:
continue
raise ValueError("utf-8-sig and cp949 both failed")Options that only hide the error corrupt the values
I tried these on a CP949 file. All the errors disappeared, but the values are unusable.
| Option | First row read |
|---|---|
encoding="latin-1" |
['±è°¡³ª', 90] |
encoding_errors="replace" |
['�谡��', 90] (the column name also broke into �̸�, so df["이름"] cannot find it) |
encoding_errors="ignore" |
['谡', 90] |
latin-1 reads any byte as a character, so it never raises an error. No error does not mean it was read correctly. After reading, look at the Korean text in the first row once.
euc-kr gets stuck on rare characters
A CP949 file containing characters such as 똠 and 뷁 read with encoding="euc-kr" raised 'euc_kr' codec can't decode byte 0x8c in position 10: illegal multibyte sequence, while cp949 read it. '똠'.encode("euc-kr") also came out as b'\xa4\xd4\xa4\xa8\xa4\xc7\xa4\xb1', a filler character plus three jamo instead of one character, whereas cp949 gave the two bytes b'\x8cc'. So for Korean CSV files use cp949 rather than euc-kr.
Writing has the same choice
To write UTF-8 with a BOM, use df.to_csv(path, index=False, encoding="utf-8-sig"). Three bytes (ef bb bf) were added at the start of the file (encoding="utf-8" started with ec 9d b4, the character itself). If the file is meant for Excel, try one and pick the one that shows the Korean text correctly in Excel (utf-8-sig first, cp949 if it is garbled). Writing with encoding="cp949" failed on a table containing an emoji (😀) with UnicodeEncodeError: 'cp949' codec can't encode character '\U0001f600'. With errors="replace" the write succeeded but produced a file where the emoji had turned into ?. The argument is named encoding_errors when reading and errors when writing.
Test scope and limits
I tested small synthetic files on macOS 26.6.2 arm64 with Python 3.9.6 and pandas 2.3.3, and ran the whole test twice with identical output. I did not test files actually saved from Excel, how Excel opens the files I wrote, files made on Windows, real public-data CSVs, large files, files saved another way such as UTF-16, auto-detection tools such as chardet, or other pandas and Python versions. I could not confirm in this test environment the default encoding that open() uses on Windows without an encoding argument (the default here is UTF-8), or the names of Excel’s save formats. The sample of 20 UTF-8 words was decoded word by word and is small, so “3” does not mean the same ratio holds for other words, and that the opposite direction gets rarer as characters increase is logical inference, not something I measured. The cause of the Inflearn question is not confirmed in the thread and the encoding of that file is unknown.
Three-line summary
- A
UnicodeDecodeErroron a CP949-style Korean CSV is fixed by reading withencoding="cp949". - If you do not know the encoding, use
utf-8-sigfirst andcp949only on failure. Reversed, 3 of 20 UTF-8 words decoded separately were garbled without an error. latin-1andencoding_errors="replace"only remove the error and corrupt the values, so check the Korean text in the first row after reading.