반응형 공부/코딩1 [Python] 대용량 excel, csv 파일 가공 상황.보안 업체에서 받은 로그 파일 크기가 2GB 이상으로메모리 문제로 파일이 열리지 않음. 1차 가공. 최소 행을 출력 하여 데이터를 확인. *참고 : encoding 선언해도 UTF-8 error 발생 시 프로젝트 전역적으로 UTF-8 encoding을 해야함.import pandas as pdimport osimport chardet# 큰 CSV 파일을 청크 단위로 읽어옵니다.chunksize = 10**6 # 1백만 행 단위로 읽어옵니다.csv_file = 'C:\\cv\\csv5\\[파일이름].csv'# 파일의 인코딩을 자동으로 감지합니다.with open(csv_file, 'rb') as f: result = chardet.detect(f.read(10000))encoding = re.. 2024. 8. 9. 이전 1 다음 반응형
