반응형 공부109 [Python] 대용량 excel, csv 파일 가공 상황.보안 업체에서 받은 로그 파일 크기가 2GB 이상으로메모리 문제로 파일이 열리지 않음. 1차 가공. 최소 행을 출력 하여 데이터를 확인. *참고 : encoding 선언해도 UTF-8 error 발생 시 프로젝트 전역적으로 UTF-8 encoding을 해야함.import pandas as pdimport osimport chardet# 큰 CSV 파일을 청크 단위로 읽어옵니다.chunksize = 10**6 # 1백만 행 단위로 읽어옵니다.csv_file = 'C:\\cv\\csv5\\[파일이름].csv'# 파일의 인코딩을 자동으로 감지합니다.with open(csv_file, 'rb') as f: result = chardet.detect(f.read(10000))encoding = re.. 2024. 8. 9. [AWS] IAM 사용자 개요 및 실습 IAM - 사용자단일 개인 또는 애플리케이션에 대한 특정 권한을 가지고 있는 AWS 계정 내 자격 증명한 사람과만 연관 (한 명의 실제 사용자)암호 또는 액세스 키와 같은 장기 자격 증명을 통해 액세스 실습. 2024. 7. 8. [AWS] Identity and Access Management (IAM) IAM 개요AWS 계정 및 권한 관리 서비스AWS 서비스와 리소스에 대한 액세스 관리사용자, 그룹, 역할, 정책으로 구성리전에 속하는 서비스가 아닌 글로벌 서비스계정 보안 강화를 위한 권장 사항*루트 계정(AWS회원가입시 만들어지는 계정)은 최초 사용자 계정 생성 이후 가능하면 사용하지 말 것*사용자 계정(IAM 계정)으로 서비스를 사용하고 사용자는 필요한 최소한의 권한만 부여(최소권한의 원칙)*사용자의 암호에 대한 복잡성 요구 사항과 의무 교체 주기를 정의 IAM 자격증명 - 사용자, 그룹, 역할, 정책 2024. 7. 7. [AWS] 글로벌 인프라의 이해 리전(Region)데이터 센터를 클러스터링 하는 물리적 위치(서울리전, 홍콩리전 등)*데이터 센터가 한개이상 모인 것이 가용영역이라고 한다.전세계 주요국가에 위치1개 AWS 리전 = 2개이상의 가용영역으로 구성대부분의 AWS 서비스는 리전을 선택 하여 시작(예, EC2 서비스)리전을 선택하지 않는 글로벌 서비스도 있음(예, IAM 서비스)재해복구(DR) 설계 = 2개이상의 리전에 시스템을 배치가용 영역(Availability Zone - AZ)가용영역 = 하나 이상의 개별 데이터 센터1개의 리전은 2개이상의 가용영역으로 구성(보통 3~4개의 가용영역으로 구성)고가용성 설계 = 다중 AZ (Multi-AZ), 2개이상의 가용영역에 시스템 배치 엣지 로케이션(Edge Location)엣지 로케이션에 콘텐츠(.. 2024. 7. 7. 이전 1 2 3 4 5 ··· 28 다음 반응형
