반응형 공부108 [공부] Nginx 의 구성요소 및 Config NGINX는 고성능 웹 서버로 다양한 구성 요소와 설정 파일(nginx.conf)을 통해 구성됩니다. 주요 구성 요소와 설정 항목을 간략히 설명드리겠습니다.1. 구성 요소Master Process: NGINX 서버의 시작과 종료, 워커 프로세스 관리 등 주요 작업을 담당하는 프로세스입니다.Worker Process: 클라이언트 요청을 실제로 처리하는 프로세스로, 워커 프로세스 수는 CPU 코어 수에 따라 설정됩니다. 비동기 방식으로 다수의 요청을 효율적으로 처리합니다.Modules: 기능별 모듈로, 기본적으로 NGINX는 정적 콘텐츠 제공, 리버스 프록시, 로드 밸런싱 등의 기능을 위한 모듈이 내장되어 있습니다. 동적 모듈을 추가할 수 있지만 Apache에 비해 모듈 추가가 제한적입니다.2. NGINX .. 2024. 11. 14. [공부] Nginx 와 Apache 차이점 NGINX와 Apache는 모두 웹 서버 소프트웨어로, 웹 페이지를 사용자에게 전달하고 웹 애플리케이션을 호스팅하는 데 사용됩니다. 그러나 두 서버는 구조와 성능에서 차이가 있습니다. 주요 차이점은 다음과 같습니다.1. 아키텍처Apache: Apache는 프로세스 기반 아키텍처를 사용하여 각 요청에 대해 별도의 프로세스나 스레드를 생성합니다. 다양한 모듈을 통해 동작 방식을 조정할 수 있지만, 많은 동시 요청이 있을 경우 메모리 사용이 증가할 수 있습니다.NGINX: NGINX는 이벤트 기반 아키텍처로 설계되어, 단일 스레드 내에서 다수의 요청을 비동기적으로 처리합니다. 덕분에 메모리 사용량이 적고, 특히 고용량 트래픽 상황에서 더 많은 요청을 효율적으로 처리할 수 있습니다.2. 성능 및 동시 처리 능력.. 2024. 11. 14. [Hadoop] Hadoop 공부 - 1. 기본개념 1. 기초 과정1-1. Hadoop 기본 개념 이해Hadoop이란?분산 저장과 분산 처리를 위한 오픈 소스 프레임워크두 가지 주요 구성 요소: HDFS(분산 파일 시스템)와 MapReduce(분산 처리 프레임워크)Hadoop의 특징확장성: 노드 추가로 쉽게 확장 가능내결함성: 데이터가 여러 노드에 복제되어 장애 발생 시에도 데이터 손실 방지저비용: 저렴한 하드웨어로 빅데이터 처리 가능Hadoop 에코시스템HDFS: 대용량 데이터를 여러 노드에 분산 저장MapReduce: 데이터를 분산 처리하는 프로그래밍 모델YARN: 자원 관리 시스템으로 여러 애플리케이션을 동시에 실행 가능Hive, Pig: SQL 같은 언어로 빅데이터 쿼리 및 분석HBase: 실시간 빅데이터 처리와 NoSQL 데이터베이스1-2. Ha.. 2024. 9. 20. [Python] 대용량 excel, csv 파일 가공 상황.보안 업체에서 받은 로그 파일 크기가 2GB 이상으로메모리 문제로 파일이 열리지 않음. 1차 가공. 최소 행을 출력 하여 데이터를 확인. *참고 : encoding 선언해도 UTF-8 error 발생 시 프로젝트 전역적으로 UTF-8 encoding을 해야함.import pandas as pdimport osimport chardet# 큰 CSV 파일을 청크 단위로 읽어옵니다.chunksize = 10**6 # 1백만 행 단위로 읽어옵니다.csv_file = 'C:\\cv\\csv5\\[파일이름].csv'# 파일의 인코딩을 자동으로 감지합니다.with open(csv_file, 'rb') as f: result = chardet.detect(f.read(10000))encoding = re.. 2024. 8. 9. 이전 1 2 3 4 ··· 27 다음 반응형
