Dalyoung Lee's Blog

Q : 파이썬 코드를 docker 이미지로 만들어서 AWS EKS에 배포하고 싶어. Windows 11 을 사용하고 있고, 도커 설치하는 방법부터 차례대로 알려줘 좋아요! Windows 11에서 Docker를 설치하고 AWS EKS에 Python 애플리케이션을 배포하는 과정을 차근차근 설명해 드릴게요. 🚀1. Windows 11에 Docker 설치Docker를 사용하려면 먼저 Docker Desktop을 설치해야 합니다. 다음 단계를 따라 주세요.Docker 공식 사이트에 방문하여 Docker Desktop for Windows를 다운로드합니다.다운로드한 설치 파일(Docker Desktop Installer.exe)을 실행합니다.설치 과정에서 WSL 2(Windows Subsystem for Lin..

1. systemctl 명령어를 통해 현재 설정 모드 확인 systemctl get-default [결과] 2. multi-user.target 으로 변경 systemctl set-default multi-user.target [결과] 3. 변경된 것 확인 systemctl get-default [결과] 재부팅 하면 콘솔 모드로 부팅 됨. 이전 버전에서는 /etc/inittab 파일에서 설정을 바꾸는걸로 변경했었으나 7 이상 버전에서는 위 방법으로 변경 할 수 있음.

[수집 레이어] - 로그 수집을 위한 플럼 사용 - 실시간 로그 이벤트를 처리하기 위한 스톰 사용 - 카프카 : 플럼과 스톰 사이에서 데이터의 안정적인 수집을 위해 버퍼링 및 트랜잭션 처리 담당 [적재 레이어] - 적재 대상은 하둡, HBase, 레디스 - 대용량 로그 파일 : 플럼->하둡 - 실시간 데이터 : 플럼->카프카->스톰->HBase/레디스 [처리/탐색 레이어] - 하둡에 적재된 데이터는 하이브를 이용해 정제/변형/통합/분리/탐색 등의 작업 수행 - 데이터를 정형화된 구조로 정규화 하여 데이터 마트 생성 - 가공/분석된 데이터를 외부로 제공하기 위해 스쿱 사용 - 우지의 워크플로를 통새 프로세스 구성 및 자동화 [분석/응용 레이어] - 임팔라/제플린을 통해 데이터 분석 - 머하웃과 스파트ML로..

수집, 적재, 처리 및 탐색, 분석 및 응용 영역으로 총 4개의 레이어로 분리 하둡을 중심으로 앞쪽을 수집/적재(전처리) 영역, 뒤쪽을 탐색/분석(후처리) 영역으로 구분 2021.02.10 - [IT 정보/IT 기술] - 빅데이터 기본 - 6V 2021.02.14 - [IT 정보/IT 기술] - 빅데이터 소프트웨어 아키텍처 - 레이어 별

- 크기(Volume) : 방대한 양의 데이터(테라, 페타바이트 이상) - 다양성(Variety) : 정형(DBMS, 전문 등) 및 비정형(동영상, 사진, 음성, 텍스트, SNS 등) - 속도(Velocity) : 실시간 생성, 빠른 속도로 데이터를 처리/분석 - 진실성(Veracity) : 데이터의 품질과 신뢰성 확보 - 시각화(Visualization) : 복잡한 대규모 데이터를 시각화를 통해 표현 - 가치(Value) : 빅데이터 분석을 통해 비즈니스에 궁극적인 가치를 창출 2021.02.10 - [IT 정보/IT 기술] - 빅데이터 기본 - 6V 2021.02.13 - [IT 정보/IT 기술] - 빅데이터 소프트웨어 아키텍처 2021.02.14 - [IT 정보/IT 기술] - 빅데이터 소프트웨어 ..

분석 기술 : 대규모 데이터로부터 새로운 패턴을 찾고, 패턴을 해석하여 Insight를 얻기 위한 기술 - 통계, 데이터 마이닝, 텍스트 마이닝, 소셜 미디어 분석, 머신러닝(딥러닝) 등 다양하게 분류 과거의 데이터로부터 문제의 원인을 찾아 현재를 개선하고, 미래를 예측하는 분석 모델을 만듦 분석/응용 기술 : 임팔라(Impala), 제플린(Zeppelin), 머하웃(Mahout), R, 텐서플로(Tensorflow) - 스쿱(Sqoop)을 응용해 외부 RBDMS에 데이터를 제공 2021.02.09 - [IT 정보/IT 기술] - 빅데이터 구현 기술 #1 2021.02.09 - [IT 정보/IT 기술] - 빅데이터 구현 기술 #2 - 수집 기술 2021.02.09 - [IT 정보/IT 기술] - 빅데이터..

대용량 저장소에 적재된 데이터를 분석에 활용하기 위해 데이터를 정형화 및 정규화하는 기술 - 데이터를 이해하는 것이 선행되어야 함 - 적재된 빅데이터를 지속적으로 관찰하는 탐색적 분석과 탐색 결과를 정기적으로 구조화하는 작업 수행 - 탐색적 분석 : SQL on Hadoop 이 주로 사용되고, 대화형 Ad-Hoc 쿼리로 데이터를 탐색, 선택, 변환, 통합, 축소 등의 작업을 수행함 - 내외부의 정형/비정형 데이터를 결함해 새로운 데이터셋을 생성함 - 워크플로(Workflow)로 프로세스화하여 정기적으로 발생하는 처리/탐색 과정을 자동화 - 워크플로 작업 후 데이터셋은 특화된 데이터 저장소(Data Warehouse, Mart 등)로 옮김 - 처리/탐색 기술 : Hue, Hive, Spark SQL - 워..

수집한 데이터를 분산 스토리지에 영구 또는 임시로 적재하는 기술 [분산 저장소] 1. HDFS (Hadoop Distributed File System) : 대용량 파일 전체를 영구적으로 저장 2. NoSQL (HBase, MongoDB, Casandra 등) : 대규모 메시징 데이터 전체를 영구 저장 3. 인메모리 캐시 (Redis, Memcached, Infinispan 등) : 데이터의 일부만 임시 저장 4. Message Oriented Middleware (Kafka, RabbitMQ, ActiveMQ 등) : 대규모 메시징 데이터 전체를 버퍼링 처리 수집된 데이터의 성격에 따라 적재 저장소를 다르게 함. - 대용량 파일의 적재는 주로 HDFS 사용 - 데이터 성격에 따라 적절하게 저장소를 선택..

다양한 시스템에서 원천 데이터를 효과적으로 수집하는 기술 기존의 수집 시스템(EAI, ETL, ESB 등) 에서 다룬 데이터보다 더 크고 다양한 형식의 데이터를 빠르게 처리해야 함 - 선형 확장이 가능하고 분산 처리가 가능한 형태로 구성 다양한 인터페이스 유형(데이터베이스, 파일, API, 메시지 등)과 연결되어 정형 또는 비정형 데이터를 대용량으로 수집 - 외부 데이터 : 크롤링, NLP 등 비정형 처리를 위한 기술 적용 - 실시간 스트림 수집 : CEP(Complex Event Processing), ESP(Event Stream Processing) 기술 적용, 수집 중인 데이터에서 이벤트를 감지해 빠른 후속 처리 수행 - 수집 관련 S/W : Flume, Fluented, Scribe, Logst..

빅데이터 아키텍처는 역할별로 6개의 레이어로 나눌 수 있다. 수집->적재->처리 및 탐색->분석 및 운영 순서로 진행되는데, 3번째(처리 및 탐색)와 4번째(분석 및 응용) 단계는 필요 시 반복 진행된다. 2021.02.09 - [IT 정보/IT 기술] - 빅데이터 구현 기술 #2 - 수집 기술 2021.02.09 - [IT 정보/IT 기술] - 빅데이터 구현 기술 #3 - 적재 기술 2021.02.09 - [IT 정보/IT 기술] - 빅데이터 구현 기술 #3 - 처리/탐색 기술 2021.02.09 - [IT 정보/IT 기술] - 빅데이터 구현 기술 #4 - 분석/응용 기술