Dalyoung Lee's Blog

[수집 레이어] - 로그 수집을 위한 플럼 사용 - 실시간 로그 이벤트를 처리하기 위한 스톰 사용 - 카프카 : 플럼과 스톰 사이에서 데이터의 안정적인 수집을 위해 버퍼링 및 트랜잭션 처리 담당 [적재 레이어] - 적재 대상은 하둡, HBase, 레디스 - 대용량 로그 파일 : 플럼->하둡 - 실시간 데이터 : 플럼->카프카->스톰->HBase/레디스 [처리/탐색 레이어] - 하둡에 적재된 데이터는 하이브를 이용해 정제/변형/통합/분리/탐색 등의 작업 수행 - 데이터를 정형화된 구조로 정규화 하여 데이터 마트 생성 - 가공/분석된 데이터를 외부로 제공하기 위해 스쿱 사용 - 우지의 워크플로를 통새 프로세스 구성 및 자동화 [분석/응용 레이어] - 임팔라/제플린을 통해 데이터 분석 - 머하웃과 스파트ML로..

수집, 적재, 처리 및 탐색, 분석 및 응용 영역으로 총 4개의 레이어로 분리 하둡을 중심으로 앞쪽을 수집/적재(전처리) 영역, 뒤쪽을 탐색/분석(후처리) 영역으로 구분 2021.02.10 - [IT 정보/IT 기술] - 빅데이터 기본 - 6V 2021.02.14 - [IT 정보/IT 기술] - 빅데이터 소프트웨어 아키텍처 - 레이어 별

- 크기(Volume) : 방대한 양의 데이터(테라, 페타바이트 이상) - 다양성(Variety) : 정형(DBMS, 전문 등) 및 비정형(동영상, 사진, 음성, 텍스트, SNS 등) - 속도(Velocity) : 실시간 생성, 빠른 속도로 데이터를 처리/분석 - 진실성(Veracity) : 데이터의 품질과 신뢰성 확보 - 시각화(Visualization) : 복잡한 대규모 데이터를 시각화를 통해 표현 - 가치(Value) : 빅데이터 분석을 통해 비즈니스에 궁극적인 가치를 창출 2021.02.10 - [IT 정보/IT 기술] - 빅데이터 기본 - 6V 2021.02.13 - [IT 정보/IT 기술] - 빅데이터 소프트웨어 아키텍처 2021.02.14 - [IT 정보/IT 기술] - 빅데이터 소프트웨어 ..

분석 기술 : 대규모 데이터로부터 새로운 패턴을 찾고, 패턴을 해석하여 Insight를 얻기 위한 기술 - 통계, 데이터 마이닝, 텍스트 마이닝, 소셜 미디어 분석, 머신러닝(딥러닝) 등 다양하게 분류 과거의 데이터로부터 문제의 원인을 찾아 현재를 개선하고, 미래를 예측하는 분석 모델을 만듦 분석/응용 기술 : 임팔라(Impala), 제플린(Zeppelin), 머하웃(Mahout), R, 텐서플로(Tensorflow) - 스쿱(Sqoop)을 응용해 외부 RBDMS에 데이터를 제공 2021.02.09 - [IT 정보/IT 기술] - 빅데이터 구현 기술 #1 2021.02.09 - [IT 정보/IT 기술] - 빅데이터 구현 기술 #2 - 수집 기술 2021.02.09 - [IT 정보/IT 기술] - 빅데이터..

대용량 저장소에 적재된 데이터를 분석에 활용하기 위해 데이터를 정형화 및 정규화하는 기술 - 데이터를 이해하는 것이 선행되어야 함 - 적재된 빅데이터를 지속적으로 관찰하는 탐색적 분석과 탐색 결과를 정기적으로 구조화하는 작업 수행 - 탐색적 분석 : SQL on Hadoop 이 주로 사용되고, 대화형 Ad-Hoc 쿼리로 데이터를 탐색, 선택, 변환, 통합, 축소 등의 작업을 수행함 - 내외부의 정형/비정형 데이터를 결함해 새로운 데이터셋을 생성함 - 워크플로(Workflow)로 프로세스화하여 정기적으로 발생하는 처리/탐색 과정을 자동화 - 워크플로 작업 후 데이터셋은 특화된 데이터 저장소(Data Warehouse, Mart 등)로 옮김 - 처리/탐색 기술 : Hue, Hive, Spark SQL - 워..

수집한 데이터를 분산 스토리지에 영구 또는 임시로 적재하는 기술 [분산 저장소] 1. HDFS (Hadoop Distributed File System) : 대용량 파일 전체를 영구적으로 저장 2. NoSQL (HBase, MongoDB, Casandra 등) : 대규모 메시징 데이터 전체를 영구 저장 3. 인메모리 캐시 (Redis, Memcached, Infinispan 등) : 데이터의 일부만 임시 저장 4. Message Oriented Middleware (Kafka, RabbitMQ, ActiveMQ 등) : 대규모 메시징 데이터 전체를 버퍼링 처리 수집된 데이터의 성격에 따라 적재 저장소를 다르게 함. - 대용량 파일의 적재는 주로 HDFS 사용 - 데이터 성격에 따라 적절하게 저장소를 선택..

다양한 시스템에서 원천 데이터를 효과적으로 수집하는 기술 기존의 수집 시스템(EAI, ETL, ESB 등) 에서 다룬 데이터보다 더 크고 다양한 형식의 데이터를 빠르게 처리해야 함 - 선형 확장이 가능하고 분산 처리가 가능한 형태로 구성 다양한 인터페이스 유형(데이터베이스, 파일, API, 메시지 등)과 연결되어 정형 또는 비정형 데이터를 대용량으로 수집 - 외부 데이터 : 크롤링, NLP 등 비정형 처리를 위한 기술 적용 - 실시간 스트림 수집 : CEP(Complex Event Processing), ESP(Event Stream Processing) 기술 적용, 수집 중인 데이터에서 이벤트를 감지해 빠른 후속 처리 수행 - 수집 관련 S/W : Flume, Fluented, Scribe, Logst..

빅데이터 아키텍처는 역할별로 6개의 레이어로 나눌 수 있다. 수집->적재->처리 및 탐색->분석 및 운영 순서로 진행되는데, 3번째(처리 및 탐색)와 4번째(분석 및 응용) 단계는 필요 시 반복 진행된다. 2021.02.09 - [IT 정보/IT 기술] - 빅데이터 구현 기술 #2 - 수집 기술 2021.02.09 - [IT 정보/IT 기술] - 빅데이터 구현 기술 #3 - 적재 기술 2021.02.09 - [IT 정보/IT 기술] - 빅데이터 구현 기술 #3 - 처리/탐색 기술 2021.02.09 - [IT 정보/IT 기술] - 빅데이터 구현 기술 #4 - 분석/응용 기술