빅데이터 구현 기술 #2 - 수집 기술

 

 

다양한 시스템에서 원천 데이터를 효과적으로 수집하는 기술

기존의 수집 시스템(EAI, ETL, ESB 등) 에서 다룬 데이터보다 더 크고 다양한 형식의 데이터를 빠르게 처리해야 함

- 선형 확장이 가능하고 분산 처리가 가능한 형태로 구성

 

다양한 인터페이스 유형(데이터베이스, 파일, API, 메시지 등)과 연결되어 정형 또는 비정형 데이터를 대용량으로 수집

- 외부 데이터 : 크롤링, NLP 등 비정형 처리를 위한 기술 적용

- 실시간 스트림 수집 : CEP(Complex Event Processing), ESP(Event Stream Processing) 기술 적용, 수집 중인 데이터에서 이벤트를 감지해 빠른 후속 처리 수행

 

- 수집 관련 S/W : Flume, Fluented, Scribe, Logstash, Chukwa, NiFi, Embulk 등

2021.02.09 - [IT 정보/IT 기술] - 빅데이터 구현 기술 #1

2021.02.09 - [IT 정보/IT 기술] - 빅데이터 구현 기술 #3 - 적재 기술

2021.02.09 - [IT 정보/IT 기술] - 빅데이터 구현 기술 #3 - 처리/탐색 기술

2021.02.09 - [IT 정보/IT 기술] - 빅데이터 구현 기술 #4 - 분석/응용 기술