빅데이터 구현 기술 #3 - 적재 기술

 

 

 

수집한 데이터를 분산 스토리지에 영구 또는 임시로 적재하는 기술

 

[분산 저장소]

1. HDFS (Hadoop Distributed File System) : 대용량 파일 전체를 영구적으로 저장

2. NoSQL (HBase, MongoDB, Casandra 등) : 대규모 메시징 데이터 전체를 영구 저장

3. 인메모리 캐시 (Redis, Memcached, Infinispan 등) : 데이터의 일부만 임시 저장

4. Message Oriented Middleware (Kafka, RabbitMQ, ActiveMQ 등) : 대규모 메시징 데이터 전체를 버퍼링 처리

 

수집된 데이터의 성격에 따라 적재 저장소를 다르게 함.

- 대용량 파일의 적재는 주로 HDFS 사용

- 데이터 성격에 따라 적절하게 저장소를 선택

 

 

2021.02.09 - [IT 정보/IT 기술] - 빅데이터 구현 기술 #1

2021.02.09 - [IT 정보/IT 기술] - 빅데이터 구현 기술 #2 - 수집 기술

2021.02.09 - [IT 정보/IT 기술] - 빅데이터 구현 기술 #3 - 적재 기술

2021.02.09 - [IT 정보/IT 기술] - 빅데이터 구현 기술 #4 - 분석/응용 기술