728x90
대용량 저장소에 적재된 데이터를 분석에 활용하기 위해 데이터를 정형화 및 정규화하는 기술
- 데이터를 이해하는 것이 선행되어야 함
- 적재된 빅데이터를 지속적으로 관찰하는 탐색적 분석과 탐색 결과를 정기적으로 구조화하는 작업 수행
- 탐색적 분석 : SQL on Hadoop 이 주로 사용되고, 대화형 Ad-Hoc 쿼리로 데이터를 탐색, 선택, 변환, 통합, 축소 등의 작업을 수행함
- 내외부의 정형/비정형 데이터를 결함해 새로운 데이터셋을 생성함
- 워크플로(Workflow)로 프로세스화하여 정기적으로 발생하는 처리/탐색 과정을 자동화
- 워크플로 작업 후 데이터셋은 특화된 데이터 저장소(Data Warehouse, Mart 등)로 옮김
- 처리/탐색 기술 : Hue, Hive, Spark SQL
- 워크플로 작업 : 우지(Oozie)
2021.02.09 - [IT 정보/IT 기술] - 빅데이터 구현 기술 #1
2021.02.09 - [IT 정보/IT 기술] - 빅데이터 구현 기술 #2 - 수집 기술
728x90
반응형
'IT 정보 > IT 기술' 카테고리의 다른 글
| 빅데이터 기본 - 6V (0) | 2021.02.10 |
|---|---|
| 빅데이터 구현 기술 #4 - 분석/응용 기술 (0) | 2021.02.09 |
| 빅데이터 구현 기술 #3 - 적재 기술 (0) | 2021.02.09 |
| 빅데이터 구현 기술 #2 - 수집 기술 (0) | 2021.02.09 |
| 빅데이터 구현 기술 #1 (0) | 2021.02.09 |