- 과정목표
- 학습목차
- 수료요건
- 기타사항
교육목표
- 관계형 데이터베이스 기술로 처리하기 힘든 데이터를 하둡(Hadoop)을 통해 효과적으로 처리하는 기술을 습득한다.
교육대상
- - 관련업무 종사자
교육내용
- 빅데이터의 개념을 정의하고 기본적인 속성을 이해한다.- 아파치 하둡의 특징 및 요소기술인 HDFS와 맵리듀스(Mapreduce)의 속성을 이해한다.- 리눅스/자바/하둡을 설치하고 예제를 수행한다.- 하둡의 1과의 주요 차이점인 Zookeeper/YARN에 대해서 알아본다.- 메이븐을 사용한 소스빌드를 진행한다.- 워드카운트의 단어별 빈도순으로 2차 처리하는 예제프로그램을 다룬다.- RDBMS의 데이터를 하둡의 입력으로 만드는 SQOOP에 대해 다룬다.- 웹서버의 로그를 하둡의 입력으로 만들어 주는 Flume에 대해 이해한다.- SQL형태로 맵리듀스 작업을 처리하는 하이브를 다룬다.- HDFS을 NoSQL 스토리지로 사용하는 HBase 기술을 이해한다.- 경량 분산처리기술인 아파치 스파크에 대해 이해한다.