하둡(Hadoop)

Hadoop 모니터링

 

Hadoop에 대한 소개에 이어 Hadoop을 안정적으로 운영하기 위하여 일반적으로 알려진 Monitoring Metric에 대하여 알아본다.

Hadoop은 NameNode와 DataNode와 같은 데몬 프로세스 감시와 Heap Memory, Thread, Filesystem 등을 기본 Monitoring Metric으로 가진다.

 

Monitoring Metric

1)  NameNode Capacity: NameNode의 디스크 사용율 정보를 모니터링 한다.

 

Hadoop의 가장 중요한 구성 요소 중 하나는 확장성이 높은 HDFS 파일 시스템이다. 대개의 파일시스템들처럼 Hadoop역시 사용중이거나 남아있는 공간이 얼마나 되는가가 중요한 모니터링 항목이 된다.

 

2)   DataNode Capacity: DataNode의 디스크 사용율 정보를 모니터링 한다.

 

Hadoop 클러스터는 하나 이상의 DataNode로 구성되어 있고 DataNode는 다수의 대용량의 디스크를 가지고 있다. DataNode가 사용할 수 있는 디스크의 전체 사이즈와 사용 가능한 사이즈를 알 수 있다.

 

3)   Files Total: NameNode에서 관리하는 파일의 개수를 모니터링 한다.

 

Hadoop은 MB, GB, TB 단위의 다중 파일 관리에 적합하지만 NameNode에서는 메모리에서 관리할 수 있는 최대 파일의 개수를 제한하고 있다. 따라서 파일 개수의 감시는 그러한 물리적 제한으로 인한 장애를 예방할 수 있다.

 

4)  Blocks Total

 

Hadoop 파일은 큰 Block들로 이루어져 있다. 일반적인 파일시스템은 Block 하나의 사이즈가 4-16K인데 반해 Hadoop은 64MB 또는 그 이상을 지원한다. Block에 대한 정보는 데이터가 HDFS에 최적으로 저장되고 있는지 또 Block Read, Block Written, Block Removed, Block Replicated 등을 통해 DataNode의 성능을 확인할 수 있다.

 

5)  Heap Usage: NameNode와 DataNode의 Heap Memory 사용량을 모니터링 한다.

 

 

참조:  JoinTheGrid.com Project Site          http://www.jointhegrid.com

Jaso extends j2ee                      http://www.jaso.co.kr/