HBase troubleshooting的一般思路

george.ma

<DIV>
HBase troubleshooting的一般思路
<DIV class="post-content clear-block">
<P>1. 如何發(fā)現(xiàn)問題<BR>在我們的集群中，HBase的錯(cuò)誤是通過splunk和nagio的報(bào)警機(jī)制報(bào)告的。當(dāng)service出現(xiàn)異常，如退出，crash，master/regionserver 拋出異常等，管理員都會(huì)收到消息。</P>
<P>2. 問題跟蹤方法<BR>在http://hbase.apache.org/book.html#trouble.general中，HBase給出了處理問題的一般思路。<BR>1. 將exception直接到Google或者search-hadoop.com 搜索。Google是工程師離不開的工具啊。<BR>2. HBase的問題往往不會(huì)是獨(dú)立的。在日志中可以發(fā)現(xiàn)很多exception，最直接的方法就是找到第一個(gè)exception。Java的問題一般都是這么解決。但是不要只是grep Error信息，因?yàn)镠Base的log level定義的有些混亂。有時(shí)候一些嚴(yán)重的錯(cuò)誤卻標(biāo)成INFO。建議還grep 一下“Dump”，因?yàn)镽egionserver可能會(huì)打印一些metric出來。<BR>3. 一定能夠要注意設(shè)置ulimit和xcievers. Regionserver可能會(huì)因?yàn)閆ookeeper session timout 而自動(dòng)退出，這個(gè)在之前的blog也討論過。<BR>3. Log的位置<BR>NameNode: $HADOOP_HOME/logs/hadoop–namenode-.log<BR>DataNode: $HADOOP_HOME/logs/hadoop–datanode-.log<BR>JobTracker: $HADOOP_HOME/logs/hadoop–jobtracker-.log<BR>TaskTracker: $HADOOP_HOME/logs/hadoop–jobtracker-.log<BR>HMaster: $HBASE_HOME/logs/hbase–master-.log<BR>RegionServer: $HBASE_HOME/logs/hbase–regionserver-.log<BR>4. 一些重要的工具<BR>a) search-hadoop.com<BR>b) tail<BR>c) top<BR>d) jps<BR>e) jstack<BR>f) OpenTSDB。 沒有用過。有用過的評(píng)論下啊。<BR>g) clusterssh+top。這個(gè)是一個(gè)好思路�？梢杂胹sh $host top收集集群中其他機(jī)器的信息。這樣就成了一個(gè)monitor工具了。<BR>h) $ ./bin/hbase hbck<BR>返回 OK或者INCONSISTENCY。如果是INCONSISTENCY，可以多運(yùn)行幾次，因?yàn)橛锌赡躢luster還沒有完全啟動(dòng)好或者有Region在splitting。-fix可能可以修復(fù)不一致。（沒有試過，有機(jī)會(huì)可以看看到底好不好用。文檔上寫的那么不肯定）</P>
<P>另外，http://fuliang.iteye.com/blog/1024360 這篇文章對(duì)服務(wù)器性能評(píng)估的命令對(duì)維護(hù)hbase也是非常有用的</P></DIV></DIV>