有HIVE方面的高手嗎，幫悄悄

zhaopingzi

hive和hbase集成后：
hive版本：hive-0.12.0 hbase版本：hbase-0.94.13

1. 
   
2. hive> INSERT OVERWRITE TABLE hbase_table_1 SELECT * FROM pokes WHERE foo=86;
   
3. Total MapReduce jobs = 1
   
4. Launching Job 1 out of 1
   
5. Number of reduce tasks is set to 0 since there's no reduce operator
   
6. java.lang.NullPointerException
   
7.         at java.util.Hashtable.put(Hashtable.java:542)
   
8.         at java.util.Properties.setProperty(Properties.java:161)
   
9.         at org.apache.hadoop.conf.Configuration.set(Configuration.java:438)
   
10.         at org.apache.hadoop.hive.ql.exec.Utilities.copyTableJobPropertiesToConf(Utilities.java:1840)
    
11.         at org.apache.hadoop.hive.ql.exec.FileSinkOperator.checkOutputSpecs(FileSinkOperator.java:947)
    
12.         at org.apache.hadoop.hive.ql.io.HiveOutputFormatImpl.checkOutputSpecs(HiveOutputFormatImpl.java:67)
    
13.         at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:889)
    
14.         at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:850)
    
15.         at java.security.AccessController.doPrivileged(Native Method)
    
16.         at javax.security.auth.Subject.doAs(Subject.java:415)
    
17.         at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121)
    
18.         at org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:850)
    
19.         at org.apache.hadoop.mapred.JobClient.submitJob(JobClient.java:824)
    
20.         at org.apache.hadoop.hive.ql.exec.mr.ExecDriver.execute(ExecDriver.java:425)
    
21.         at org.apache.hadoop.hive.ql.exec.mr.MapRedTask.execute(MapRedTask.java:144)
    
22.         at org.apache.hadoop.hive.ql.exec.Task.executeTask(Task.java:151)
    
23.         at org.apache.hadoop.hive.ql.exec.TaskRunner.runSequential(TaskRunner.java:65)
    
24.         at org.apache.hadoop.hive.ql.Driver.launchTask(Driver.java:1414)
    
25.         at org.apache.hadoop.hive.ql.Driver.execute(Driver.java:1192)
    
26.         at org.apache.hadoop.hive.ql.Driver.runInternal(Driver.java:1020)
    
27.         at org.apache.hadoop.hive.ql.Driver.run(Driver.java:888)
    
28.         at org.apache.hadoop.hive.cli.CliDriver.processLocalCmd(CliDriver.java:259)
    
29.         at org.apache.hadoop.hive.cli.CliDriver.processCmd(CliDriver.java:216)
    
30.         at org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:413)
    
31.         at org.apache.hadoop.hive.cli.CliDriver.executeDriver(CliDriver.java:781)
    
32.         at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:675)
    
33.         at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:614)
    
34.         at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    
35.         at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    
36.         at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    
37.         at java.lang.reflect.Method.invoke(Method.java:606)
    
38.         at org.apache.hadoop.util.RunJar.main(RunJar.java:156)
    
39. Job Submission failed with exception 'java.lang.NullPointerException(null)'
    
40. FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
    
41. 
    
42. 
    

復(fù)制代碼

SELECT * FROM pokes WHERE foo=86;是不報錯的

zhaopingzi

尼瑪啊，換版本啊�。。。。婚_源的這玩意，如果不會編碼的話，就是認(rèn)人宰割；有木有�。�！

把HIVE-0.12.0換成0.8.1就好了，我日了去

father1

我也碰到同樣的問題了，而且換成hive-0.8.1后，還是NullPointerException，請問你的hadoop版本是多少？是在偽分布式下還是分布式下測試的？
另外我hive-hbase-handler-x.x.x也用了編譯版本，還是不行。
源代碼顯示，空指針問題大概是無法得到一個hbase.table.name字符串定義的常量為key的，Configuration中的值
我的版本是Hdoop-1.0.4 + Hbase-0.92.1 Hive-0.8.1(Hive-0.9.0)， 或者Hdoop-1.0.4 + Hbase-0.94.6 + Hive-0.11.0 也測試過，同樣的問題。

auxpath設(shè)置應(yīng)該沒有問題，Hadoop Hive Hbase單獨沒有任何問題。不知道哪個詭異的地方設(shè)置有問題，或者三個軟件都需要自己編譯？

zhaopingzi

回復(fù) 3# father1


    hadoop1.0.3
    zookeeper3.4.3
    hbase0.94.13
    hive0.8.1
   
    以上4個東西測試了，可以正常
    以前裝hadoop2.2.0.他爹的，hbase起不來。后換成1.0.3
  
   總的來說，真垃圾，這些玩意如hive和hbase這玩意延遲太大了

father1

回復(fù) 4# zhaopingzi


hadoop1.0.4
zookeeper3.4.5
hbase0.94.13
hive0.8.1
空指針問題依然存在，沒有改觀，挺頭疼的問題。能幫貼一下，你的hbase-site.xml和hive-site.xml配置嘛？

我的hive-site.xml 增加了
<property>
  <name>hbase.master</name>
  <value>test.master.com:60000</value>
</property>
<property>
   <name>hbase.zookeeper.quorum</name>
   <value>test.master.com,test.slave42.com,test.slave43.com</value>
</property>
<property>
  <name>hive.aux.jars.path</name>
  <value>file:///usr/local/hive/lib/hive-hbase-handler-0.8.1.jar,file:///usr/local/hive/lib/hbase-0.94.13.jar,file:///usr/local/hive/lib/zookeeper-3.4.5.jar,file:///usr/local/hive/lib/guava-11.0.2.
jar</value>
</property>

Hadoop Hive Hbase的其他配置還有什么需要特殊注意的嘛？

zhaopingzi

回復(fù) 5# father1


    目前還沒用到其他特殊的地方；hbase的配置很簡單了
<configuration>
<property>
  <name>hbase.rootdir</name>
  <value>hdfs://master:9000/hbase</value>
</property>
<property>
  <name>hbase.cluster.distributed</name>
   <value>true</value>
</property>
<property>
<name>hbase.tmp.dir</name>
  <value>/home/hadoop/hbase</value>
   </property>
</configuration>

hive的配置和你一樣，后面增加了hive.aux.jars.path和hbase.zookeeper.quorum

zhaopingzi

回復(fù) 3# father1


    是在真的分布式下

father1

回復(fù) 7# zhaopingzi


    非常感謝提供信息，Hadoop版本降到1.0.3后，問題解決了。不確定是1.0.4版本有問題，還是我安裝的1.0.4版本有問題。Hive版本0.10.0，HBase0.9.4.13。都是直接apache下載之后，沒有編譯，集成成功，希望這信息對別人也有幫助。

zhaopingzi

上了賊船，就等著宰割吧

zhaopingzi

回復(fù) 8# father1


    -bash-3.2$ hbase shell
     敲完后，等半天才出現(xiàn)
   hbase(main):001:0> 提示，知道是什么原因嗎