亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

hive集成hbase筆記

系統 3293 0

系統環境:

Hbase:0.90.3

hive:0.7.0

hive 0.7.0自帶的lib下包含文件“hbase-0.89.0-SNAPSHOT.jar”,我的hbase版本是0.90.3,首先拷貝hbase-0.90.3.jar到hive/lib下,然后刪除“hbase-0.89.0-SNAPSHOT.jar”。

創建hive表、hbase表:

?Xml代碼??

  1. CREATE?TABLE?hbase_table_1(key?int,?value?string)???
  2. ??STORED?BY?'org.apache.hadoop.hive.hbase.HBaseStorageHandler'??
  3. ??WITH?SERDEPROPERTIES?("hbase.columns.mapping"?=?":key,cf1:val")??
  4. ??TBLPROPERTIES?(" hbase.table.name "?=?"xyz");??

?其中屬性hbase.table.name值"xyz"為hbase的表名,屬性hbase.columns.mapping,"cf1:val"為列族名稱。

在hive 客戶端執行上面語句后,會在hive中生成表"hbase_table_1",在hbase中生成表"xyz"

?

導入測試數據:

Java代碼??
  1. hive>?CREATE?TABLE?pokes?(foo?INT,?bar?STRING);??
  2. hive>?LOAD?DATA?LOCAL?INPATH?'./examples/files/kv1.txt'?OVERWRITE?INTO?TABLE?pokes;??
  3. hive>?INSERT?OVERWRITE?TABLE?hbase_table_1?SELECT?*?FROM?pokes;??
  4. hive>?select?*?from?hbase_table_1;??

?

troubleshooting:

Java代碼??
  1. FAILED:?Error?in?metadata:?MetaException(message:org.apache.hadoop.hbase.MasterNotRunningException:?CNC-JN-R-541:60000??
  2. ????????at?org.apache.hadoop.hbase.client.HConnectionManager$HConnectionImplementation.getMaster(HConnectionManager.java:394)??
  3. ????????at?org.apache.hadoop.hbase.client.HBaseAdmin.<init>(HBaseAdmin.java:83)??
  4. ????????at?org.apache.hadoop.hive.hbase.HBaseStorageHandler.getHBaseAdmin(HBaseStorageHandler.java:74)??
  5. ????????at?org.apache.hadoop.hive.hbase.HBaseStorageHandler.preCreateTable(HBaseStorageHandler.java:158)??
  6. ????????at?org.apache.hadoop.hive.metastore.HiveMetaStoreClient.createTable(HiveMetaStoreClient.java:344)??
  7. ????????at?org.apache.hadoop.hive.ql.metadata.Hive.createTable(Hive.java:470)??
  8. ????????at?org.apache.hadoop.hive.ql.exec.DDLTask.createTable(DDLTask.java:3146)??
  9. ????????at?org.apache.hadoop.hive.ql.exec.DDLTask.execute(DDLTask.java:213)??
  10. ????????at?org.apache.hadoop.hive.ql.exec.Task.executeTask(Task.java:130)??
  11. ????????at?org.apache.hadoop.hive.ql.exec.TaskRunner.runSequential(TaskRunner.java:57)??
  12. ????????at?org.apache.hadoop.hive.ql.Driver.launchTask(Driver.java:1063)??
  13. ????????at?org.apache.hadoop.hive.ql.Driver.execute(Driver.java:900)??
  14. ????????at?org.apache.hadoop.hive.ql.Driver.run(Driver.java:748)??
  15. ????????at?org.apache.hadoop.hive.cli.CliDriver.processCmd(CliDriver.java:164)??
  16. ????????at?org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:241)??
  17. ????????at?org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:456)??
  18. ????????at?sun.reflect.NativeMethodAccessorImpl.invoke0(Native?Method)??
  19. ????????at?sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)??
  20. ????????at?sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)??
  21. ????????at?java.lang.reflect.Method.invoke(Method.java:597)??
  22. ????????at?org.apache.hadoop.util.RunJar.main(RunJar.java:156)??
  23. )??

?

出現這個錯誤的原因是我引入的hbase包和hive自帶的hive包沖突,刪除hive/lib下的?hbase-0.89.0-SNAPSHOT.jar, OK了。

?

?

FAILED: Error in metadata: MetaException(message:Column Family department is not defined in hbase table hello)

?

當使用hive相關管理已經存在的hbase 多列table時,出現上面錯誤,而且列族“department ”的確存在,最終發現原因是:在hive中使用CREATE EXTERNAL TABLE 創建表的時候,"hbase.columns.mapping"的值中不能包含空格

hive集成hbase筆記


更多文章、技術交流、商務合作、聯系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦?。?!

發表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 99国产精品久久久久久久... | 九九精品视频在线播放8 | 香蕉碰碰人人a久久动漫精品 | 免费观看a毛片一区二区不卡 | 亚洲另类中文字幕 | 日本韩国欧美在线观看 | 狠狠色丁香婷婷久久综合不卡 | 久久免费观看视频 | 中文字幕久久久久一区 | 欧美肥婆videos另类 | 中文日韩字幕一区在线观看 | 国产精品久久新婚兰兰 | 精品免费视在线视频观看 | 欧美激情久久久久久久久 | 四虎影视永久在线 | 亚洲免费小视频 | 亚洲精品二三区伊人久久 | 国产精品久久久久久久久久免费 | 欧洲一级黄色片 | 亚洲精品午夜久久久伊人 | 老师邪恶影院a啦啦啦影院 老师在办公室被躁到白浆 老湿机午夜影院 | 日日操干 | 在线观看 中文字幕 | jizz孕妇孕交 | 亚洲国产欧洲综合997久久 | 久久www免费人成看片入口 | 久久综合网址 | 国产在线观看a | 久久青草网站 | 欧美亚洲另类色国产综合 | 亚洲精品99久久一区二区三区 | 国产一级毛片在线 | 欧美美女啪啪 | 欧美在线一区二区三区 | 欧美一级毛片高清免费观看 | 亚洲国产精品国产自在在线 | 国产一级淫片a视频免费观看 | 夜色成人影院在线www | 欧美精品日本一级特黄 | 亚洲综合春色另类久久 | 麻豆视频一区 |