Hive的訪問接口|Allen'sWorldHive的訪問接口Hive提供了三種客戶端訪問接口：1）HiveCLI（HiveCommandLine，Hive命令行），客戶端可以直接在命令行模式下進(jìn)行操作。2）hwi（HiveWebInterface，HiveWeb接口），Hive提供了更直觀的Web界面3）hiveserver，Hive提供了Thrift服務(wù)，Thrift客戶端目前支持C++/Java/PHP/Python/Ruby。下面我們來分別嘗試下這
系統(tǒng) 2019-08-12 01:32:58 3158
功能：將兩個(gè)表中的同樣的字段拼接到一起測(cè)試：createexternaltableIFNOTEXISTStemp_uniontest_ta(a1string,a2string)partitionedby(dtstring)rowformatdelimitedfieldsterminatedby'\t'storedastextfile;ALTERTABLEtemp_uniontest_taADDIFNOTEXISTSPARTITION(dt='2014-10
系統(tǒng) 2019-08-12 01:55:40 2952
HiveDB|OpenSourceframeworkforhorizontallypartitioningMySQLsystemsHiveDBisanopensourceframeworkforhorizontallypartitioningMySQLsystems.BuildingscalableandhighperformanceMySQL-backedsystemsrequiresagooddealofexpertiseindesigningthes
系統(tǒng) 2019-08-12 01:31:50 2905
hive中使用lzo1啟動(dòng)hive錯(cuò)誤Exceptioninthread"main"java.lang.NoClassDefFoundError:org/apache/hadoop/hive/conf/HiveConfatjava.lang.Class.forName0(NativeMethod)atjava.lang.Class.forName(Class.java:247)atorg.apache.hadoop.util.RunJar.main(Run
系統(tǒng) 2019-08-12 09:27:08 2888
無意間在部門的svn看到以前老員工的Hive優(yōu)化文檔，看看了，寫的挺詳細(xì)的，結(jié)合hadoopInaction(陸)一書的內(nèi)容在這里做個(gè)匯總1,列裁剪在讀數(shù)據(jù)的時(shí)候，只讀取查詢中需要用到的列，而忽略其他列。例如，對(duì)于查詢：1SELECTa,bFROMTWHEREe<10;其中，T包含5個(gè)列(a,b,c,d,e)，列c，d將會(huì)被忽略，只會(huì)讀取a,b,e列這個(gè)選項(xiàng)默認(rèn)為真：hive.optimize.cp=true2，分區(qū)裁剪在查詢的過程中減少不必要的分區(qū)。例如
系統(tǒng) 2019-08-12 01:31:41 2796
HIVEregistryisusefulandeasytousefeature,toenableit,weneedfirstaddtheHIVEregistryfeaturefromCATALOGintotheOSDesignfile.thenaddregistryasfollowinglisted.ThefollowingisthesettinginmyplatformusingFLASHtostoretheregistry.There'resomedi
系統(tǒng) 2019-08-12 01:32:30 2754
昨天群上有人發(fā)個(gè)阿里的面試題，題目描述大概如下：數(shù)據(jù)源：用戶登錄表，只有倆個(gè)字段，uid和dt試用HQL抽取出連續(xù)登錄了K天的用戶uid第一個(gè)想法就是直接用一個(gè)UDF解決，按uid分組，把dt收集起來然后在UDF里面判斷是否滿足條件SELECTuid,isExist(collect_set(dt),k)flagFROMtable_nameGROUPBYuidHAVINGflag=1;其中isExist的邏輯是判斷collect_set中是否存在k個(gè)連續(xù)的值
系統(tǒng) 2019-08-12 01:32:10 2739
在網(wǎng)上找了一圈。。也沒有找到相關(guān)的資料。。一點(diǎn)都沒有。。。還有有大米公開的代碼供參考。。。趕緊把學(xué)習(xí)的成果記錄下來。。CM_KEY_NODE的結(jié)構(gòu)：+0x014SubKeyCounts:[2]Uint4B//SubKeyCounts[0]子鍵的個(gè)數(shù)+0x01cSubKeyLists:[2]Uint4B//SubKeyLists[0]子鍵列表相差本BIN的偏移這里的subKeyList是一個(gè)偏移。。指向CM_KEY_INDEX結(jié)構(gòu)。。最復(fù)雜的也是這個(gè)結(jié)構(gòu)。。
系統(tǒng) 2019-08-12 09:26:52 2714
目錄：初始HiveHive安裝與配置Hive內(nèi)建操作符與函數(shù)開發(fā)HiveJDBChive參數(shù)Hive高級(jí)編程HiveQLHiveShell基本操作hive優(yōu)化Hive體系結(jié)構(gòu)Hive的原理配套視頻課程第一部分：軟件準(zhǔn)備與環(huán)境規(guī)劃Hadoop環(huán)境介紹?Hadoop安裝路徑?/home/test/Desktop/hadoop-1.0.0/?Hadoop元數(shù)據(jù)存放目錄?/home/test/data/core/namenode?Hadoop數(shù)據(jù)存放路徑?/hom
系統(tǒng) 2019-08-29 22:27:47 2684
hive實(shí)戰(zhàn)-qiang.xu-博客園hive實(shí)戰(zhàn)1.安裝hive2.hive實(shí)戰(zhàn)3.hive存儲(chǔ)模型4.深入hql查詢語言5.參考資料及代碼下載<1>.安裝hive下載hive，下載地址http://mirror.bjtu.edu.cn/apache//hive/，解壓該文件：xuqiang@ubuntu:~/hadoop/src/hive$tarzxvfhive-0.7.0-bin.tar.gz設(shè)置環(huán)境變量：xuqiang@ubuntu:~/hadoo
系統(tǒng) 2019-08-12 01:32:58 2618
用戶反饋數(shù)據(jù)庫設(shè)置歸檔后，無法啟動(dòng)，并報(bào)如下錯(cuò)誤：SQL>startupORA-16019:cannotuseLOG_ARCHIVE_DEST_1withLOG_ARCHIVE_DESTorLOG_ARCHIVE_DUPLEX_DEST這個(gè)錯(cuò)誤很簡(jiǎn)單，主要是由于log_archive_dest與log_archive_dest_n這兩個(gè)參數(shù)是不能夠同時(shí)設(shè)置值、共存的。調(diào)整方法：>setORACLE_SID=orcl>sqlplus/nologSQL>con
系統(tǒng) 2019-08-12 09:26:41 2611
原文：http://blog.javachen.com/2014/06/09/hive-data-manipulation-language.html關(guān)于HiveDML語法，你可以參考apache官方文檔的說明:HiveDataManipulationLanguage。apache的hive版本現(xiàn)在應(yīng)該是0.13.0，而我使用的hadoop版本是CDH5.0.1，其對(duì)應(yīng)的hive版本是0.12.0。故只能參考apache官方文檔來看cdh5.0.1實(shí)現(xiàn)了哪
系統(tǒng) 2019-08-12 09:27:34 2601
最近在測(cè)試HCatalog，由于Hcatalog本身就是一個(gè)獨(dú)立JAR包，雖然它也可以運(yùn)行service，但是其實(shí)這個(gè)service就是metastorethriftserver，我們?cè)趯懟贖catalog的mapreducejob時(shí)候只要把hcatalogJAR包和對(duì)應(yīng)的hive-site.xml文件加入libjars和HADOOP_CLASSPATH中就可以了。不過在測(cè)試的時(shí)候還是遇到了一些問題，hivemetastoreserver在運(yùn)行了一段時(shí)間
系統(tǒng) 2019-08-12 01:52:10 2589
--*******************************************--RMAN備份路徑困惑(使用plusarchivelog時(shí))--*******************************************最近RMAN備份時(shí)，碰到一點(diǎn)疑惑。即使用plusarchivelog時(shí)不管是使用format參數(shù)指定備份文件的路徑還是使用configure配置RMAN備份路徑，都不能將數(shù)據(jù)文件和日志文件備份到同一路徑。在因?yàn)橐郧笆褂?/span>
系統(tǒng) 2019-08-12 01:33:29 2588
介紹hive的用戶自定義聚合函數(shù)（UDAF）是一個(gè)很好的功能，集成了先進(jìn)的數(shù)據(jù)處理。hive有兩種UDAF：簡(jiǎn)單和通用。顧名思義，簡(jiǎn)單的UDAF，寫的相當(dāng)簡(jiǎn)單的，但因?yàn)槭褂肑ava反射導(dǎo)致性能損失，而且有些特性不能使用，如可變長(zhǎng)度參數(shù)列表。通用UDAF可以使用??所有功能，但是UDAF就寫的比較復(fù)雜，不直觀。本文只介紹通用UDAF。UDAF是需要在hive的sql語句和groupby聯(lián)合使用，hive的groupby對(duì)于每個(gè)分組，只能返回一條記錄，這點(diǎn)和m
系統(tǒng) 2019-08-12 01:32:14 2573
