欢迎光临
梦想从学习开始!

Hive索引功能测试| 小熊测试

本文主要介绍 Hive索引功能测试| 小熊测试,小熊希望对大家的学习或者工作具有一定的参考学习价值,在测试领域有所提升和发展。

  从Hive的官方wiki来看,Hive0.7以后增加了一个对表建立index的功能,想试下性能是否有很大提升,参考了一些资料亲手实现了一遍,记录下过程和心得

  一.测试数据准备

  1.新建一个gen-data.sh脚本,内容如下

#! /bin/bash

#generating 1.7G raw data.

i=0

while [ $i -ne 5000000 ]

do

echo "$i        A decade ago, many were predicting that Cooke, a New York City prodigy, would become a basketball shoe pitchman and would flaunt his wares and skills at All-Star weekends like the recent aerial show in Orlando, Fla. There was a time, however fleeting, when he was more heralded, or perhaps merely hyped, than any other high school player in America."

i=$(($i+1))

done

  2.生成文件

  执行如上脚本: sh gen-data.sh >dual.txt,大约几分钟后生成完毕.

  二.Hive建立表和索引

  1.建表,注意和上面生成的数据是一致的,id和name以制表符隔开进行映射

  create table table01(id int,name string) row format delimited fields terminated by ' ';

  2.加载数据到表中

  load data local inpath '~/testData/hive/dataScripts/dual.txt' overwrite into table table01; (用时Time taken: 160.787 seconds)

  3.创建table02,数据来自于table01

  create table table02 as select id ,name as text from table01; (Time taken: 154.463 seconds)

  4.查询测试

  select * from table02 where id=500000; (Time taken: 30.463 seconds, Fetched: 1 row(s))

  此时dfs -ls /user/hive/warehouse/,会看到有table01和table02对应的数据文件夹生成

  5.利用hive的CompactIndexHandler为id字段自动创建索引

  create index table02_index on table table02(id) as 'org.apache.hadoop.hive.ql.index.compact.CompactIndexHandler' with deferred rebuild;

  alter index table02_index on table02 rebuild;  (Time taken: 112.451 seconds)

  注意上面这句是必要的,因为deferred rebuild以后,索引文件内容初始化是empty的,而alter index能够帮助重建index structure.

  6.此时会看到索引表的生成,查看索引表内容

  hive> select * from default__table02_table02_index__ limit 3;

  OK

  9    hdfs://littleNameservice/user/hive/warehouse/table02/000000_0    [3168]

  36    hdfs://littleNameservice/user/hive/warehouse/table02/000000_0    [12698]

  63    hdfs://littleNameservice/user/hive/warehouse/table02/000000_0    [22229]

  这里可以看到索引表分为三列,分别是索引列的枚举值,每个值对应的数据文件位置,以及在这个文件位置中的偏移量。通过这种方式,

  可以减少查询的数据量(偏移量可以告诉你从哪个位置开始找,自然只需要定位到相应的block),起到减少资源消耗的作用.

  7.再次查询测试

  select * from table02 where id=500000; (Time taken: 29.226 seconds, Fetched: 1 row(s))

  对比刚开始的30.463秒,基本没变化。所以继续研究

  8.需要进行索引手动裁剪,如下

  SET hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat;

  Insert overwrite directory "/tmp/table02_index_data" select `_bucketname`, `_offsets` from  default__table02_table02_index__ where id =500000;

  Set hive.index.compact.file=/tmp/table02_index_data;

  Set hive.optimize.index.filter=false;

  Set hive.input.format=org.apache.hadoop.hive.ql.index.compact.HiveCompactIndexInputFormat;

  简单解释下上面命令的意思就是对自己需要索引的查询比如id = 500000,手动从已有的索引表default__table02_table02_index__ 中裁剪出来插入临时的tmp目录,然后设置索引的文件

  指向和忽略自动索引

  9.最终查询测试

  select * from table02 where id =500000; (Time taken: 17.259 seconds, Fetched: 1 row(s))

  好,这次变成17秒了,证明索引生效了.但是感觉差强人意啊.

  个人总结:从官方的wiki,jira以及自己的测试来看,Hive的索引很不好用,它并不是传统的的B树索引,而是冗余了一个lookup的索引表,把需要索引的表简单划分了range和偏移量,

  这些信息被储存在索引表里面进行查询,而且使用的时候不能直接用,还要根据条件进行裁剪才会真正生效。个人感觉这就是个半成品,官方也宣称这块儿功能需要加强.

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持小熊分享邦(www.xxfxb.com),希望大家能坚持软件测试之路,谢谢。

赞(0) 打赏
未经允许不得转载:小熊分享邦 » Hive索引功能测试| 小熊测试

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏