Hive 分桶

Hive 分桶

一.hive 分桶概述

二.开启支持分桶

set hive.enforce.bucketing=true;

默认：false；设置为 true 之后，mr 运行时会根据 bucket 的个数自动分配 reduce task 个数。（用户也可以通过 mapred.reduce.tasks 自己设置 reduce 任务个数，但 分桶时不推荐使用） 注意：一次作业产生的桶（文件数量）和 reduce task 个数一致。

三.分桶操作

3.1.往分桶表中加载数据

insert into table bucket_table select columns from tbl;insert overwrite table bucket_table select columns from tbl;

3.2.桶表 抽样查询

select * from bucket_table tablesample(bucket 1 out of 4 on columns);

TABLESAMPLE 语法： TABLESAMPLE(BUCKET x OUT OF y) x：表示从哪个 bucket 开始抽取数据 y：必须为该表总 bucket 数的倍数或因子 当表总 bucket 数为 32 时

TABLESAMPLE(BUCKET 3 OUT OF 16)，抽取哪些数据？ 共抽取 2（32/16）个 bucket 的数据，抽取第 3、第 19（16+3）个 bucket 的数据TABLESAMPLE(BUCKET 3 OUT OF 8)，抽取哪些数据？ 共抽取 4（32/8）个 bucket 的数据，抽取：3，11,19,27TABLESAMPLE(BUCKET 3 OUT OF 256)，抽取哪些数据？ 共抽取 1/8（32/256）个 bucket 的数据，抽取第 3 个 bucket 的 1/8 数据

四.实操案例

例：

hive> create table psn31( > id int, > name string, > age int) > row format delimited fields terminated by ',';OKTime taken: 0.388 seconds

测试数据

1,tom,112,cat,223,dog,334,hive,445,hbase,556,mr,667,alice,778,scala,88

加载原始数据

hive> load data local inpath '/root/bucket' into table psn31;

创建分桶表

hive> create table psnbucket( > id int, > name string, > age int) > clustered by (age) into 4 buckets > row format delimited > fields terminated by ',';OKTime taken: 0.138 seconds

莫忘记开启分桶支持：

set hive.enforce.bucketing=true;

从源数据表向分桶表中添加数据：

insert into table psnbucket select id, name, age from psn31;

抽样

hive> select id,name,age from psnbucket tablesample(bucket 2 out of 4 on age);OKid name age7 alice 773 dog 33Time taken: 0.937 seconds, Fetched: 2 row(s)hive> select id,name,age from psnbucket tablesample(bucket 1 out of 4 on age);OKid name age8 scala 884 hive 44Time taken: 0.226 seconds, Fetched: 2 row(s)

[root@node4 data]# hdfs dfs -cat /user/hive_remote/warehouse/psnbucket/000001_0;21/11/11 16:27:27 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable7,alice,773,dog,33

总结：分区是分目录存储，分桶是将表中的数据分文件存储。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。