Hive文件格式及数据导入导出

2020/4/10 0:15:37 人评论 次浏览 分类:学习教程

Hive文件格式

  • TEXTFILE

    • 默认格式,数据不进行任何压缩
    • 存储方式:行存储
    • 磁盘开销大,数据解析开销大
    • Hive不会对其进行切分,无法对数据进行并行操作
  • SEQUENCEFILE

    • 二进制文件,以<key,value>形式序列化到文件中
    • 存储方式:行存储
    • 可分割、可压缩。支持三种压缩方式:NONE,RECORD,BLOCK。Record压缩率低,一般选择block压缩。
    • 文件和Hadoop API中的mapfile相互兼容
  • RCFILE

    • 存储方式:按行分块,每块按照列存储。保证同一个record在一个块上,避免读一个record需要读取多个block。其次,块数据列存储,有利于数据压缩和快速列存取
    • 压缩快,快速列存取
    • 读记录尽量控制block最少
    • 读取指定的列只需读取每个row group的头部定义
    • 读取全量数据时,性能可能对SEQUANCEFILE性能差
  • ORCFILE

    • 存储方式:按行分块,每块按照列存储
    • 压缩快,快速列存储
    • 效率比RC高,可以理解为RC的改进版
  • PARQUET

    • 类似于ORC
    • 通用性比ORC强,Hadoop生态系统中大部分工程都支持该文件格式

Hive数据导出

  • 本地文件导入到Hive表,需提前创建表
load data local inpath 
"/tmp/user/data/demo_local.parquet" 
into table db_tmp.demo_local;
  • HDFS文件导入到Hive表,需提前创建表
load data inpath 
"/tmp/user/data/demo_hdfs.parquet" 
into table db_tmp.demo_hdfs;
  • Hive表导入到Hive表
insert into table demo_hive 
select * from demo_hive_b;
  • 创建表时从其他Hive表导入
create table demo_a 
as select * from demo_hive_b;
  • 通过sqoop将mysql库导入到Hive表
-- 默认导入到default库
sqoop import --connect 
jdbc:mysql://10.168.225.1:3306/casedb  
--username root 
--password password 
--table demo --hive-import 
--create-hive-table -m 1

-- 指定导入的数据库
sqoop import --connect 
jdbc:mysql://10.168.225.1:3306/casedb  
--username root 
--password root --table demo 
--hive-import --create-hive-table 
--hive-table database.demo -m 1

Hive数据导入

  • 导出到本地
insert overwrite local directory 
"/home/hadoop/data/" 
row format dilimited 
fields terminated by "," 
select * from demo_hive_b;
  • 导出到HDFS
insert overwrite  directory 
"/home/hadoop/data/" 
row format dilimited 
fields terminated by "," 
select * from demo_hive_b;
  • Hive命令行导出
# Linux bash终端
# 重定向方式
hive -e "select * from demo_hive_b" >> 
/home/hadoop/data/demo_output.txt

# sql文件方式
echo "select * from demo_hive_b" > 
/home/hadoop/data/demo_output.sql
hive -f /home/hadoop/data/demo_output.sql >> 
/home/hadoop/data/demo_output.txt
-------更多精彩,可关注微信公众号:"data爱好者"------- ## 标题

相关资讯

    暂无相关的资讯...

共有访客发表了评论 网友评论

验证码: 看不清楚?
    -->