本文共 1256 字,大约阅读时间需要 4 分钟。
专线:用户需要把hbase集群的VPC相关网络信息配置到专线里面,可直通hbase环境
公有云虚拟机VPC环境:选择和hbase通VPC
其他:需要开hbase公网
注意:默认导入hbase数据,依赖的hbase-common、hbase-client、hbase-server、hbase-protocol使用社区的包即可。如果是公网需要使用云hbase发布的相关包
适用场景:数据量不大4T以下(因为需要走hbase的api导入数据)
hbase表不存在的情况
创建hive表hive_hbase_table映射hbase表base_table,会自动创建hbase表hbase_table,且会随着hive表删除而删除。这里需要指定hive的schema到hbase schema的映射关系。关于类型可参考Hive/HBaseIntegration
hbase表存在的情况
创建hive的外表关联hbase表,注意hive schema到hbase schema的映射关系。删除外表不会删除对应hbase表
其他导入数据相关同2
适用场景:数据量大(4T以上)
把hive数据转换为hfile
启动hive并添加相关hbase的jar包
通过bulkload将数据导入到hbase表中
使用阿里云hbase客户端创建具有上面对应family的hbase表
转载地址:http://vfzeo.baihongyu.com/