sqoop hive 导出到mysql增量更新
发布网友
发布时间：2022-04-29 22:18
我来回答
共2个回答
懂视网
时间：2022-04-30 02:39
CREATE TABLE `YHD_CATEG_PRIOR` (
`category_id` int(11) NOT NULL COMMENT ‘类目ID‘,
`category_name` varchar(250) DEFAULT NULL COMMENT ‘类目名称‘,
`category_level` int(11) DEFAULT ‘0‘ COMMENT ‘类目级别‘,
`default_import_categ_prior` int(11) DEFAULT ‘0‘ COMMENT ‘默认引入优先级‘,
`user_import_categ_prior` int(11) DEFAULT NULL COMMENT ‘用户引入优先级‘,
`default_eliminate_categ_prior` int(11) DEFAULT NULL COMMENT ‘默认淘汰优先级‘,
`user_eliminate_categ_prior` int(11) DEFAULT NULL COMMENT ‘用户淘汰优先级‘,
`UPDATE_TIME` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT ‘数据刷新时间‘,
PRIMARY KEY (`category_id`)
) ENGINE=InnoDB AUTO_INCREMENT=61125 DEFAULT CHARSET=utf8;
hive表pms.yhd_categ_prior的表结构如下：
-- col_name data_type
category_id bigint
category_name string
category_level int
default_import_categ_prior int
user_import_categ_prior int
default_eliminate_categ_prior int
user_eliminate_categ_prior int
update_time string
hive表的字段之间以 01分隔，行以
分隔，空字段以N填充。
现在需要将hive表pms.yhd_categ_prior导出到mysql表YHD_CATEG_PRIOR中。
业务实现
脚本如下：
####################################
#
# 将Hive表同步到Mysql
#
####################################
rm -rf ./YHD_CATEG_PRIOR.java
sqoop-export -Dmapred.job.queue.name=pms --connect jdbc:mysql://127.0.0.1:3306/market --username admin --password 123456 --table YHD_CATEG_PRIOR --export-dir /user/hive/pms/yhd_categ_prior --columns category_id,category_name,category_level,default_import_categ_prior,user_import_categ_prior,default_eliminate_categ_prior,user_eliminate_categ_prior --update-mode allowinsert --update-key category_id --fields-terminated-by ‘ 01‘ --lines-terminated-by ‘
‘ --input-null-string ‘\N‘ --input-null-non-string ‘\N‘
上述脚本解析如下：
将hive表pms.yhd_categ_prior导出到mysql的YHD_CATEG_PRIOR表中
hive表导出的字段为：
category_id,
category_name,
category_level,
default_import_categ_prior,
user_import_categ_prior,
default_eliminate_categ_prior,
user_eliminate_categ_prior
[Sqoop]将Hive数据表导出到Mysql
标签：
热心网友
时间：2022-04-29 23:47
输入sqoop import 的目录在哪里?如果在/usr/sqoop下输入的命令,那么在/usr/sqoop下输入hive登入,然后show tables查看。
sqoop hive 导出到mysql,hive字段个数必须要跟mysql一致吗
不用一致的，可以使用--columns指定哪些字段 --columns id,name,hobby,birthday如果不使用--columns这个参数，那么个数就得一致了，不然会报错的
sqoop 从 hive 导出到 mysql 一直卡在map 100% reduce 0% 不动...
我的也是这样 我的导出代码是 /bigdata/sqoop/bin/sqoop export \ --connect "jdbc:mysql://192.168.0.211:3306/bigdata?useUnicode=true&characterEncoding=utf-8" \ --username $mysql_db_name \ --password $mysql_db_pwd \ --table $table_name \ --input-fields-terminated-by '\00...
Sqoop将Hive表中数据导入MySQL中,进程死住,不执行该怎么办
MYSQL有主键约束，而HIVE数据重复，HIVE到MYSQL过程中出现僵死（未查看详细日志，必然报SQL错误），最后手动杀掉执行进程的。此现象直接导致程序无法结束（也会因为可能存在异常而去实时检测LOG），如果在执行过程中产生异常时SQOOP能自动退出、或获取错误堆栈就好了，可惜啊 ...
怎么通过sqoop将hdfs上数据导入到mysql
关于sqoop把数据从HDFS导入到MYSQL就说这么多。把数据从HIVE导入到MYSQL，其实可以理解为把HIVE表所对应的HDFS路径的数据导入到MYSQL，这里就不多说了。
mysql导入到hive hdfs上显示又数据了 hive表里面什么都没有
hdfs显示但是hive里面没有的话，很可能hive配置使用的是自带的deby数据库。hive的配置文件弄好，如果用sqoop的话，把hive的配置文件hive-site.sh拷贝一份到sqoop的conf目录下，让sqoop知道保存的数据是到mysql元数据库的hive。
如何将mysql数据导入Hadoop之Sqoop安装
然后使用sqoop导入数据到hive：sqoop import --connect jdbc:mysql://192.168.1.109:3306/hadoop --username root --password 19891231 --table test_sfz --hive-import sqoop 会启动job来完成导入工作。完成导入用了2分20秒，还是不错的。在hive中可以看到刚刚导入的数据表：我们来一句sql测试一下...
hbase导入导出方式有哪些
Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将MySQL中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到Mysql中。参考Index of /docs。采用如下命令：sqoop import --connect jdbc:mysql://localhost/db --username root -P --...
orc文件压缩、本地导出、查看、下载
压缩比例在1:7到1：10之间，3份副本的话会节省接近10倍空间 调查数据周末要给出 数据压缩后要注意负载均衡问题，可以尝试reblance hive的orc文件使用sqoop导出到mysql使用hcatalog直接增加一些配置参数即可 以json方式查看orc文件 以KV形式查看orc文件 orc读取会查找字段在min和max中的值，不包含则跳过，...
sqoop从mysql导入到hive为什么0变成null
java:83)导出数据到MySQL，当然数据库表要先存在，否则会报错,此错误的原因为sqoop解析文件的字段与MySql数据库的表的字段对应不上造成的。因此需要在执行的时候给sqoop增加参数，告诉sqoop文件的分隔符，使它能够正确的解析文件字段。hive默认的字段分隔符为'\001'，sqoop的默认分隔符是 ','。
hdfs 的数据怎么导入到mysql中
为了支持这种日渐强调实时性操作,发布一个新MySQL Applier for Hadoop(用于Hadoop的MySQL Applier)组件。它能够把MySQL中变化的事务复制到Hadoop / Hive / HDFS。Applier 组件补充现有基于批处理Apache Sqoop的连接性。这个组件(MySQL Applier for Hadoop)的复制是通过连接MySQL主服务，一旦二进制日志被提交，...
