原始導數(shù)命令：
bin/sqoop import -connect jdbc:mysql://192.168.169.128:3306/yubei -username root -password 123456 -table yl_city_mgr_evt_info --split-by rec_id -m 4 --fields-terminated-by "\t" --lines-terminated-by "\n" --hive-import --hive-overwrite -create-hive-table -delete-target-dir -hive-database default -hive-table yl_city_mgr_evt_info
原因分析：可能是mysql中字段里面有'\n'等分隔符，導入hive時默認以'n'作換行符，導致hive中的記錄數(shù)變多。
解決方法：
導入數(shù)據(jù)時加上--hive-drop-import-delims選項，會刪除字段中的\n,\r,\01。
最終導數(shù)命令：
bin/sqoop import -connect jdbc:mysql://192.168.169.128:3306/yubei -username root -password 123456 -table yl_city_mgr_evt_info --split-by rec_id -m 4 --hive-drop-import-delims --fields-terminated-by "\t" --lines-terminated-by "\n" --hive-import --hive-overwrite -create-hive-table -delete-target-dir -hive-database default -hive-table yl_city_mgr_evt_info
參考官方文檔：https://sqoop.apache.org/docs/1.4.7/SqoopUserGuide.html
補充：Sqoop導入MySQL數(shù)據(jù)到Hive遇到的坑
1.sqoop導入到HDFS
1.1執(zhí)行sqoop job，會自動更新last value
# sqoop 增量導入腳本
bin/sqoop job --create sqoop_hdfs_test02 -- import \
--connect jdbc:mysql://localhost:3306/pactera_test \
--username root \
--password 123456 \
--table student \
--target-dir /user/sqoop/test002/ \
--fields-terminated-by "\t" \
--check-column last_modified \
--incremental lastmodified \
--last-value "2018-12-12 00:03:00" \
--append
說明：--append 參數(shù)是必須的，要不然第二次運行job 會報錯，如下：
至此，sqoop job 已建設完畢！
2.Hive創(chuàng)建表，并讀取sqoop導入的數(shù)據(jù)
create external table if not exists student_hive (SId int,Sname string ,Sage string,Ssex string , last_modified Timestamp)
row format delimited fields terminated by '\t' location 'hdfs://node01:8020/user/sqoop/test002/';
注意：此處hive中時間的格式為timestamp，設置為date DB數(shù)據(jù)無法正常加載。
第一次全量加載，整條路線完全OK，hive表可以查詢到數(shù)據(jù)。
-----------------------重點分割線-----------------------
* sqoop lastmodified格式的增量加載，會將last-value 保存為job執(zhí)行的系統(tǒng)時間，若測試數(shù)據(jù)庫的check-column 小于當前系統(tǒng)時間（即上一個job的last-value），則數(shù)據(jù)將不被加載。
如SId=6 就沒有被加載，遂改為今日時間（2018-12-26 17:05）進行數(shù)據(jù)測試，數(shù)據(jù)成功被加載！喲呵?。?/p>
總結：
使用lastmodified格式，進行sqoop增量導入時，
1.注意--append的使用；
2.last-value為job運行的系統(tǒng)時間，在數(shù)據(jù)測試時，要保證數(shù)據(jù)的準確，數(shù)據(jù)的自增長。
3.一切皆有定數(shù)，查看資料，準確定位自己系統(tǒng)遇到的問題
以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。如有錯誤或未考慮完全的地方，望不吝賜教。
您可能感興趣的文章:- MySQL如何快速導入數(shù)據(jù)
- MySQL 4種導入數(shù)據(jù)的方法
- mysql如何利用Navicat導出和導入數(shù)據(jù)庫的方法
- Java利用MYSQL LOAD DATA LOCAL INFILE實現(xiàn)大批量導入數(shù)據(jù)到MySQL
- MySQL命令行導出導入數(shù)據(jù)庫實例詳解
- wampserver下mysql導入數(shù)據(jù)庫的步驟
- MySQL命令行導出與導入數(shù)據(jù)庫
- 使用mysqldump導入數(shù)據(jù)和mysqldump增量備份(mysqldump使用方法)
- MYSQL 導入數(shù)據(jù)的幾種不同
- 修改php.ini實現(xiàn)Mysql導入數(shù)據(jù)庫文件最大限制的修改方法
- .Net Core導入千萬級數(shù)據(jù)至Mysql的步驟
