CentOS 5.6下利用Sqoop將hive數(shù)據(jù)導(dǎo)入導(dǎo)出數(shù)據(jù)到MySQL

運(yùn)行環(huán)境  CentOS 5.6   Hadoop  hive

sqoop是讓Hadoop技術(shù)支持的clouder公司開發(fā)的一個(gè)在關(guān)系數(shù)據(jù)庫和hdfs,hive之間數(shù)據(jù)導(dǎo)入導(dǎo)出的一個(gè)工具

相關(guān)閱讀：Sqoop配置安裝 http://www.linuxidc.com/Linux/2011-08/41442.htm
-
 

1  首先安裝sqoop,如果你使用的是clouder分發(fā)版的話就非常簡單 

   # yum install sqoop

  如果用官方版本的話

   # cd /etc/yum.repos.d

   # wget http://archive.cloudera.com/RedHat/cdh/cloudera-cdh3.repo

   # yum -y install sqoop

   sqoop就會(huì)安裝完成

2  使用sqoop

   首先將mysql-connector-java-5.1.16-bin.jar文件復(fù)制到/usr/lib/sqoop/lib文件夾下

   列出mysql數(shù)據(jù)庫中的所有數(shù)據(jù)庫命令

  #  sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username root --password 123456

   連接mysql并列出數(shù)據(jù)庫中的表命令

   # sqoop list-tables --connect jdbc:mysql://localhost:3306/test --username root --password 123456

   命令中的test為mysql數(shù)據(jù)庫中的test數(shù)據(jù)庫名稱  username password分別為mysql數(shù)據(jù)庫的用戶密碼

 將關(guān)系型數(shù)據(jù)的表結(jié)構(gòu)復(fù)制到hive中
 sqoop create-hive-table --connect jdbc:mysql://localhost:3306/test --table username --username root --password 123456 --hive-table test
其中 --table username為mysql中的數(shù)據(jù)庫test中的表   --hive-table test 為hive中新建的表名稱

服務(wù)器租用/服務(wù)器托管中國五強(qiáng)！虛擬主機(jī)域名注冊頂級提供商！15年品質(zhì)保障！--億恩科技[ENKJ.COM]