如何导入MySQL数据到Hadoop文件系统？

Question

在我的系统中，我在 Mysql 中有数据库。我想将其导入 hadoop 文件系统。我发现了一些关于 Sqoop 的信息，但我没有收到执行该操作的命令。

Answer 1

sqoop import --connect jdbc:mysql://mysql-server-name/db_name --username user --password password --table table_name --target-dir target_directory_name-m1

希望对您有所帮助..

Answer 2

您需要安装 mysql jdbc/java 连接器和运行 sqoop 命令。

sudo yum install mysql-connector-java
ln -s /usr/share/java/mysql-connector-java.jar /var/lib/sqoop/mysql-connector-java.jar

您可以运行 sqoop 命令来自 Save data into mysql from hive hadoop through sqoop?

Answer 3

1) 首先安装并配置 MySQL。在 MySQL

中创建数据库

2) sqoop import --connect jdbc:mysql://localhost/databasename --username $USER_NAME --password $PASSWORD$ --table tablename --m 1 命令将导入数据。

例如

sqoop import --connect jdbc:mysql://localhost/testDb --username root --password hadoop123 --table student --m 1

在上面的命令中，各种参数的值 database:‘testDb’ , username: ‘root’, password: ‘hadoop123’, and table student.

看看这个 article 1 and article 2 以便更好地逐步理解

如何导入MySQL数据到Hadoop文件系统？

How to import MySQL data to Hadoop file system?

mysql

sqoop

hadoop2

sqoop2