我们如何使用 SQoop 对从 RDBMS 迁移到 HDFS 的数据进行测试?
How we do Testing on migrated data from RDBMS to HDFS using SQoop?
测试人员如何测试数据是否从 RDBMS 移动到 HDFS?请仅从测试角度解释。
将数据从RDBMS移动到HDFS和将数据从RDBMS移动到HIVE有什么区别?据我所知,HIVE 不是数据库,那么为什么要将数据移动到 HIVE?
话题有点大。我会尽量简单的回答。
How a tester test if the data is moved from RDBMS to HDFS? Please
explain only from testing perspective.
我们过去就是这样做的。迁移 activity 发生后。我们编写了一堆测试脚本,其中我们使用大量随机记录轮询 RDBMS。从每条记录中准备主键,然后在配置单元 table 上搜索这些 PK,并对两个结果集进行头对头匹配。
What is the difference between moving data from RDBMS to HDFS and Moving Data from RDBMS to HIVE? As i know HIVE is not a database then why moving data to HIVE
当您将数据移动到 HDFS 时,您将整个数据集存储到 FS(即文件系统)中。 Hive 只不过是一个 Sql 包装器,它使用相同的文件并为您提供 Sql 与 read/write 相同数据的接口。
Hive 不是实际的数据库,但可以用作数据库。
假设您的基础文件是一个简单的 csv。 Hive 在创建 Hive table 时提供分隔符、文件名、列信息和几个其他参数,Hive 将表示相同的文件,就好像它是 table。
在此之后,您可以 add/delete/update 从配置单元中记录 table 或直接编辑 CSV。
测试人员如何测试数据是否从 RDBMS 移动到 HDFS?请仅从测试角度解释。
将数据从RDBMS移动到HDFS和将数据从RDBMS移动到HIVE有什么区别?据我所知,HIVE 不是数据库,那么为什么要将数据移动到 HIVE?
话题有点大。我会尽量简单的回答。
How a tester test if the data is moved from RDBMS to HDFS? Please explain only from testing perspective.
我们过去就是这样做的。迁移 activity 发生后。我们编写了一堆测试脚本,其中我们使用大量随机记录轮询 RDBMS。从每条记录中准备主键,然后在配置单元 table 上搜索这些 PK,并对两个结果集进行头对头匹配。
What is the difference between moving data from RDBMS to HDFS and Moving Data from RDBMS to HIVE? As i know HIVE is not a database then why moving data to HIVE
当您将数据移动到 HDFS 时,您将整个数据集存储到 FS(即文件系统)中。 Hive 只不过是一个 Sql 包装器,它使用相同的文件并为您提供 Sql 与 read/write 相同数据的接口。 Hive 不是实际的数据库,但可以用作数据库。
假设您的基础文件是一个简单的 csv。 Hive 在创建 Hive table 时提供分隔符、文件名、列信息和几个其他参数,Hive 将表示相同的文件,就好像它是 table。
在此之后,您可以 add/delete/update 从配置单元中记录 table 或直接编辑 CSV。