mongo-hadoop connector:how查询数据
mongo-hadoop connector:how to query data
我在 java(spark 应用程序)中使用 hadoop mongo 连接器。我已经通过设置此配置
读取了 mongo 数据库
Configuration mongodbConfig = new Configuration();
mongodbConfig.set("mongo.job.input.format", "com.mongodb.hadoop.MongoInputFormat");
mongodbConfig.set("mongo.input.uri", "mongodb://localhost:27017/MyCollectionName.collection");
我可以添加什么来查询数据(如.limit(100000)
)
您可以在配置中添加更多参数
示例:
mongodbConfig.set("mongo.input.query", "{'field':'value'}");
见https://github.com/mongodb/mongo-hadoop/wiki/Configuration-Reference
更多详情
我在 java(spark 应用程序)中使用 hadoop mongo 连接器。我已经通过设置此配置
读取了 mongo 数据库Configuration mongodbConfig = new Configuration();
mongodbConfig.set("mongo.job.input.format", "com.mongodb.hadoop.MongoInputFormat");
mongodbConfig.set("mongo.input.uri", "mongodb://localhost:27017/MyCollectionName.collection");
我可以添加什么来查询数据(如.limit(100000)
)
您可以在配置中添加更多参数 示例:
mongodbConfig.set("mongo.input.query", "{'field':'value'}");
见https://github.com/mongodb/mongo-hadoop/wiki/Configuration-Reference 更多详情