使用 pig 和 mongodb 导入数据时添加 mongo 查询

Question

在 apache pig 中使用 MongoLoader 导入数据时，您将如何附加查询。我可以在 mongo-hadoop wiki 中看到对 "mongo.input.query" 的引用，但它似乎与标准地图减少功能有关，而不是 Apache Pig。

raw = LOAD 'mongodb://localhost:27017/demo.yield_historical' USING com.mongodb.hadoop.pig.MongoLoader;

会和这个类似吗？

raw = LOAD 'mongodb://localhost:27017/demo.yield_historical' USING com.mongodb.hadoop.pig.MongoLoader WITH mongo.input.query={"_id":{"$gt":{"$date":1182470400000}}};

Answer 1

你可以这样做：

set mongo.input.query '{"value.task.creation":{ "$gte": { "$date": 1421366400}, "$lt" : { "$date": 1421539200} } }'

data = LOAD 'mongodb://54.93.131.188:27017/foo.units'
          USING com.mongodb.hadoop.pig.MongoLoader(); 
DUMP data;