LuceneNet - 任何 Hadoop/HDFSDirectory 实现?
LuceneNet - Any Hadoop/HDFSDirectory implementation?
我想知道有一个 JAVA 实现 http://lucene.apache.org/solr/4_7_0/solr-core/org/apache/solr/store/hdfs/HdfsDirectory.html,是否存在类似的 .NET 库?
我必须创建自己的实现,因为我没有找到具体的 .NET 实现。这是我用来创建 Hdfs 目录的来源:
- 根据您的需要执行与简单文件系统目录类似的实现
SimpleFSDirectory.cs
https://svn.apache.org/repos/asf/lucene.net/tags/Lucene.Net_3_0_3_RC2_final/src/core/Store/
- 获取在源代码/dev 的 codeplex http://hadoopsdk.codeplex.com/SourceControl/latest#readme.md
中找到的最新 Microsoft.Hadoop.MapReduce
库
并使用IHdfsFile
访问目录。
var client = Microsoft.Hadoop.MapReduce.Hadoop.MakeAzure(...);
IHdfsFile fs = client.StorageSystem;
fs.LsFiles(...); // make sure the dir path end with "/"
fs.MakeDirectory(...);
fs.Exists(...);
fs.WriteAllBytes(...);
fs.Delete(...);
并使用 HdfsPath.Combine(path1, path2);
创建路径。
注意 Azure 中的 Hadoop 成本需要至少 2 个头节点 A3 和 1+ 个工作节点...每月最低成本为 714.24 美元https://azure.microsoft.com/en-us/pricing/calculator/
我想知道有一个 JAVA 实现 http://lucene.apache.org/solr/4_7_0/solr-core/org/apache/solr/store/hdfs/HdfsDirectory.html,是否存在类似的 .NET 库?
我必须创建自己的实现,因为我没有找到具体的 .NET 实现。这是我用来创建 Hdfs 目录的来源:
- 根据您的需要执行与简单文件系统目录类似的实现
SimpleFSDirectory.cs
https://svn.apache.org/repos/asf/lucene.net/tags/Lucene.Net_3_0_3_RC2_final/src/core/Store/ - 获取在源代码/dev 的 codeplex http://hadoopsdk.codeplex.com/SourceControl/latest#readme.md 中找到的最新
Microsoft.Hadoop.MapReduce
库
并使用IHdfsFile
访问目录。
var client = Microsoft.Hadoop.MapReduce.Hadoop.MakeAzure(...);
IHdfsFile fs = client.StorageSystem;
fs.LsFiles(...); // make sure the dir path end with "/"
fs.MakeDirectory(...);
fs.Exists(...);
fs.WriteAllBytes(...);
fs.Delete(...);
并使用 HdfsPath.Combine(path1, path2);
创建路径。
注意 Azure 中的 Hadoop 成本需要至少 2 个头节点 A3 和 1+ 个工作节点...每月最低成本为 714.24 美元https://azure.microsoft.com/en-us/pricing/calculator/