Error: "Unable to make http request" from custom assembly

Error: "Unable to make http request" from custom assembly

我的 Data Lake Analytics 作业加载了实现 IExtractor 的自定义 .NET 程序集。例如,这个提取器在仅重新排列文本文件中的数据时效果很好,但我真正想做的是通过 HTTP 从供应商的远程 API 中提取我的输入数据。因此,我修改了我的提取器实现以发出本质上是 REST 请求的内容。

当我那个时,我在我的分析日志中收到错误"Unable to make http request"。我认为 Microsoft 限制您在 Analytics 中的自定义程序集内可以做什么和不能做什么是有道理的,但我没有在文档中找到任何直接说明的内容:you can't make HTTP requests within自定义程序集。

所以我的问题分为两部分:

  1. Azure Data Lake Analytics 中自定义程序集的限制记录在哪里?
  2. 如果我发现大量静态输入文件不是获取最新数据的不雅方式,那么将我的输入数据提取到 Analytics 作业中的更好方法是什么?

此限制将记录在即将发布的有关编写自定义运算符的文档中(计划最迟在年底发布)。

我通常会在我的演示文稿中提到它,但我注意到它在幻灯片中并不明确。我会解决这个问题 :).

我们不允许外部调用的主要原因是设计糟糕的 UDO 扩展到大量数据可能看起来像对该外部服务的 REST 端点的 DDOS,因此要么关闭它,要么将 Azure 放到黑名单.

请在 http://aka.ms/adlfeedback 告诉我们您希望实现的目标,我们将看看是否可以添加一些功能来实现这一目标,而不会出现上述缺点。