Azure 数据工厂 REST API 立即提供服务 - 分页问题

Azure Data Factory REST API to Service Now - Pagination Issue

我们正在尝试使用 Azure 数据工厂通过 REST API 连接器从 ServiceNow 中提取数据。

我们已尝试在 ADF 中使用特定的 ServiceNow 连接器，但这对于我们的目的而言效果不佳 - 我们需要使用实际值和显示值并频繁加载小负载，您无法就地过滤显示，因此太慢了。

在简单的测试中，REST API 工作正常，挑战特别在于分页。在初始 GET 请求之后，ServiceNow API returns 响应中的相关链接 header 格式如下；

Link →<url>;rel="first",<url>;rel="next",<url>;rel="last"

REST 资源数据集具有分页规则设置，文档表明可以处理 - https://docs.microsoft.com/en-us/azure/data-factory/connector-rest#pagination-support

This generic REST connector supports the following pagination patterns:

Next request’s header = header value in current response headers

我们不知道要在分页规则中放入什么 Key/Value 以便每次接收到一页数据时都导航到 rel="next" URL .

我们已经尝试了文档中描述的大部分选项 - 类似这样的选项似乎很接近：

            {"paginationRules": {
            "AbsoluteUrl": "Headers.['Link']"}

似乎 Headers.['Link'] 部分格式正确，但不够具体。

有没有人建议应该如何设置才能使这项工作正常进行？

使用 REST api，您可以通过将此参数添加到 link

来进行分页 
&sysparm_offset=10000

限制是默认的 10000 如果你想要一个较低的限制添加 

&sysparm_limit=300

并相应地调整偏移量。

如果我的理解是正确的，你想从 Link header 中提取第 3 个 作为下一页的 URL。 Link →;rel="first",;rel="next",;rel="last"

分页规则目前不支持这种情况下的字符串提取等表达式。