Azure Sentinel 引用大量数据
Azure Sentinel referencing large sets of data
我一直在努力寻找最有效(优雅)的解决方案来实现我想要做的事情。我想听听社区的意见,谢谢。
情况:
- 需要在 Sentinel 上对 IP 地址记录进行地理丰富。示例:成功的登录日志,因为 MSFT 扩充有时会在 IP 扩充映射中生成“未知”结果。
- 外部参考文件(子网,country_code,country_name)公开可用,但大小和记录数量相当大。 (~12MB,200K+ 条记录)。
问题:
- 尝试使用存储帐户 blob 托管“引用 table”,显然达到了最大限制。存储帐户中的 blob 大小。
- 看起来最多。使用 'externaldata' 命令从外部源读取工作簿上的 30.000 条记录。因此,只能读取和引用部分参考数据。
考虑的选项:
- 将引用 table 引入日志分析工作区,对此自定义引用 table 执行 join/lookup 以进行充实
- 将 SigninLogs table 中的 IP 地址导出到 blob 存储,使用 logicapps 丰富 IP 地址,然后将其放回 'reference' blob 存储。然后使用 'externaldata' 语法读取 'reference' blob 存储。
观察到的限制:
- 意识到 Sentinel 无法执行 API 从外部数据进行充实的调用。 (CMIIW)。我用 Splunk 做过类似的事情,我们可以通过多次 API 调用外部数据库来动态丰富数据。
- 获取数据 - 如您所述,获取数据并连接表。不过,您需要定期摄取它以确保您可以在所需时间范围内查找数据(例如,如果您有分析规则,那么这只会查找 14 天的数据)。
- 使用 Playbook - 如果您想要 Geo-IP 查找 post 事件,您可以使用 Logic App
执行此操作
- 使用 Jupyter Notebooks - 这可以灵活地对外部位置执行 API 调用并将数据连接到 Sentinel 中托管的数据。示例笔记本是 IP Explorer Notebook. Use Jupyter notebooks to hunt for security threats
- 威胁情报 - 微软用GeoLocation and WhoIs data丰富了所有导入的威胁情报指标,与其他指标详细信息一起显示。
我一直在努力寻找最有效(优雅)的解决方案来实现我想要做的事情。我想听听社区的意见,谢谢。
情况:
- 需要在 Sentinel 上对 IP 地址记录进行地理丰富。示例:成功的登录日志,因为 MSFT 扩充有时会在 IP 扩充映射中生成“未知”结果。
- 外部参考文件(子网,country_code,country_name)公开可用,但大小和记录数量相当大。 (~12MB,200K+ 条记录)。
问题:
- 尝试使用存储帐户 blob 托管“引用 table”,显然达到了最大限制。存储帐户中的 blob 大小。
- 看起来最多。使用 'externaldata' 命令从外部源读取工作簿上的 30.000 条记录。因此,只能读取和引用部分参考数据。
考虑的选项:
- 将引用 table 引入日志分析工作区,对此自定义引用 table 执行 join/lookup 以进行充实
- 将 SigninLogs table 中的 IP 地址导出到 blob 存储,使用 logicapps 丰富 IP 地址,然后将其放回 'reference' blob 存储。然后使用 'externaldata' 语法读取 'reference' blob 存储。
观察到的限制:
- 意识到 Sentinel 无法执行 API 从外部数据进行充实的调用。 (CMIIW)。我用 Splunk 做过类似的事情,我们可以通过多次 API 调用外部数据库来动态丰富数据。
- 获取数据 - 如您所述,获取数据并连接表。不过,您需要定期摄取它以确保您可以在所需时间范围内查找数据(例如,如果您有分析规则,那么这只会查找 14 天的数据)。
- 使用 Playbook - 如果您想要 Geo-IP 查找 post 事件,您可以使用 Logic App 执行此操作
- 使用 Jupyter Notebooks - 这可以灵活地对外部位置执行 API 调用并将数据连接到 Sentinel 中托管的数据。示例笔记本是 IP Explorer Notebook. Use Jupyter notebooks to hunt for security threats
- 威胁情报 - 微软用GeoLocation and WhoIs data丰富了所有导入的威胁情报指标,与其他指标详细信息一起显示。