如何在 HTML 页中显示来自 CSV 文件的大量数据?
Ways to display large amount of data from CSV files in HTML pages?
伙计们。
我需要开发一些东西在工作中使用,但我有一些疑问,所以我希望有人能帮助我:)
情况:
我在一家公司的信息安全部门工作。我们使用 QualysGuard 工具来搜索客户服务器中的漏洞。我的职责之一是管理关键绩效指标 (KPI),以跟踪我们在几周内应用了多少补丁。我以 CSV 格式下载数据,然后在 Excel 中制作了很多东西来组织所有内容,按客户名称、操作系统和漏洞的严重性排序。
问题:
下载的 CSV 文件中有大量数据(每个文件有 35MB 和 80000 多行),我必须做很多重复性工作才能最终使这些文件看起来很好(创建数据透视表,按资产排序, OS 和严重性,不同组的不同数据量(例如,一些客户有 100 多台服务器,这意味着他们的服务器中存在的漏洞比只有 2 台服务器的客户多得多。我必须每周都这样做。在月底,我必须为每个客户和每个 OS 列出前 10 个最易受攻击的服务器。还要将这些数据绘制成图表。
我需要:
我的老板问我是否可以创建一个系统(最好是基于网络的)来读取这些 CSV 文件并显示它们的数据,并可能用它们绘制一些图表。
问题:
最好的方法是什么?我想过使用 PHP,我在解析 CSV 文件数据和使用它们方面有一些经验,但是,由于 PHP 是一种服务器端语言,我想我将无法动态显示数据。
所以我想知道在这种情况下哪种编程语言最好? Java脚本会处理它吗?或者带有 python 或 ruby 的东西?或者可能是一些带有 Java 的网络应用程序?甚至 PHP,如果结合 MySQL 查询? (我不确定我是否能够为此使用公司的数据库,因此,MySQL 解决方案不是我的首选 XD)
有没有人遇到过这样的麻烦?
我不是要任何人给我写程序,我只是需要一些提示。
感谢所有回答问题的人:)
如果没有答案,至少感谢您阅读 :)
乍一看,语言并不重要。您必须将其加载到服务器进行处理,因为从 JavaScript 开始您无法访问本地文件。
我的建议是(如果你真的需要处理 CSV 文件)加载文件,从数据生成一个 JSON 对象并从客户端使用 JSON 对象,使用 JavaScript.
根据文件的大小,您可能需要对数据进行分页,这样就不需要下载整个数据。但是最好将它加载到数据库上,然后根据需要使用 AJAX 加载数据,甚至使用一些客户端组件绘制它。
如果你需要动态的东西,你可以使用 php 和 ajax。
将 CSV 转换为 json/XML 并解析以获取您的内容,或者您可以使用 fgetcsv() 函数从文件指针获取行并解析 CSV 字段。 fgetcsv() 函数 returns 包含读取字段的数组。
伙计们。 我需要开发一些东西在工作中使用,但我有一些疑问,所以我希望有人能帮助我:)
情况: 我在一家公司的信息安全部门工作。我们使用 QualysGuard 工具来搜索客户服务器中的漏洞。我的职责之一是管理关键绩效指标 (KPI),以跟踪我们在几周内应用了多少补丁。我以 CSV 格式下载数据,然后在 Excel 中制作了很多东西来组织所有内容,按客户名称、操作系统和漏洞的严重性排序。
问题: 下载的 CSV 文件中有大量数据(每个文件有 35MB 和 80000 多行),我必须做很多重复性工作才能最终使这些文件看起来很好(创建数据透视表,按资产排序, OS 和严重性,不同组的不同数据量(例如,一些客户有 100 多台服务器,这意味着他们的服务器中存在的漏洞比只有 2 台服务器的客户多得多。我必须每周都这样做。在月底,我必须为每个客户和每个 OS 列出前 10 个最易受攻击的服务器。还要将这些数据绘制成图表。
我需要: 我的老板问我是否可以创建一个系统(最好是基于网络的)来读取这些 CSV 文件并显示它们的数据,并可能用它们绘制一些图表。
问题: 最好的方法是什么?我想过使用 PHP,我在解析 CSV 文件数据和使用它们方面有一些经验,但是,由于 PHP 是一种服务器端语言,我想我将无法动态显示数据。 所以我想知道在这种情况下哪种编程语言最好? Java脚本会处理它吗?或者带有 python 或 ruby 的东西?或者可能是一些带有 Java 的网络应用程序?甚至 PHP,如果结合 MySQL 查询? (我不确定我是否能够为此使用公司的数据库,因此,MySQL 解决方案不是我的首选 XD) 有没有人遇到过这样的麻烦? 我不是要任何人给我写程序,我只是需要一些提示。 感谢所有回答问题的人:) 如果没有答案,至少感谢您阅读 :)
乍一看,语言并不重要。您必须将其加载到服务器进行处理,因为从 JavaScript 开始您无法访问本地文件。
我的建议是(如果你真的需要处理 CSV 文件)加载文件,从数据生成一个 JSON 对象并从客户端使用 JSON 对象,使用 JavaScript.
根据文件的大小,您可能需要对数据进行分页,这样就不需要下载整个数据。但是最好将它加载到数据库上,然后根据需要使用 AJAX 加载数据,甚至使用一些客户端组件绘制它。
如果你需要动态的东西,你可以使用 php 和 ajax。 将 CSV 转换为 json/XML 并解析以获取您的内容,或者您可以使用 fgetcsv() 函数从文件指针获取行并解析 CSV 字段。 fgetcsv() 函数 returns 包含读取字段的数组。