使用 C#、VBA 和 Python 的开发人员想要将数据发送到数据库中

Question

我有一个问题，我有很多困惑。我刚毕业，开始在一家公司工作，那里有很多文本文件中的旧数据，所以我使用 Python 组织了所有这些数据，并生成了一个 excel 文件。所以对于情况来说还是不错的。

问题，来自不同开发商的传感器的新传入数据

1. 大多数人使用 VB 脚本，人们测试数据并使用分隔符（和 |）将数据保存在文本文件中。

2. 其他一些人用 C# 开发项目，这些人得到了一些不同类型的文本数据，带有不同的分隔符（: 和 ,）

我必须设置数据库的问题，我如何将所有这些开发人员数据自动放入数据库中，对于这些文本数据，我已经为其创建了列名和结构。

我是否需要为所有这些开发人员开发单独的界面，或者是否有任何我必须关注的通用界面，或者我仍然缺乏从哪里开始。

希望大家理解我的处境。

此致 维诺德

Answer 1

这些类型的实现和设计模式确实取决于您的公司和您工作的开发环境。

至于选择正确的数据库，这还取决于数据类型、速度、容量以及贵公司希望使用该数据回答的常见问题。

一些非常通用的准则：

1. 示意图数据库不同于 "NoSQL" 数据库
2. 在文本中搜索不同于搜索更简单的原始类型，您必须知道要做什么！
3. 如果可以，将 VB 脚本和 C# 文本文件转换为流行的数据结构文件（即 JSON、CSV（逗号分隔的文本文件相同））可能会对您有所帮助将数据存储在几乎任何数据库中。
4. 为每个数据供应商实现特定接口没有对错之分，这取决于关键的备选方案和您的编码风格
5. 咨询他人并准备好案例研究！

希望对您有所帮助

Answer 2

您应该考虑使用 Excel 的 Power Query 工具。您可以从多个位置接收几乎任何文件类型（包括文本文件），轻松清理和转换数据（您可以随意删除），并且存储基本上是无限的，而不是常规 excel 传播 sheet 最大约 140 万行。

Answer 3

由于您正尝试从不同来源获取数据，并且您使用的是 SQL 服务器，因此您可以查看 SQL 服务器集成服务 (SSIS)。您基本上会创建 SSIS 包，每个传入数据源一个，然后将数据传输到一个同类数据库中。

Answer 4

不知道你们公司的情况，但是PDI（Pentaho Data Integration tool，对数据的转换很不错，Community Edition是免费的！

但是，如果您将它们生成到 excel 文件中，如果您的数据相对较小，Power Query 可能是该项目的更好工具。