数据 warehouse/database/data 白痴湖

Data warehouse/database/data lake for idiots

你好天才(我敢说,明库斯?)

一些背景知识。我在一家目前没有数据仓库的小型非技术公司工作。所有数据都是从大量来源手动提取的(比如 Facebook 和推特等不同平台,客户端 excel 数据),然后存储在整个服务器的 excel 电子表格中。

我正在寻找整合这些数据的方法,并将其存储在允许我访问历史记录的某个地方(目前我必须找到所有 excel 工作表并手动整理它们, 或者返回 Facebook 重新拉取数据)

所以这是细分:

我有多个数据源

理想情况下,连接到 API 的东西可以从 Facebook 和 instagram 等平台手动提取数据,但如果不存在,也没什么大不了的。现在只是在寻找存储空间。

我很没时间。所以没有时间去学习一门新的编程语言等等

我对某些东西很满意"off-the-shelf"(存在吗?)

可以连接到 R 的东西?我有基本的 SQL 技能,中级 R 技能。

最终能够连接到 BI 解决方案(如 Looker)或自定义仪表板的东西。

有没有一家公司可以为我设置这样的东西,而无需聘请顾问?雪花是其中之一吗?

对于这个非常基础和混乱的问题,我深表歉意(真的,我是认真的)。我知道每个读到这篇文章的人都会比我先进得多,所以我感谢你们所有人对我的幽默! (请尽量少使用技术术语。#idiotproof)。

如果您现在无法购买或开发数据 warehouse/business 情报系统,那么我会研究一些可用的自助服务选项。我知道该地区有很多好的供应商。但是,我的背景是 Microsoft 内部部署和云 BI 解决方案,所以我建议查看 Microsoft PowerBI 或 Microsoft PowerQuery/PowerView/PowerPivot Excel 插件。这两个选项都具有一些提取、转换和加载功能以及数据建模和可视化功能。在较新的版本中,他们尝试合并各种数据源功能,以便轻松地将数据拉入您的工作区。

我过去在 POC 项目中使用过这两种工具,一旦 BI 程序在预算之内,这些工具所获得的知识和生成的维度模型有助于数据仓库设计。

如果你确实有一些编程技能,我建议你检查一下python。这真的很容易,但是管理数据传输最终将是一个小脚本。您应该在短短几天内就可以理解它。否则,如果您有资源,我建议您寻求企业解决方案,因为这会节省您的时间。