将压缩电子邮件附件中的 CSV 文件导入 SQL 服务器

Question

我每天都会收到来自外部第 3 方的电子邮件，其中包含以压缩 CSV 格式附加的数据。

我想做的是将这些数据自动导入到 SQL 服务器数据库。电子邮件不在服务器本地，所以大概我需要将文件解压缩并保存到服务器可以看到的某个文件夹中，然后简单地批量插入它？

是否可以让 exchange server 自动保存和解压缩，或者我需要通过另一个应用程序来完成吗？我每天都有一个访问数据库运行，可以想象这样做。访问数据库也可以 link 到 SQL 表并执行插入，但我不知道这样做与批量插入或基于 SQL 的替代方案相比的相对优点和性能？

Answer 1

这在很大程度上取决于您的环境（您拥有哪些 SQL 权限，您拥有哪个电子邮件服务器）。所以要回答这个问题并不容易。我们所做的（通过 Powershell 脚本）如下：

1.) 我们使用一个小型的自编码应用程序，它从邮件服务器下载内容。由于您没有指定服务器，因此有不同的解决方案：

Exchange WebServices
POP3 (here or here)
IMAP

2.) 导出的 SQL 文件将通过以下方式导入：

mysql -u username -p database_name < file.sql

P.S。确保您只处理您知道名称的附件，例如SQLdumpABC.zip 而不是每个 *.zip。这是为了防止您处理发送到 "solution" 的所有恶意软件；-)

Answer 2

我花了一些时间来处理这个问题，虽然它不是很漂亮，但我已经开始工作了。

首先，我使用 outlook vba 从网上和此处拼凑的片段将附件保存到文件夹中，然后解压缩它们

然后我在 SQL 中使用以下命令循环访问同一文件夹并导入 csv 文件。

CREATE TABLE #ALLFILENAMES(WHICHPATH VARCHAR(255),WHICHFILE varchar(255))

--some variables
declare @filename varchar(255),
        @path     varchar(255),
        @sql      varchar(8000),
        @cmd      varchar(1000)


--get the list of files to process:
SET @path = Full_UNC_Path
SET @cmd = 'dir ' + @path + '*.csv /b'
print @cmd
INSERT INTO  #ALLFILENAMES(WHICHFILE)
EXEC Master..xp_cmdShell @cmd
UPDATE #ALLFILENAMES SET WHICHPATH = @path where WHICHPATH is null


--cursor loop
declare c1 cursor for SELECT WHICHPATH,WHICHFILE FROM #ALLFILENAMES where WHICHFILE like '%.csv%'
open c1
fetch next from c1 into @path,@filename
While @@fetch_status <> -1
  begin

  --bulk insert won't take a variable name, so make a sql and execute it instead:
   set @sql = 'BULK INSERT tbl_MyInbound FROM ''' + @path + @filename + ''' '
       + '     WITH ( 
               FIELDTERMINATOR = '','', 
               ROWTERMINATOR = ''\n'', 
               FIRSTROW = 2 
            ) '
print @sql
exec (@sql)

  fetch next from c1 into @path,@filename
  end
close c1
deallocate c1


--Extras

--delete from ALLFILENAMES where WHICHFILE is NULL
--select * from #ALLFILENAMES
drop table #ALLFILENAMES

if (@prevXpCmdshell = 0)
begin
exec sp_configure 'xp_cmdshell', 0
reconfigure
end

if (@prevAdvancedOptions = 0)
begin
exec sp_configure 'show advanced options', 0
reconfigure
end

但是，我也想在导入文件后删除该文件以防止重新导入等。我尝试了以下但它没有用，输出 Access is denied

set @cmd = 'del ' + @path + @filename
EXEC master..cp_cmdShell @cmd

如果我能弄清楚为什么我不能删除文件，那我就很高兴了。有什么想法吗？

将压缩电子邮件附件中的 CSV 文件导入 SQL 服务器

Import CSV from zipped Email Attachment to SQL Server

csv

sql-server-2008

ms-access

unzip

exchange-server-2013