SqlBulkCopy.WriteToServer 在 table 上自动执行 Select *
SqlBulkCopy.WriteToServer executes automatically a Select * on the table
我有一个 C# 4.5 应用程序,它从网络接收记录并将它们写入 Sql 服务器 table。
我正在使用 SqlBulkCopy 将 DataTable 对象快速插入 SQL table.
这是我使用的代码:
public bool BulkCopy(string tableName, DataTable dataToInsert)
{
try{
using (SqlBulkCopy tmpBulkCopy = new SqlBulkCopy(dbaseConnection))
{
// Set the destination table.
tmpBulkCopy.DestinationTableName = tableName;
// Define column mappings
foreach (DataColumn dc in dataToInsert.Columns)
{
tmpBulkCopy.ColumnMappings.Add(dc.ColumnName, dc.ColumnName);
}
// Perform the Bulk Copy
tmpBulkCopy.WriteToServer(dataToInsert);
}
}
catch (Exception)
{
return false;
}
return true;
}
通常 DataTable 对象包含 1,000 条记录,而 SQL Table 可能有约 500M 个条目。
我正在执行一些调试,以确定我们应用程序中可能存在的瓶颈,我发现每次调用 WriteToServer 时,sql table 上的 Select *执行。
我正在使用此查询获取数据库中最近 50 个查询的列表 运行:
SELECT TOP 50 * FROM(SELECT COALESCE(OBJECT_NAME(s2.objectid),'Ad-Hoc') AS ProcName,
execution_count,s2.objectid,
(SELECT TOP 1 SUBSTRING(s2.TEXT,statement_start_offset / 2+1 ,
( (CASE WHEN statement_end_offset = -1
THEN (LEN(CONVERT(NVARCHAR(MAX),s2.TEXT)) * 2)
ELSE statement_end_offset END)- statement_start_offset) / 2+1)) AS sql_statement,
last_execution_time
FROM sys.dm_exec_query_stats AS s1
CROSS APPLY sys.dm_exec_sql_text(sql_handle) AS s2 ) x
WHERE sql_statement NOT like 'SELECT TOP 50 * FROM(SELECT %'
--and OBJECTPROPERTYEX(x.objectid,'IsProcedure') = 1
ORDER BY last_execution_time DESC
这是 SqlBulkCopy 对象的正常行为吗?由于 SQL Table 相当大,我现在担心 Select 查询对整体性能的影响。
select * 是在 SET FMTONLY ON 的情况下执行的。所以没有行被处理。此语句必须执行到 return 有关目的地 table 的信息。
No rows are processed or sent to the client because of the request when SET FMTONLY is turned ON.
参考:https://docs.microsoft.com/en-us/sql/t-sql/statements/set-fmtonly-transact-sql
这是一个例子:
select @@trancount; SET FMTONLY ON select * FROM tag SET FMTONLY OFF exec tempdb..sp_tablecollations_100 N'.[#ZZZProjects_f384e3cc_1428_459d_8853_a50ed818ccca]'
我有一个 C# 4.5 应用程序,它从网络接收记录并将它们写入 Sql 服务器 table。
我正在使用 SqlBulkCopy 将 DataTable 对象快速插入 SQL table.
这是我使用的代码:
public bool BulkCopy(string tableName, DataTable dataToInsert)
{
try{
using (SqlBulkCopy tmpBulkCopy = new SqlBulkCopy(dbaseConnection))
{
// Set the destination table.
tmpBulkCopy.DestinationTableName = tableName;
// Define column mappings
foreach (DataColumn dc in dataToInsert.Columns)
{
tmpBulkCopy.ColumnMappings.Add(dc.ColumnName, dc.ColumnName);
}
// Perform the Bulk Copy
tmpBulkCopy.WriteToServer(dataToInsert);
}
}
catch (Exception)
{
return false;
}
return true;
}
通常 DataTable 对象包含 1,000 条记录,而 SQL Table 可能有约 500M 个条目。
我正在执行一些调试,以确定我们应用程序中可能存在的瓶颈,我发现每次调用 WriteToServer 时,sql table 上的 Select *执行。
我正在使用此查询获取数据库中最近 50 个查询的列表 运行:
SELECT TOP 50 * FROM(SELECT COALESCE(OBJECT_NAME(s2.objectid),'Ad-Hoc') AS ProcName,
execution_count,s2.objectid,
(SELECT TOP 1 SUBSTRING(s2.TEXT,statement_start_offset / 2+1 ,
( (CASE WHEN statement_end_offset = -1
THEN (LEN(CONVERT(NVARCHAR(MAX),s2.TEXT)) * 2)
ELSE statement_end_offset END)- statement_start_offset) / 2+1)) AS sql_statement,
last_execution_time
FROM sys.dm_exec_query_stats AS s1
CROSS APPLY sys.dm_exec_sql_text(sql_handle) AS s2 ) x
WHERE sql_statement NOT like 'SELECT TOP 50 * FROM(SELECT %'
--and OBJECTPROPERTYEX(x.objectid,'IsProcedure') = 1
ORDER BY last_execution_time DESC
这是 SqlBulkCopy 对象的正常行为吗?由于 SQL Table 相当大,我现在担心 Select 查询对整体性能的影响。
select * 是在 SET FMTONLY ON 的情况下执行的。所以没有行被处理。此语句必须执行到 return 有关目的地 table 的信息。
No rows are processed or sent to the client because of the request when SET FMTONLY is turned ON.
参考:https://docs.microsoft.com/en-us/sql/t-sql/statements/set-fmtonly-transact-sql
这是一个例子:
select @@trancount; SET FMTONLY ON select * FROM tag SET FMTONLY OFF exec tempdb..sp_tablecollations_100 N'.[#ZZZProjects_f384e3cc_1428_459d_8853_a50ed818ccca]'