Я пытаюсь выяснить, как улучшить производительность вставки во временной таблице на SQL Server с помощью c #. Некоторые люди говорят, что я должен использовать SQLBulkCopy, но я должен делать что-то неправильно, поскольку он работает намного медленнее, чем просто строит строку вставки SQL.
Мой код для создания таблицы с использованием SQLBulkCopy приведен ниже:
public void MakeTable(string tableName, List<string> ids, SqlConnection connection)
{
SqlCommand cmd = new SqlCommand("CREATE TABLE ##" + tableName + " (ID int)", connection);
cmd.ExecuteNonQuery();
DataTable localTempTable = new DataTable(tableName);
DataColumn id = new DataColumn();
id.DataType = System.Type.GetType("System.Int32");
id.ColumnName = "ID";
localTempTable.Columns.Add(id);
foreach (var item in ids)
{
DataRow row = localTempTable.NewRow();
row[0] = item;
localTempTable.Rows.Add(row);
localTempTable.AcceptChanges();
}
using (SqlBulkCopy bulkCopy = new SqlBulkCopy(connection))
{
bulkCopy.DestinationTableName = "##" + tableName;
bulkCopy.WriteToServer(localTempTable);
}
}
Таким образом, мои вставки занимают много времени. Я получил свои вставки для работы быстрее по-другому:
Я создал бит inserts как строку и присоединился к нему в инструкции SQL create temp table:
Создание строки вставки:
public string prepareInserts(string tableName, List<string> ids)
{
List<string> inserts = new List<string>();
var total = ids.Select(p => p).Count();
var size = 1000;
var insert = 1;
var skip = size * (insert - 1);
var canPage = skip < total;
while (canPage)
{
inserts.Add(" insert into ##" + tableName + @" (ID) values " + String.Join(",", ids.Select(p => string.Format("({0})", p))
.Skip(skip)
.Take(size)
.ToArray()));
insert++;
skip = size * (insert - 1);
canPage = skip < total;
}
string joinedInserts = String.Join("\r\n", inserts.ToArray());
return joinedInserts;
}
Используя их в инструкции SQL после создания запроса:
inserts = prepareInserts(tableName, ids);
var query = @"IF EXISTS
(
SELECT *
FROM tempdb.dbo.sysobjects
WHERE ID = OBJECT_ID(N'tempdb..##" + tableName + @"')
)
BEGIN
DELETE FROM ##" + tableName + @"
END
ELSE
BEGIN
CREATE TABLE ##" + tableName + @"
(ID int)
END " + inserts;
var command = new SqlCommand(query, sqlConnection);
...
Поскольку я видел, как люди рассказывали мне (при обмене столами https://dba.stackexchange.com/questions/44217/fastest-way-to-insert-30-thousand-rows-in-sql-server/44222?noredirect= 1 # comment78137_44222 ) Что я должен использовать SQLBulkCopy, и это будет быстрее, я верю, что я должен улучшить способ, которым я это делаю. Поэтому, если кто-нибудь может предложить, как я могу улучшить свой код SQLBulkCopy или скажите мне, есть ли лучший оператор insert, который может улучшить производительность моего приложения, что было бы здорово.
Ваша проблема может быть в localTempTable.AcceptChanges();
Поскольку он фиксирует ваши изменения.
Если вы сделаете следующее, я думаю, что он будет работать быстрее
foreach (var item in ids)
{
DataRow row = localTempTable.NewRow();
row[0] = item;
localTempTable.Rows.Add(row);
}
localTempTable.AcceptChanges();
using (SqlBulkCopy bulkCopy = new SqlBulkCopy(connection))
{
bulkCopy.DestinationTableName = "##" + tableName;
bulkCopy.WriteToServer(localTempTable);
}
Из MSDN - DataSet.AcceptChanges
Выполняет все изменения, внесенные в этот DataSet с момента его загрузки или с момента последнего вызова AcceptChanges.
Я сам запускаю этот код с объектами StopWatch для измерения времени. Itâ € ™ s AcceptChanges на каждой итерации, что делает медленным.
public void MakeTable(string tableName, List<string> ids, SqlConnection connection)
{
SqlCommand cmd = new SqlCommand("CREATE TABLE ##" + tableName + " (ID int)", connection);
cmd.ExecuteNonQuery();
DataTable localTempTable = new DataTable(tableName);
DataColumn id = new DataColumn();
id.DataType = System.Type.GetType("System.Int32");
id.ColumnName = "ID";
localTempTable.Columns.Add(id);
System.Diagnostics.Stopwatch sw1 = new System.Diagnostics.Stopwatch();
sw1.Start();
foreach (var item in ids)
{
DataRow row = localTempTable.NewRow();
row[0] = item;
localTempTable.Rows.Add(row);
}
localTempTable.AcceptChanges();
long temp1 = sw1.ElapsedMilliseconds;
sw1.Reset();
using (SqlBulkCopy bulkCopy = new SqlBulkCopy(connection))
{
bulkCopy.DestinationTableName = "##" + tableName;
bulkCopy.WriteToServer(localTempTable);
}
long temp2 = sw1.ElapsedMilliseconds;
}
Результат, когда AccpetChanges находится внутри цикла foreach
И когда это не
Разница на 3 порядка :)