SqlBulkCopy错误处理/继续错误

ado.net c# sqlbulkcopy

我试图将大量数据插入SQL服务器。我的目标表有一个名为“Hash”的唯一索引。

我想用SqlBulkCopy替换我的SqlDataAdapter实现。在SqlDataAapter中有一个名为“ContinueUpdateOnError”的属性,当设置为true时,adapter.Update(table)将插入所有可能的行并使用RowError属性标记错误行。

问题是我如何使用SqlBulkCopy尽可能快地插入数据,同时跟踪哪些行被插入以及哪些行没有(由于唯一索引)?

以下是其他信息:

  1. 该过程是迭代的,通常按计划重新设定。

  2. 源表和目标表可能很大,有时可能有数百万行。

  3. 尽管可以首先检查哈希值,但每行需要两个事务(首先从目标表中选择哈希,然后执行插入)。我认为在adapter.update(table)的情况下,检查RowError比检查每行的哈希命中要快。

一般承认的答案

SqlBulkCopy具有非常有限的错误处理功能,默认情况下它甚至不检查约束。

但是,它速度快,真的非常快。

如果要解决重复键问题,请确定批处理中哪些行是重复的。一种选择是:

  • 开始转
  • 在表格上抓一个tablockx选择所有当前的“Hash”值并将它们放入HashSet中。
  • 过滤掉重复项并报告。
  • 插入数据
  • commit tran

如果要插入大型集合并且表中初始数据的大小不是太大,则此过程将有效。

您能否请扩展您的问题以包括问题的其余部分。

编辑

现在我在这里有更多的上下文是你可以采取的另一种方式:

  • 将批量插入放入临时表中。
  • 启动serializable tran
  • 选择目标表中已有的所有临时行...报告它们
  • 将临时表中的数据插入到真实表中,在哈希上执行左连接并包括所有新行。
  • 提交tran

这个过程在往返旅行中非常轻松,并且考虑到你的规格应该最终真的很快;


热门答案

与已经提出的方法略有不同;执行SqlBulkCopy并捕获抛出的SqlException

    Violation of PRIMARY KEY constraint 'PK_MyPK'. Cannot insert duplicate 
key in object 'dbo.MyTable'. **The duplicate key value is (17)**.

然后,您可以从ID 17(第一个重复的记录)中删除源中的所有项目。我在这里做的假设适用于我的情况,可能不适合你的情况;即复制是由完全相同的数据从先前失败导致SqlBulkCopy由于在上载过程SQL /网络错误。



许可下: CC-BY-SA with attribution
不隶属于 Stack Overflow
这个KB合法吗? 是的,了解原因
许可下: CC-BY-SA with attribution
不隶属于 Stack Overflow
这个KB合法吗? 是的,了解原因