Каким образом можно вставить миллионы записей из файла csv в базу данных SQL Server?
c# csv database sqlbulkcopy sql-server
Вопрос
Мне нужно вставить 40 миллионов записей из .csv файла в базу данных, а ниже - процесс, который я выполнил.
Служба Windows 1:
- Чтение CSV
- проверка записей
- вставка допустимых записей в таблицу успеха (промежуточная таблица) с использованием
SqlBulkCopy.
Служба Windows 2.
- Получение 10 000 записей из таблицы успеха за раз
- запуск foreach для этих 10 000
- отправка каждой записи в базу данных для вставки в основную таблицу.
Служба Windows 1 занимает около 30-40 минут, но для работы с Windows 2 требуется около 5 часов для выполнения задачи (минимальное время). У меня есть 2 способа сделать это, но не могу решить, что лучше и открыто для предложений.
- Создание 4 отдельных окон и обработка 40000 записей одновременно
- Используя часы работы, мы можем использовать цикл while
- Процедура вызова async из службы Windows
Мое самое большое сомнение здесь в том, что мы используем транзакции в процедуре и будем асинхронно работать с ним, потому что, согласно моему предположению, используя блокировки транзакций, таблица и другие процессы должны работать над этим.
Популярные ответы
Я думаю, что вы используете неправильный инструмент для этой работы. Приложения c # могут сделать трюк, но есть гораздо более эффективный способ сделать это с помощью служб интеграции.
Я угадываю здесь, но эти таблицы в середине должны трансформироваться или проверяться, или, может быть, для переноса импорта?
SSIS может выполнять все эти действия, используя лимит журнала и инструменты SQL Bulk Import. В настоящее время я делаю импорт данных в больницу, который составляет около 8 000 000 записей каждую ночь, и мне требуется несколько минут, чтобы не делать часы.
Хорошее чтение тоже о том, как SQL имеет дело с такими большими входами данных, эта статья
Лицензировано согласно: CC-BY-SA with attribution
Не связан с Stack Overflow