Самый быстрый способ вставить в таблицу SQL Server из .NET-кода?

Ответ 1

Если вы управляете 70k строк в секунду, вам пока очень повезло. Но я подозреваю это, потому что у вас очень простая схема.

Я не могу поверить, что вы спрашиваете об этой нагрузке на

• виртуальный сервер
• одиночный массив
• Диски SATA

Сеть и ЦП совместно используются, IO ограничено: вы не можете использовать все ресурсы. Любая статистика загрузки, которую вы видите, не очень полезна. Я подозреваю, что сетевая нагрузка, которую вы видите, представляет собой трафик между двумя виртуальными серверами, и вы будете привязаны к IO, если вы решите этот

Прежде чем продолжить, прочитайте 10 уроков из 35 тыс. т/с. Он не использовал виртуальную коробку.

Вот что я сделал бы, не предполагая возможности SAN и без DR, если вы хотите увеличить объемы.

• Купите 2 больших phyical сервера, RAM RAM типа unleveant, максимальная RAM, установите x64 install
• Диски + контроллеры = самые быстрые шпиндели, самый быстрый SCSI. Или отличное NAS-хранилище.
• 1000 МБ + сетевые адаптеры
• RAID 10 с диском 6-10 для файла один для только вашей базы данных
• Оставшийся диск RAID 5 или RAID 10 для файла данных

Для справки наша максимальная нагрузка составляет 12 миллионов строк в час (16 ядер, 16 ГБ, SAN, x64), но у нас есть сложность в нагрузке. Мы не в состоянии.

Ответ 2

Есть ли какие-либо индексы на столе, с которыми вы могли бы обойтись? EDIT: спрашивайте, когда вы печатали.

Можно ли превратить цену в целое число, а затем делить на 1000 или на какие-либо запросы?

Ответ 3

Вы пытались добавить pk в таблицу? Это улучшает скорость?

Существует также основанный на наборах способ использования таблиц таблиц для импорта данных csv из http://www.sqlservercentral.com/articles/T-SQL/62867/ (рядом с нижней, требуется бесплатная регистрация, но стоит того).

Вам может понравиться попробовать и проверить его производительность... с таблицей с таблицей с минимальной таблицей.

Ответ 4

Из ответов, которые я читаю здесь, кажется, что у вас действительно есть проблема с оборудованием, а не проблема с кодом. В идеале вы получите повышение производительности, предоставив больше дискового ввода-вывода или пропускной способности сети, или запустив программу на той же виртуальной машине, на которой размещена база данных.

Однако я хочу поделиться идеей о том, что вставки параметров таблицы действительно идеальны для большой передачи данных; хотя SqlBulkCopy выглядит так же быстро, что он значительно менее гибкий.

Я написал статью о теме здесь: http://www.altdevblogaday.com/2012/05/16/sql-server-high-performance-inserts/

Общий ответ: вы грубо хотите создать тип таблицы:

CREATE TYPE item_drop_bulk_table_rev4 AS TABLE (
    item_id BIGINT,
    monster_class_id INT,
    zone_id INT,
    xpos REAL,
    ypos REAL,
    kill_time datetime
)

Затем вы создаете хранимую процедуру для непосредственного копирования из параметра таблицы в фактическую таблицу, поэтому количество шагов между ними меньше:

CREATE PROCEDURE insert_item_drops_rev4
    @mytable item_drop_bulk_table_rev4 READONLY
AS

INSERT INTO item_drops_rev4 
    (item_id, monster_class_id, zone_id, xpos, ypos, kill_time)
SELECT 
    item_id, monster_class_id, zone_id, xpos, ypos, kill_time 
FROM 
    @mytable

Код SQL Server выглядит следующим образом:

DataTable dt = new DataTable();
dt.Columns.Add(new DataColumn("item_id", typeof(Int64)));
dt.Columns.Add(new DataColumn("monster_class_id", typeof(int)));
dt.Columns.Add(new DataColumn("zone_id", typeof(int)));
dt.Columns.Add(new DataColumn("xpos", typeof(float)));
dt.Columns.Add(new DataColumn("ypos", typeof(float)));
dt.Columns.Add(new DataColumn("timestamp", typeof(DateTime)));

for (int i = 0; i < MY_INSERT_SIZE; i++) {
    dt.Rows.Add(new object[] { item_id, monster_class_id, zone_id, xpos, ypos, DateTime.Now });
}

// Now we&#039;re going to do all the work with one connection!
using (SqlConnection conn = new SqlConnection(my_connection_string)) {
    conn.Open();
    using (SqlCommand cmd = new SqlCommand("insert_item_drops_rev4", conn)) {
        cmd.CommandType = CommandType.StoredProcedure;

        // Adding a "structured" parameter allows you to insert tons of data with low overhead
        SqlParameter param = new SqlParameter("@mytable", SqlDbType.Structured);
        param.Value = dt;
        cmd.Parameters.Add(param);
        cmd.ExecuteNonQuery();
    }
}

Ответ 5

Все медленно.

Некоторое время назад мы решили аналогичную проблему (вставляем в DB десятки тысяч данных о ценах, так как я помню, что это было около 50K за период времени, и у нас было около 8 временных рамок, с которыми все столкнулись: 00, так что это было о 400K), и он работал очень быстро для нас (MS SQL 2005). Представьте, как он будет работать сегодня (SQL 2012):

<...init...>
if(bcp_init(m_hdbc, TableName, NULL, NULL, DB_IN) == FAIL)
    return FALSE;

int col_number = 1;

// Bind columns
if(bcp_bind(m_hdbc, (BYTE *)&m_sd.SymbolName, 0, 16, (LPCBYTE)"", 1, 0, col_number++) == FAIL) return FALSE;
if(bcp_bind(m_hdbc, (BYTE *)&m_sd.Time, 0, 4, 0, 0, 0, col_number++) == FAIL) return FALSE;
if(bcp_bind(m_hdbc, (BYTE *)&m_sd.Open, 0, 8, 0, 0, 0, col_number++) == FAIL) return FALSE;
if(bcp_bind(m_hdbc, (BYTE *)&m_sd.High, 0, 8, 0, 0, 0, col_number++) == FAIL) return FALSE;
if(bcp_bind(m_hdbc, (BYTE *)&m_sd.Low, 0, 8, 0, 0, 0, col_number++) == FAIL) return FALSE;
if(bcp_bind(m_hdbc, (BYTE *)&m_sd.Close, 0, 8, 0, 0, 0, col_number++) == FAIL) return FALSE;
if(bcp_bind(m_hdbc, (BYTE *)&m_sd.Volume, 0, 8, 0, 0, 0, col_number++) == FAIL) return FALSE;


<...save into sql...>
BOOL CSymbolStorage::Copy(SQL_SYMBOL_DATA *sd)
{
    if(!m_bUseDB)
        return TRUE;

    memcpy(&m_sd, sd, sizeof(SQL_SYMBOL_DATA));

    if(bcp_sendrow(m_hdbc) != SUCCEED)
        return FALSE;

    return TRUE;
}

Ответ 6

Не могли бы вы использовать горизонтальное разбиение? См.: http://msdn.microsoft.com/en-us/library/ms178148.aspx и http://msdn.microsoft.com/en-us/library/ms188706.aspx

Вы также можете посмотреть на этот вопрос и, возможно, изменить модель восстановления: Sql Server 2008 Настройка с большими транзакциями (700k + rows/transaction)

Некоторые вопросы: Какую версию SQL Server вы используете?

Почему одно ядро ​​на 80%? Это может быть узким местом, поэтому, вероятно, стоит что-то изучить.

Какую ОС вы используете, и это 64-бит?