Ответ 1

Если вы включили ведение журнала, желательно на SQL Server, добавьте событие OnPipelineRowsSent. Затем вы можете определить, где он проводит все свое время. См. Это сообщение . Ваша подсистема ввода-вывода становится заблокированной и генерирует все эти временные файлы, потому что вы больше не можете хранить всю информацию в памяти (из-за ваши асинхронные преобразования).

Соответствующий запрос из связанной статьи следующий. Он рассматривает события в sysdtslog90 (заменители SQL Server 2008+ sysssislog) и выполняет некоторое время на них.

;
WITH PACKAGE_START AS
(
    SELECT DISTINCT
        Source
    ,   ExecutionID
    ,   Row_Number() Over (Order By StartTime) As RunNumber
    FROM
        dbo.sysdtslog90 AS L
    WHERE
        L.event = 'PackageStart'
)
, EVENTS AS
(
    SELECT
        SourceID
    ,   ExecutionID
    ,   StartTime
    ,   EndTime
    ,   Left(SubString(message, CharIndex(':', message, CharIndex(':', message, CharIndex(':', message, CharIndex(':', message, 56) + 1) + 1) + 1) + 2, Len(message)), CharIndex(':', SubString(message, CharIndex(':', message, CharIndex(':', message, CharIndex(':', message, CharIndex(':', message, 56) + 1) + 1) + 1) + 2, Len(message)) ) - 2) As DataFlowSource
    ,   Cast(Right(message, CharIndex(':', Reverse(message)) - 2) As int) As RecordCount
    FROM
        dbo.sysdtslog90 AS L
    WHERE
        L.event = 'OnPipelineRowsSent'
)
, FANCY_EVENTS AS
(
    SELECT
        SourceID
    ,   ExecutionID
    ,   DataFlowSource
    ,   Sum(RecordCount) RecordCount
    ,   Min(StartTime) StartTime
    ,   (
            Cast(Sum(RecordCount) as real) /
            Case
                When DateDiff(ms, Min(StartTime), Max(EndTime)) = 0
                    Then 1
                Else DateDiff(ms, Min(StartTime), Max(EndTime))
            End
        ) * 1000 As RecordsPerSec
    FROM
        EVENTS DF_Events
    GROUP BY
        SourceID
    ,   ExecutionID
    ,   DataFlowSource
)
SELECT
    'Run ' + Cast(RunNumber As varchar) As RunName
,   S.Source
,   DF.DataFlowSource
,   DF.RecordCount
,   DF.RecordsPerSec
,   Min(S.StartTime) StartTime
,   Max(S.EndTime) EndTime
,   DateDiff(ms, Min(S.StartTime)
,   Max(S.EndTime)) Duration
FROM
    dbo.sysdtslog90 AS S
    INNER JOIN
        PACKAGE_START P
        ON S.ExecutionID = P.ExecutionID
    LEFT OUTER JOIN
        FANCY_EVENTS DF
        ON S.SourceID = DF.SourceID
        AND S.ExecutionID = DF.ExecutionID
WHERE
    S.message <> 'Validating'
GROUP BY
    RunNumber
,   S.Source
,   DataFlowSource
,   RecordCount
,   DF.StartTime
,   RecordsPerSec
,   Case When S.Source = P.Source Then 1 Else 0 End
ORDER BY
    RunNumber
,   Case When S.Source = P.Source Then 1 Else 0 End Desc

DF.StartTime , Min (S.StartTime);

Вы смогли использовать этот запрос, чтобы понять, что компонент Merge Join является компонентом запаздывания. Почему он работает по-разному между двумя серверами, я не могу сказать в этот момент.

Если у вас есть возможность создать таблицу в вашей целевой системе, вы можете изменить свой процесс на два потока данных (и устранить дорогостоящие асинхронные компоненты).

• Первый поток данных будет принимать столбцы Flat file и Derived и помещать их в промежуточную таблицу.
• Затем у вас есть задача Execute SQL Task для обработки логики Get Min Date + Delete.
• Затем у вас есть второй запрос потока данных из вашей промежуточной таблицы и привязка его прямо к месту назначения.

Ответ 2

Ниже приведенные ниже шаги помогут улучшить производительность SSIS.

• Убедитесь, что для всех менеджеров подключений установлено значениеDelayValidation (= True).
• Убедитесь, что для параметра ValidateExternalMetadata установлено значение false
• DefaultBufferMaxRows и DefaultBufferSize соответствуют размерам строк таблицы
• Использовать подсказки по мере необходимости http://technet.microsoft.com/en-us/library/ms181714.aspx