Почему производительность отличается, когда единственная разница в кодах, которые не выполняются?

Ответ 1

Бенчмаркинг - это изобразительное искусство, очень сложно надежно измерить очень быстрый код, подобный этому. В целом, различия в 15% или менее не являются статистически значимыми результатами. Я могу только прокомментировать недостаток в опубликованном коде, это довольно распространенный вопрос. Типичный гейзенбургский язык, сам тест влияет на исход.

Второй цикл for() не так оптимизирован, как первый цикл for(). Проблема, вызванная выбором оптимизатора, по которому локальные переменные сохраняются в регистре CPU. В частности, проблема, когда вы используете долго в 32-разрядной программе, записывает два регистра процессора. По всей вероятности, комментаторы, которые упомянули, что не могут воспроизвести его, проверили тест с джиттером x64.

Вы снимаете давление с распределителя регистров CPU, перемещая тесты в отдельный метод:

static Stopwatch runTest1(Test1 test1, long iterations) {
    var sw1 = Stopwatch.StartNew();
    for (long i = 0; i < iterations; i++)
        test1.Test(0);
    sw1.Stop();
    return sw1;
}

static Stopwatch runTest2(Test2 test2, long iterations) {
    var sw2 = Stopwatch.StartNew();
    for (long i = 0; i < iterations; i++)
        test2.Test(0);
    sw2.Stop();
    return sw2;
}

static void Main(string[] args) {
    const long iterations = 200000000;
    var test1 = new Test1();
    var test2 = new Test2();

    while (true) {
        var sw1 = runTest1(test1, iterations);
        var sw2 = runTest2(test2, iterations);
        // etc..
    }
}

И теперь вы получите то, что ожидаете.

Это изменение было вызвано просмотром созданного машинного кода. Инструменты > Параметры > Отладкa > Общие > Отключить опцию Suppress JIT Optimization. Затем вы можете посмотреть оптимизированный машинный код с помощью Debug > Windows > Disassembly. Что показывает первый цикл for():

            for (long i = 0; i < iterations; i++)
00000089  xor         ebx,ebx 
0000008b  xor         esi,esi 
0000008d  mov         ecx,dword ptr [esp+4] 
00000091  xor         edx,edx 
00000093  call        dword ptr ds:[04732844h] 
00000099  add         ebx,1 
0000009c  adc         esi,0 
0000009f  test        esi,esi 
000000a1  jg          000000AD 
000000a3  jl          0000008D 
000000a5  cmp         ebx,0BEBC200h 
000000ab  jb          0000008D 

И второй цикл:

            for (long i = 0; i < iterations; i++)
000000f5  mov         dword ptr [esp+2Ch],0 
000000fd  xor         ebx,ebx 
000000ff  mov         ecx,dword ptr [esp] 
00000102  xor         edx,edx 
00000104  call        dword ptr ds:[056E28B8h] 
0000010a  mov         eax,ebx 
0000010c  mov         edx,dword ptr [esp+2Ch]        ; <== here
00000110  add         eax,1 
00000113  adc         edx,0 
00000116  mov         dword ptr [esp+2Ch],edx        ; <== here
0000011a  mov         ebx,eax 
0000011c  cmp         dword ptr [esp+2Ch],0 
00000121  jg          0000012D 
00000123  jl          000000FF 
00000125  cmp         ebx,0BEBC200h 
0000012b  jb          000000FF 

Я отметил инструкции, которые сделали это медленнее. Первый цикл for() может хранить переменную цикла в регистрах esi: ebx и сохранять их там. Это не сработало во втором цикле for(), у него закончились доступные регистры процессора, а верхние 32-битные переменные цикла должны были храниться в кадре стека. Это медленно.

Внесение изменений в такую ​​программу не является общим советом, а не универсальным решением. Это просто оказалось эффективным в этом конкретном случае. Только просмотр машинного кода может дать вам указание, что такое изменение может оказаться полезным. Что именно о том, что нужно для ручной настройки кода. Вероятно, больше того, что вы на самом деле пытаетесь оптимизировать, этот тест вряд ли будет представлять ваш фактический код.

Ответ 2

Чтобы исследовать, я взял ваш код и немного изменил его. Моя основная петля повторяется 20 раз, и я удалил часть, где вы печатаете скорость двух тестов. Вместо этого я сохраняю разницу в тиках (sw2.ElapsedTicks - sw1.ElapsedTicks) в предварительно распределенном массиве. Это просто, чтобы основной цикл был максимально простым.

В конце основного цикла я усредняю ​​разницу тиков. Положительное число означает, что второй тест выполняется медленнее, используя больше тиков, чем первый тест.

Я сделал этот тест со всеми перестановками возможных тестовых последовательностей: Test1, за которым следует Test2, Test2, за которым следуют Test1, Test1, за которыми следуют Test1 и Test2, за которыми следует Test2, Это мои результаты с включенными оптимизациями:

 Tests | Average
-------+---------
 1 2   | 248,747
 2 1   | 313,372
 1 1   | 234.812
 2 2   | 210.533

Поэтому независимо от того, как я запускаю тесты, второй тест в цикле всегда медленнее первого.

Мой вывод состоит в том, что по какой-то причине первый тест в основном цикле будет выполняться несколько быстрее. Я не знаю, почему, и я не всегда получаю согласованные результаты, но по крайней мере это, похоже, не связано с кодом в Test1 и Test2.