Подтвердить что ты не робот

Как повысить производительность кода с помощью DateTime.ToString?

В моем приложении для декодирования бинарных файлов (.NET 2.0) я обнаружил, что строка:

logEntryTime.ToString("dd.MM.yy HH:mm:ss:fff")

занимает 33% от общего времени обработки. Кто-нибудь есть идеи о том, как сделать это быстрее?

EDIT: это приложение используется для обработки некоторых двоичных журналов, и в настоящее время требуется 15 часов. Так что 1/3 из этого будет 5 часов.

EDIT: я использую NProf для профилирования. Приложение обрабатывает около 17 Гбайт двоичных журналов.

4b9b3361

Ответ 1

Несчастливо, что .NET не имеет своего рода "форматирующий" тип, который может анализировать шаблон и запомнить его.

Если вы всегда используете один и тот же формат, вы можете вручную обработать форматировщик, чтобы сделать именно это. Что-то вроде:

public static string FormatDateTime(DateTime dt)
{
    char[] chars = new char[21];
    Write2Chars(chars, 0, dt.Day);
    chars[2] = '.';
    Write2Chars(chars, 3, dt.Month);
    chars[5] = '.';
    Write2Chars(chars, 6, dt.Year % 100);
    chars[8] = ' ';
    Write2Chars(chars, 9, dt.Hour);
    chars[11] = ' ';
    Write2Chars(chars, 12, dt.Minute);
    chars[14] = ' ';
    Write2Chars(chars, 15, dt.Second);
    chars[17] = ' ';
    Write2Chars(chars, 18, dt.Millisecond / 10);
    chars[20] = Digit(dt.Millisecond % 10);

    return new string(chars);
}

private static void Write2Chars(char[] chars, int offset, int value)
{
    chars[offset] = Digit(value / 10);
    chars[offset+1] = Digit(value % 10);
}

private static char Digit(int value)
{
    return (char) (value + '0');
}

Это довольно уродливо, но, наверное, гораздо эффективнее... сравните его, конечно!

Ответ 2

Вы уверены, что это занимает 33% времени? Как вы это оценили? Это звучит более чем немного подозрительно для меня...

Это ускоряет работу немного:

Basic: 2342ms
Custom: 1319ms

Или, если мы вырезаем IO (Stream.Null):

Basic: 2275ms
Custom: 839ms

using System.Diagnostics;
using System;
using System.IO;
static class Program
{
    static void Main()
    {
        DateTime when = DateTime.Now;
        const int LOOP = 1000000;

        Stopwatch basic = Stopwatch.StartNew();
        using (TextWriter tw = new StreamWriter("basic.txt"))
        {
            for (int i = 0; i < LOOP; i++)
            {
                tw.Write(when.ToString("dd.MM.yy HH:mm:ss:fff"));
            }
        }
        basic.Stop();
        Console.WriteLine("Basic: " + basic.ElapsedMilliseconds + "ms");

        char[] buffer = new char[100];
        Stopwatch custom = Stopwatch.StartNew();
        using (TextWriter tw = new StreamWriter("custom.txt"))
        {
            for (int i = 0; i < LOOP; i++)
            {
                WriteDateTime(tw, when, buffer);
            }
        }
        custom.Stop();
        Console.WriteLine("Custom: " + custom.ElapsedMilliseconds + "ms");
    }
    static void WriteDateTime(TextWriter output, DateTime when, char[] buffer)
    {
        buffer[2] = buffer[5] = '.';
        buffer[8] = ' ';
        buffer[11] = buffer[14] = buffer[17] = ':';
        Write2(buffer, when.Day, 0);
        Write2(buffer, when.Month, 3);
        Write2(buffer, when.Year % 100, 6);
        Write2(buffer, when.Hour, 9);
        Write2(buffer, when.Minute, 12);
        Write2(buffer, when.Second, 15);
        Write3(buffer, when.Millisecond, 18);
        output.Write(buffer, 0, 21);
    }
    static void Write2(char[] buffer, int value, int offset)
    {
        buffer[offset++] = (char)('0' + (value / 10));
        buffer[offset] = (char)('0' + (value % 10));
    }
    static void Write3(char[] buffer, int value, int offset)
    {
        buffer[offset++] = (char)('0' + (value / 100));
        buffer[offset++] = (char)('0' + ((value / 10) % 10));
        buffer[offset] = (char)('0' + (value % 10));
    }
}

Ответ 3

Это не ответ сам по себе, а скорее добавленный к надежный ответ Jon Skeet, предлагающий вариант для формата "s" (ISO):

    /// <summary>
    ///     Implements a fast method to write a DateTime value to string, in the ISO "s" format.
    /// </summary>
    /// <param name="dateTime">The date time.</param>
    /// <returns></returns>
    /// <devdoc>
    ///     This implementation exists just for performance reasons, it is semantically identical to
    ///     <code>
    /// text = value.HasValue ? value.Value.ToString("s") : string.Empty;
    /// </code>
    ///     However, it runs about 3 times as fast. (Measured using the VS2015 performace profiler)
    /// </devdoc>
    public static string ToIsoStringFast(DateTime? dateTime) {
        if (!dateTime.HasValue) {
            return string.Empty;
        }
        DateTime dt = dateTime.Value;
        char[] chars = new char[19];
        Write4Chars(chars, 0, dt.Year);
        chars[4] = '-';
        Write2Chars(chars, 5, dt.Month);
        chars[7] = '-';
        Write2Chars(chars, 8, dt.Day);
        chars[10] = 'T';
        Write2Chars(chars, 11, dt.Hour);
        chars[13] = ':';
        Write2Chars(chars, 14, dt.Minute);
        chars[16] = ':';
        Write2Chars(chars, 17, dt.Second);
        return new string(chars);
    }

С 4-значным сериализатором как:

    private static void Write4Chars(char[] chars, int offset, int value) {
        chars[offset] = Digit(value / 1000);
        chars[offset + 1] = Digit(value / 100 % 10);
        chars[offset + 2] = Digit(value / 10 % 10);
        chars[offset + 3] = Digit(value % 10);
    }

Это работает примерно в 3 раза быстрее. (Измеряется с использованием профилировщика производительности VS2015)

Ответ 4

Знаете ли вы, насколько велики каждая запись в бинарных и текстовых журналах? Если это так, вы можете разделить обработку файла журнала по целому ряду потоков, которые лучше использовали бы многоядерный/процессорный ПК. Если вы не против того, чтобы результат был в отдельных файлах, было бы неплохо иметь один жесткий диск на ядро ​​таким образом, что вы уменьшите количество голов диска, которое нужно переместить.