Подтвердить что ты не робот

Как узнать кодировку файла? С#

Ну, мне нужно выяснить, какой из файлов, которые я нашел в каком-то каталоге, - это UTF8, закодированный либо ANSI-кодированный, чтобы изменить кодировку во что-то еще, что я решил позже. Моя проблема: как я могу узнать, является ли файл UTF8 или ANSI Encoded? Оба эти кодировки действительно доступны в моих файлах.

4b9b3361

ОТВЕТЫ

Ответ 1

Нет надежного способа сделать это (поскольку файл может быть просто случайным двоичным), однако процесс, выполняемый программным обеспечением Windows Notepad, подробно описан в блоге Micheal S Kaplan:

http://www.siao2.com/2007/04/22/2239345.aspx

  • Проверить первые два байта;      1. Если есть спецификация UTF-16 LE, то обрабатывайте ее (и загружайте) как файл "Unicode";      2. Если есть спецификация UTF-16 BE, тогда обработайте ее (и загрузите) как файл "Unicode (Big Endian)";      3. Если первые два байта выглядят как начало спецификации UTF-8, тогда проверьте следующий байт, и если у нас есть спецификация UTF-8, тогда обработайте его (и загрузите) как файл "UTF-8";
  • Проверите с IsTextUnicode, чтобы убедиться, что эта функция считает BOM-less UTF-16 LE, если да, тогда обработайте ее (и загрузите) как файл "Unicode",
  • Убедитесь, что UTF-8 использует исходное определение RFC 2279 с 1998 года, и если он обрабатывает его (и загружает) как файл "UTF-8",
  • Предположим, файл ANSI использует страницу системного кода по умолчанию на компьютере.

Теперь обратите внимание, что есть некоторые отверстия здесь, как и тот факт, что шаг 2 не слишком хороши с BOM-less UTF-16 BE (может быть даже ошибка здесь, я не уверен - если это так, то ошибка в "Блокноте" за пределами любой ошибки в IsTextUnicode).

Ответ 2

http://msdn.microsoft.com/en-us/netframework/aa569610.aspx#Question2

Нет отличного способа обнаружить произвольной кодовой страницы ANSI, хотя там были некоторые попытки сделать это основанный на вероятности определенных байтовых последовательностей в середине текста. Мы не пытаемся это сделать в StreamReader. несколько форматов файлов, таких как XML или HTML, способ задания набора символов в первой строке файла, так что Web браузеров, баз данных и классов, таких как XmlTextReader может читать эти файлы правильно. Но многие текстовые файлы не этот тип информации построен в.

Ответ 3

Unicode/UTF8/UnicodeBigEndian считаются разными типами. ANSI считается таким же, как UTF8.

public class EncodingType
{
    public static System.Text.Encoding GetType(string FILE_NAME)
    {
        FileStream fs = new FileStream(FILE_NAME, FileMode.Open, FileAccess.Read);
        Encoding r = GetType(fs);
        fs.Close();
        return r;
    }

    public static System.Text.Encoding GetType(FileStream fs)
    {
        byte[] Unicode = new byte[] { 0xFF, 0xFE, 0x41 };
        byte[] UnicodeBIG = new byte[] { 0xFE, 0xFF, 0x00 };
        byte[] UTF8 = new byte[] { 0xEF, 0xBB, 0xBF }; //with BOM
        Encoding reVal = Encoding.Default;

        BinaryReader r = new BinaryReader(fs, System.Text.Encoding.Default);
        int i;
        int.TryParse(fs.Length.ToString(), out i);
        byte[] ss = r.ReadBytes(i);
        if (IsUTF8Bytes(ss) || (ss[0] == 0xEF && ss[1] == 0xBB && ss[2] == 0xBF))
        {
            reVal = Encoding.UTF8;
        }
        else if (ss[0] == 0xFE && ss[1] == 0xFF && ss[2] == 0x00)
        {
            reVal = Encoding.BigEndianUnicode;
        }
        else if (ss[0] == 0xFF && ss[1] == 0xFE && ss[2] == 0x41)
        {
            reVal = Encoding.Unicode;
        }
        r.Close();
        return reVal;

    }

    private static bool IsUTF8Bytes(byte[] data)
    {
        int charByteCounter = 1;　 
        byte curByte; 
        for (int i = 0; i < data.Length; i++)
        {
            curByte = data[i];
            if (charByteCounter == 1)
            {
                if (curByte >= 0x80)
                {
                    while (((curByte <<= 1) & 0x80) != 0)
                    {
                        charByteCounter++;
                    }
                    　
                    if (charByteCounter == 1 || charByteCounter > 6)
                    {
                        return false;
                    }
                }
            }
            else
            {
                if ((curByte & 0xC0) != 0x80)
                {
                    return false;
                }
                charByteCounter--;
            }
        }
        if (charByteCounter > 1)
        {
            throw new Exception("Error byte format");
        }
        return true;
    }

}