Можно ли использовать Unicode "argv"?

Ответ 1

В общем, нет. Это будет зависеть от O/S, но в стандарте C указано, что аргументы для "main()" должны быть "main (int argc, char ** argv)" или эквивалентными, поэтому, если char и wchar_t не являются тот же базовый тип, вы не можете этого сделать.

Сказав это, вы можете получить строки аргументов UTF-8 в программу, преобразовать их в UTF-16 или UTF-32, а затем продолжить жизнь.

На Mac (10.5.8, Leopard) я получил:

Osiris JL: echo "ï€" | odx
0x0000: C3 AF E2 82 AC 0A                                 ......
0x0006:
Osiris JL: 

Все кодирование UTF-8. (odx - это программа с шестнадцатеричным дампом).

Смотрите также: Почему кодировка UTF-8 используется при взаимодействии с средой UNIX/Linux

Ответ 2

Портативный код не поддерживает его. Windows (например) поддерживает использование wmain вместо main, и в этом случае argv передается как широкие символы.

Ответ 3

В Windows вы можете использовать GetCommandLineW() и CommandLineToArgvW() для создания массива wchar_t[] в стиле argv, даже если приложение не скомпилировано для Unicode.

Ответ 4

В Windows все равно, вы можете иметь wmain() для сборки UNICODE. Не портативный, хотя. Я не знаю, если на платформах GCC или Unix/Linux есть что-то подобное.

Ответ 5

В Windows вы можете использовать tchar.h и _tmain, которые будут преобразованы в wmain, если символ _UNICODE определен во время компиляции, или main в противном случае. TCHAR * argv [] также будет расширен до WCHAR * argv [], если определен unicode, и char * argv [], если нет.

Если вы хотите, чтобы ваш основной метод работал с кросс-платформой, вы можете определить свои собственные макросы с тем же эффектом.

TCHAR.h содержит ряд удобных макросов для преобразования между wchar и char.

Ответ 6

Предполагая, что ваша среда Linux использует кодировку UTF-8, следующий код подготовит вашу программу для простой обработки Unicode в С++:

    int main(int argc, char * argv[]) {
      std::setlocale(LC_CTYPE, "");
      // ...
    }

Далее, тип wchar_t 32-разрядный в Linux, что означает, что он может содержать отдельные кодовые точки Unicode, и вы можете безопасно использовать тип wstring для классической обработки строк в С++ (символ по символу). С вызовом setlocale выше вставка в wcout автоматически преобразует ваш вывод в UTF-8, и извлечение из wcin автоматически преобразует вход UTF-8 в UTF-32 (1 символ = 1 кодовая точка). Единственная проблема, которая остается в том, что строки argv [i] по-прежнему кодируются UTF-8.

Вы можете использовать следующую функцию для декодирования UTF-8 в UTF-32. Если входная строка повреждена, она вернет правильно преобразованные символы до тех пор, пока не будут нарушены правила UTF-8. Вы можете улучшить его, если вам нужно больше отчетов об ошибках. Но для данных argv можно смело предположить, что это правильно UTF-8:

#define ARR_LEN(x) (sizeof(x)/sizeof(x[0]))

    wstring Convert(const char * s) {
        typedef unsigned char byte;
        struct Level { 
            byte Head, Data, Null; 
            Level(byte h, byte d) {
                Head = h; // the head shifted to the right
                Data = d; // number of data bits
                Null = h << d; // encoded byte with zero data bits
            }
            bool encoded(byte b) { return b>>Data == Head; }
        }; // struct Level
        Level lev[] = { 
            Level(2, 6),
            Level(6, 5), 
            Level(14, 4), 
            Level(30, 3), 
            Level(62, 2), 
            Level(126, 1)
        };

        wchar_t wc = 0;
        const char * p = s;
        wstring result;
        while (*p != 0) {
            byte b = *p++;
            if (b>>7 == 0) { // deal with ASCII
                wc = b;
                result.push_back(wc);
                continue;
            } // ASCII
            bool found = false;
            for (int i = 1; i < ARR_LEN(lev); ++i) {
                if (lev[i].encoded(b)) {
                    wc = b ^ lev[i].Null; // remove the head
                    wc <<= lev[0].Data * i;
                    for (int j = i; j > 0; --j) { // trailing bytes
                        if (*p == 0) return result; // unexpected
                        b = *p++;   
                        if (!lev[0].encoded(b)) // encoding corrupted
                            return result;
                        wchar_t tmp = b ^ lev[0].Null;
                        wc |= tmp << lev[0].Data*(j-1);
                    } // trailing bytes
                    result.push_back(wc);
                    found = true;
                    break;
                } // lev[i]
            }   // for lev
            if (!found) return result; // encoding incorrect
        }   // while
        return result;
    }   // wstring Convert