Ответ 1

В этом конкретном случае использование RawByteString является подходящим решением:

function WideStringToString(const Source: UnicodeString; CodePage: UINT): RawByteString;
var
  strLen: Integer;
begin
  strLen := LocaleCharsFromUnicode(CodePage, 0, PWideChar(Source), Length(Source), nil, 0, nil, nil));
  if strLen > 0 then
  begin
    SetLength(Result, strLen);
    LocaleCharsFromUnicode(CodePage, 0, PWideChar(Source), Length(Source), PAnsiChar(Result), strLen, nil, nil));
    SetCodePage(Result, CodePage, False);
  end;
end;

Таким образом, RawByteString содержит кодовую страницу и присваивает RawByteString любому другому типу строки, будь то AnsiString или UTF8String или что-то еще, позволит RTL автоматически преобразовывать RawByteString данные из текущей кодовой страницы в кодовую страницу целевой строки (которая включает преобразования в UnicodeString).

Если вы абсолютно должны вернуть AnsiString (который я не рекомендую), вы все равно можете использовать SetCodePage() с помощью typecast:

function WideStringToString(const Source: UnicodeString; CodePage: UINT): AnsiString;
var
  strLen: Integer;
begin
  strLen := LocaleCharsFromUnicode(CodePage, 0, PWideChar(Source), Length(Source), nil, 0, nil, nil));
  if strLen > 0 then
  begin
    SetLength(Result, strLen);
    LocaleCharsFromUnicode(CodePage, 0, PWideChar(Source), Length(Source), PAnsiChar(Result), strLen, nil, nil));
    SetCodePage(PRawByteString(@Result)^, CodePage, False);
  end;
end;

Обратное гораздо проще, просто используйте кодовую страницу, уже сохраненную в (Ansi|RawByte)String (просто убедитесь, что эти кодовые страницы всегда точны), поскольку RTL уже знает, как получить и использовать кодовую страницу для вас:

function StringToWideString(const Source: AnsiString): UnicodeString;
begin
  Result := UnicodeString(Source);
end;

function StringToWideString(const Source: RawByteString): UnicodeString;
begin
  Result := UnicodeString(Source);
end;

Говоря это, я бы предложил отказаться от вспомогательных функций и просто использовать набранные строки. Пусть RTL обрабатывает конверсии для вас:

type
  Win1252String = type AnsiString(1252);

var
  s: UnicodeString;
  a: Win1252String;
begin
  s := 'Ŧĥε ｑùíçķ ƀřǭŵņ fôｘ ǰűmpεď ōvêŗ ţħě łáƶÿ ďơǥ';
  a := Win1252String(s);
  s := UnicodeString(a);
end;

var
  s: UnicodeString;
  u: UTF8String;
begin
  s := 'Ŧĥε ｑùíçķ ƀřǭŵņ fôｘ ǰűmpεď ōvêŗ ţħě łáƶÿ ďơǥ';
  u := UTF8String(s);
  s := UnicodeString(u);
end;

Ответ 2

Я думаю, что возвращение RawByteString, вероятно, так же хорошо, как и вы. Вы можете сделать это, используя AnsiString, как вы начертили, но RawByteString лучше отражает намерение. В этом случае а RawByteString морально считается параметром в смысле официального совета Embarcadero. Это всего лишь выход, а не вход. Настоящий ключ не должен использовать его как переменную.

Вы можете его прописать следующим образом:

function MBCSString(const s: UnicodeString; CodePage: Word): RawByteString;
var
  enc: TEncoding;
  bytes: TBytes;
begin
  enc := TEncoding.GetEncoding(CodePage);
  try
    bytes := enc.GetBytes(s);
    SetLength(Result, Length(bytes));
    Move(Pointer(bytes)^, Pointer(Result)^, Length(bytes));
    SetCodePage(Result, CodePage, False);
  finally
    enc.Free;
  end;
end;

Тогда

var
  s: AnsiString;
....
s := MBCSString('Ŧĥε ｑùíçķ ƀřǭŵņ fôｘ ǰűmpεď ōvêŗ ţħě łáƶÿ ďơǥ', 1252);
Writeln(StringCodePage(s));
s := MBCSString('Ŧĥε ｑùíçķ ƀřǭŵņ fôｘ ǰűmpεď ōvêŗ ţħě łáƶÿ ďơǥ', 1251);
Writeln(StringCodePage(s));
s := MBCSString('Ŧĥε ｑùíçķ ƀřǭŵņ fôｘ ǰűmpεď ōvêŗ ţħě łáƶÿ ďơǥ', 65001);
Writeln(StringCodePage(s));

выводит 1252, 1251, а затем 65001, как и следовало ожидать.

И вы можете использовать LocaleCharsFromUnicode, если хотите. Разумеется, вам нужно его документацию с щепоткой соли: LocaleCharsFromUnicode - это оболочка для функции WideCharToMultiByte. Удивительно, что текст был когда-либо написан, так как LocaleCharsFromUnicode наверняка существует только для кросс-платформенной.

Однако, интересно, можете ли вы ошибиться при попытке сохранить ANSI-кодированный текст в переменных AnsiString в вашей программе. Обычно вы должны кодироваться в ANSI как можно раньше (на границе взаимодействия) и также декодировать как можно раньше.

Если вам просто нужно это сделать, возможно, есть лучшее решение, которое полностью устранит страшный AnsiString. Вместо сохранения текста в AnsiString сохраните его в TBytes. У вас уже есть структуры данных, которые отслеживают кодировку, поэтому почему бы не сохранить их. Замените запись, содержащую кодовую страницу и AnsiString, на одной, содержащей кодовую страницу, и TBytes. Тогда вы бы не боялись ничего переписывать текст за спиной. И ваш код будет готов к использованию в мобильных компиляторах.

Ответ 3

Пробираясь через System.pas, я нашел встроенную функцию SetAnsiString, которая делает то, что я хочу:

procedure SetAnsiString(Dest: _PAnsiStr; Source: PWideChar; Length: Integer; CodePage: Word);

Также важно отметить, что эта функция действительно меняет CodePage во внутреннюю структуру StrRec для меня:

PStrRec(PByte(Dest) - SizeOf(StrRec)).codePage := CodePage;

Это позволяет мне написать что-то вроде:

function WideStringToString(const s: UnicodeString; DestinationCodePage: Word): AnsiString;
var
   strLen: Integer;
begin
   strLen := Length(Source);

   if strLen = 0 then
   begin
      Result := '';
      Exit;
   end;

   //Delphi XE6 has a function to convert a unicode string to a tagged AnsiString
   SetAnsiString(@Result, @Source[1], strLen, DestinationCodePage);
end;

Итак, когда я звоню:

actual := WideStringToString('Ŧĥε ｑùíçķ ƀřǭŵņ fôｘ ǰűmpεď ōvêŗ ţħě łáƶÿ ďơǥ', 850);

Я получаю результирующий AnsiString:

codePage: $0352 (850)
elemSize: $0001 (1)
refCnt:   $00000001 (1)
length:   $0000002C (44)
contents: 'The qùíçk brown fôx jumped ovêr the láZÿ dog' 

An AnsiString с соответствующей кодовой страницей, уже заполненной секретным членом codePage.

Другой способ

class function TUnicodeHelper.ByteStringToUnicode(const Source: RawByteString; CodePage: UINT): UnicodeString;
var
    wideLen: Integer;
    dw: DWORD;
begin
{
    See http://msdn.microsoft.com/en-us/library/dd317756.aspx
    Code Page Identifiers
    for a list of code pages supported in Windows.

    Some common code pages are:
        CP_UTF8 (65001) utf-8               "Unicode (UTF-8)"
        CP_ACP  (0)                         The system default Windows ANSI code page.
        CP_OEMCP    (1)                         The current system OEM code page.
        1252                    Windows-1252    "ANSI Latin 1; Western European (Windows)", this is what most of us in north america use in Windows
        437                 IBM437          "OEM United States", this is your "DOS fonts"
        850                 ibm850          "OEM Multilingual Latin 1; Western European (DOS)", the format accepted by Fincen for LCTR/STR
        28591                   iso-8859-1      "ISO 8859-1 Latin 1; Western European (ISO)", Windows-1252 is a super-set of iso-8859-1, adding things like euro symbol, bullet and ellipses
        20127                   us-ascii            "US-ASCII (7-bit)"
}
    if Length(Source) = 0 then
    begin
        Result := '';
        Exit;
    end;

    // Determine real size of final, string in symbols
//  wideLen := MultiByteToWideChar(CodePage, 0, PAnsiChar(Source), Length(Source), nil, 0);
    wideLen := UnicodeFromLocaleChars(CodePage, 0, PAnsiChar(Source), Length(Source), nil, 0);
    if wideLen = 0 then
    begin
        dw := GetLastError;
        raise EConvertError.Create('[StringToWideString] Could not get wide length of UTF-16 string. Error '+IntToStr(dw)+' ('+SysErrorMessage(dw)+')');
    end;

    // Allocate memory for UTF-16 string
    SetLength(Result, wideLen);

    // Convert source string to UTF-16 (WideString)
//  wideLen := MultiByteToWideChar(CodePage, 0, PAnsiChar(Source), Length(Source), PWChar(wideStr), wideLen);
    wideLen := UnicodeFromLocaleChars(CodePage, 0, PAnsiChar(Source), Length(Source), PWChar(Result), wideLen);
    if wideLen = 0 then
    begin
        dw := GetLastError;
        raise EConvertError.Create('[StringToWideString] Could not convert string to UTF-16. Error '+IntToStr(dw)+' ('+SysErrorMessage(dw)+')');
    end;
end;

Примечание. Любой код, выпущенный в общественное достояние. Не требуется атрибуция.