Как сохранить китайские символы в файл с помощью java?

Ответ 1

Здесь есть несколько факторов:

• Текстовые файлы не имеют встроенных метаданных для описания их кодировки (для всех разговоров о налогах с угловыми скобками существуют причины, по которым XML популярен)
• Кодировка по умолчанию для Windows по-прежнему является 8-битным (или двухбайтовым) символом ANSI с ограниченным диапазоном значений - текстовыми файлами написанные в этом формате, не являются переносимыми.
• Чтобы указать файл Unicode из файла ANSI, приложения Windows полагаются на наличие значка порядка байтов в начале файла ( не совсем верно - поясняет Раймонд Чен). Теоретически, спецификация должна сообщить вам endianess (порядок байтов) данных. Для UTF-8, хотя есть только один порядок байтов, приложения Windows полагаются на байты маркеров, чтобы автоматически определить, что это Юникод (хотя вы заметите, что "Блокнот "имеет опцию кодирования в диалоговом окне" Открыть/сохранить").
• Неверно говорить, что Java нарушена, потому что она не записывает спецификацию UTF-8 автоматически. В системах Unix было бы ошибкой писать спецификацию в файл script, например, и многие Unix-системы используют UTF-8 в качестве кодировки по умолчанию. Бывают случаи, когда вы не хотите этого в Windows, например, когда вы добавляете данные в существующий файл: fos = new FileOutputStream(FileName,Append);

Вот способ надежного добавления данных UTF-8 в файл:

  private static void writeUtf8ToFile(File file, boolean append, String data)
      throws IOException {
    boolean skipBOM = append && file.isFile() && (file.length() > 0);
    Closer res = new Closer();
    try {
      OutputStream out = res.using(new FileOutputStream(file, append));
      Writer writer = res.using(new OutputStreamWriter(out, Charset
          .forName("UTF-8")));
      if (!skipBOM) {
        writer.write('\uFEFF');
      }
      writer.write(data);
    } finally {
      res.close();
    }
  }

Использование:

  public static void main(String[] args) throws IOException {
    String chinese = "\u4E0A\u6D77";
    boolean append = true;
    writeUtf8ToFile(new File("chinese.txt"), append, chinese);
  }

Примечание. Если файл уже существует и вы выбрали добавление, а существующие данные не были закодированы в кодировке UTF-8, единственное, что создаст код, это беспорядок.

Вот тип Closer, используемый в этом коде:

public class Closer implements Closeable {
  private Closeable closeable;

  public <T extends Closeable> T using(T t) {
    closeable = t;
    return t;
  }

  @Override public void close() throws IOException {
    if (closeable != null) {
      closeable.close();
    }
  }
}

Этот код делает наилучшее предположение стиля Windows о том, как читать файл на основе байтов байтов:

  private static final Charset[] UTF_ENCODINGS = { Charset.forName("UTF-8"),
      Charset.forName("UTF-16LE"), Charset.forName("UTF-16BE") };

  private static Charset getEncoding(InputStream in) throws IOException {
    charsetLoop: for (Charset encodings : UTF_ENCODINGS) {
      byte[] bom = "\uFEFF".getBytes(encodings);
      in.mark(bom.length);
      for (byte b : bom) {
        if ((0xFF & b) != in.read()) {
          in.reset();
          continue charsetLoop;
        }
      }
      return encodings;
    }
    return Charset.defaultCharset();
  }

  private static String readText(File file) throws IOException {
    Closer res = new Closer();
    try {
      InputStream in = res.using(new FileInputStream(file));
      InputStream bin = res.using(new BufferedInputStream(in));
      Reader reader = res.using(new InputStreamReader(bin, getEncoding(bin)));
      StringBuilder out = new StringBuilder();
      for (int ch = reader.read(); ch != -1; ch = reader.read())
        out.append((char) ch);
      return out.toString();
    } finally {
      res.close();
    }
  }

Использование:

  public static void main(String[] args) throws IOException {
    System.out.println(readText(new File("chinese.txt")));
  }

(System.out использует кодировку по умолчанию, поэтому независимо от того, печатает ли она что-либо разумное, зависит от вашей платформы и конфигурация.)

Ответ 2

Это напоминает мне:

Абсолютный минимум Каждый разработчик программного обеспечения Абсолютно, положительно должен знать о юникодном и символьном наборах (без отговорок!)

Ответ 3

Если вы можете полагать, что кодировка по умолчанию - это UTF-8 (или некоторая другая кодировка Unicode), вы можете использовать следующее:

    Writer w = new FileWriter("test.txt");
    w.append("上海");
    w.close();

Самый безопасный способ - всегда явно указывать кодировку:

    Writer w = new OutputStreamWriter(new FileOutputStream("test.txt"), "UTF-8");
    w.append("上海");
    w.close();

P.S. Вы можете использовать любые символы Юникода в исходном коде Java, даже как имена методов и переменных, если параметр -encoding для javac настроен правильно. Это делает исходный код более читабельным, чем экранированная форма \uXXXX.

Ответ 4

Будьте очень осторожны с предложенными подходами. Даже указав кодировку для файла следующим образом:

Writer w = новый OutputStreamWriter (новый FileOutputStream ( "test.txt" ), "UTF-8" );

не будет работать, если вы работаете под операционной системой, такой как Windows. Даже установка системного свойства file.encoding на UTF-8 не устраняет проблему. Это связано с тем, что Java не умеет записывать байтовый байтовый знак (BOM) для файла. Даже если вы укажете кодировку при записи в файл, открытие того же файла в приложении, как Wordpad, отобразит текст как мусор, поскольку он не обнаруживает спецификацию. Я попытался запустить примеры здесь в Windows (с кодировкой платформы/контейнера CP1252).

Для описания проблемы в Java существует следующая ошибка:

http://bugs.sun.com/bugdatabase/view_bug.do?bug_id=4508058

Решением на данный момент является запись метки байтового байта самостоятельно, чтобы обеспечить корректное открытие файла в других приложениях. См. Это для более подробной информации о спецификации:

http://mindprod.com/jgloss/bom.html

и для более правильного решения см. следующую ссылку:

http://tripoverit.blogspot.com/2007/04/javas-utf-8-and-unicode-writing-is.html

Ответ 5

Вот один из многих способов. В принципе, мы просто указываем, что преобразование должно быть выполнено в UTF-8 до вывода байтов в FileOutputStream:

String FileName = "output.txt";

StringBuffer Shanghai_StrBuf=new StringBuffer("\u4E0A\u6D77");
boolean Append=true;

Writer writer = new OutputStreamWriter(new FileOutputStream(FileName,Append), "UTF-8");
writer.write(Shanghai_StrBuf.toString(), 0, Shanghai_StrBuf.length());
writer.close();

Я проверил это вручную на изображениях http://www.fileformat.info/info/unicode/char/. В будущем, пожалуйста, следуйте стандартам кодирования Java, включая имена переменных нижнего регистра. Это улучшает читаемость.

Ответ 6

Попробуйте это,

StringBuffer Shanghai_StrBuf=new StringBuffer("\u4E0A\u6D77");
    boolean Append=true;

    Writer out = new BufferedWriter(new OutputStreamWriter(
        new FileOutputStream(FileName,Append), "UTF8"));
    for (int i=0;i<Shanghai_StrBuf.length();i++) out.write(Shanghai_StrBuf.charAt(i));
    out.close();