Подтвердить что ты не робот

Как кросс-платформенная платформа Google Protocol Buffer обрабатывает типы с плавающей точкой на практике?

Буферы протокола Google позволяют хранить полеты и удваивать сообщения. Я просмотрел исходный код реализации, задаваясь вопросом, как им удалось это сделать кросс-платформенным способом, и на что я наткнулся:

inline uint32 WireFormatLite::EncodeFloat(float value) {
  union {float f; uint32 i;};
  f = value;
  return i;
}

inline float WireFormatLite::DecodeFloat(uint32 value) {
  union {float f; uint32 i;};
  i = value;
  return f;
}

inline uint64 WireFormatLite::EncodeDouble(double value) {
  union {double f; uint64 i;};
  f = value;
  return i;
}

inline double WireFormatLite::DecodeDouble(uint64 value) {
  union {double f; uint64 i;};
  i = value;
  return f;
}

Теперь важная дополнительная информация состоит в том, что эти подпрограммы не являются завершением процесса, а результат их пост-обрабатывается, чтобы поместить байты в порядке юнитов:

inline void WireFormatLite::WriteFloatNoTag(float value,
                                        io::CodedOutputStream* output) {
  output->WriteLittleEndian32(EncodeFloat(value));
}

inline void WireFormatLite::WriteDoubleNoTag(double value,
                                         io::CodedOutputStream* output) {
  output->WriteLittleEndian64(EncodeDouble(value));
}

template <>
inline bool WireFormatLite::ReadPrimitive<float, WireFormatLite::TYPE_FLOAT>(
    io::CodedInputStream* input,
    float* value) {
  uint32 temp;
  if (!input->ReadLittleEndian32(&temp)) return false;
  *value = DecodeFloat(temp);
  return true;
}

template <>
inline bool WireFormatLite::ReadPrimitive<double, WireFormatLite::TYPE_DOUBLE>(
    io::CodedInputStream* input,
    double* value) {
  uint64 temp;
  if (!input->ReadLittleEndian64(&temp)) return false;
  *value = DecodeDouble(temp);
  return true;
}

Итак, мой вопрос: действительно ли это на самом деле достаточно эффективно, чтобы обеспечить сериализацию поплавков и удвоений в С++ для транспорта на разных платформах?

Я прямо вставляю слова "на практике" в свой вопрос, потому что я знаю, что теоретически нельзя делать никаких предположений о том, как float и double на самом деле отформатированы на С++, но я не имею в виду, теоретическая опасность на самом деле то, о чем я должен очень беспокоиться на практике.

UPDATE

Теперь мне кажется, что подход PB может быть разбит на SPARC. Если я правильно понимаю эту страницу Oracle, описывающий формат, используемый для числа в SPARC, SPARC использует противоположный endian как x86 для целых чисел, но тот же endian, что и x86 для float и двойники. Тем не менее, PB кодирует float/doubles, сначала применяя их непосредственно к целочисленному типу соответствующего размера (с помощью объединения, см. Фрагменты кода, цитируемые в моем вопросе выше), а затем изменяя порядок байтов на платформах с помощью big-endian целые числа:

void CodedOutputStream::WriteLittleEndian64(uint64 value) {
  uint8 bytes[sizeof(value)];

  bool use_fast = buffer_size_ >= sizeof(value);
  uint8* ptr = use_fast ? buffer_ : bytes;

  WriteLittleEndian64ToArray(value, ptr);

  if (use_fast) {
    Advance(sizeof(value));
  } else {
    WriteRaw(bytes, sizeof(value));
  }
}

inline uint8* CodedOutputStream::WriteLittleEndian64ToArray(uint64 value,
                                                            uint8* target) {
#if defined(PROTOBUF_LITTLE_ENDIAN)
  memcpy(target, &value, sizeof(value));
#else
  uint32 part0 = static_cast<uint32>(value);
  uint32 part1 = static_cast<uint32>(value >> 32);

  target[0] = static_cast<uint8>(part0);
  target[1] = static_cast<uint8>(part0 >>  8);
  target[2] = static_cast<uint8>(part0 >> 16);
  target[3] = static_cast<uint8>(part0 >> 24);
  target[4] = static_cast<uint8>(part1);
  target[5] = static_cast<uint8>(part1 >>  8);
  target[6] = static_cast<uint8>(part1 >> 16);
  target[7] = static_cast<uint8>(part1 >> 24);
#endif
  return target + sizeof(value);
}

Это, однако, не совсем то, что нужно делать в случае float/double на SPARC, поскольку байты уже находятся в "правильном" порядке.

Итак, в заключение, если мое понимание верное, то числа с плавающей запятой не переносятся между SPARC и x86 с использованием PB, поскольку, по существу, PB предполагает, что все номера хранятся с той же самой endianess (по сравнению с другими платформы) как целые числа на данной платформе, что является неправильным предположением сделать на SPARC.

ОБНОВЛЕНИЕ 2

Как отметил Лике, 64-разрядные плавающие точки IEEE хранятся в ординарном порядке на SPARC, в отличие от x86. Однако только два 32-битных слова находятся в обратном порядке, не все 8 байтов и, в частности, 32-разрядные плавающие точки IEEE выглядят так, как будто они хранятся в том же порядке, что и на x86.

4b9b3361

Ответ 1

Я думаю, что это должно быть хорошо, пока ваша целевая платформа С++ использует IEEE-754, и библиотека правильно обрабатывает утверждение. В основном код, который вы указали, предполагает, что если у вас есть правильные биты в правильном порядке и реализация IEEE-754, вы получите правильное значение. Конкретность обрабатывается протокольными буферами, и предполагается, что IEEE-754 - но довольно универсальный.

Ответ 2

На практике тот факт, что они пишут и читают с соблюдением правил, достаточно для поддержания переносимости. Это довольно очевидно, учитывая широкое использование протокольных буферов на многих платформах (и даже языках).