在 C/C++ 中解析二进制消息流

我正在编写二进制协议（Javad GRIL 协议）的解码器。它由大约一百条消息组成，数据格式如下：

struct MsgData {
    uint8_t num;
    float x, y, z;
    uint8_t elevation;
    ...
};

这些字段是 ANSI 编码的二进制数字，彼此连续且没有间隙。解析此类消息的最简单方法是将输入字节数组转换为适当的类型。问题在于流中的数据是打包的，即未对齐的。

在 x86 上，可以使用以下方法解决#pragma pack(1)。但是，这在其他一些平台上不起作用，或者会因进一步处理未对齐的数据而产生性能开销。

另一种方法是为每种消息类型编写特定的解析函数，但正如我所提到的，该协议包含数百条消息。

另一种选择是使用 Perl 之类的东西unpack()函数并将消息格式存储在某处。说，我们可以#define MsgDataFormat "CfffC"然后打电话unpack(pMsgBody, MsgDataFormat)。这要短得多，但仍然容易出错且冗余。此外，格式可能会更复杂，因为消息可以包含数组，因此解析器将变得缓慢且复杂。

有没有通用且有效的解决方案？我读了这个帖子 https://stackoverflow.com/questions/321423/parsing-binary-data-in-c并用谷歌搜索了一下，但没有找到更好的方法。

也许C++有解决方案？

好的，以下是我使用 VC10 和 GCC 4.5.1 编译的（在 ideone.com 上 http://ideone.com/m0g2P）。我认为C++1x的所有这些需求是<tuple>，这应该是可用的（如std::tr1::tuple）在较旧的编译器中也是如此。

它仍然需要您为每个成员键入一些代码，但这是非常少的代码。 （见最后我的解释。）

#include <iostream>
#include <tuple>

typedef unsigned char uint8_t;
typedef unsigned char byte_t;

struct MsgData {
    uint8_t num;
    float x;
    uint8_t elevation;

    static const std::size_t buffer_size = sizeof(uint8_t)
                                         + sizeof(float) 
                                         + sizeof(uint8_t);

    std::tuple<uint8_t&,float&,uint8_t&> get_tied_tuple()
    {return std::tie(num, x, elevation);}
    std::tuple<const uint8_t&,const float&,const uint8_t&> get_tied_tuple() const
    {return std::tie(num, x, elevation);}
};

// needed only for test output
inline std::ostream& operator<<(std::ostream& os, const MsgData& msgData)
{
    os << '[' << static_cast<int>(msgData.num) << ' ' 
       << msgData.x << ' ' << static_cast<int>(msgData.elevation) << ']';
    return os;
}

namespace detail {

    // overload the following two for types that need special treatment
    template<typename T>
    const byte_t* read_value(const byte_t* bin, T& val)
    {
        val = *reinterpret_cast<const T*>(bin);
        return bin + sizeof(T)/sizeof(byte_t);
    }
    template<typename T>
    byte_t* write_value(byte_t* bin, const T& val)
    {
        *reinterpret_cast<T*>(bin) = val;
        return bin + sizeof(T)/sizeof(byte_t);
    }

    template< typename MsgTuple, unsigned int Size = std::tuple_size<MsgTuple>::value >
    struct msg_serializer;

    template< typename MsgTuple >
    struct msg_serializer<MsgTuple,0> {
        static const byte_t* read(const byte_t* bin, MsgTuple&) {return bin;}
        static byte_t* write(byte_t* bin, const MsgTuple&)      {return bin;}
    };

    template< typename MsgTuple, unsigned int Size >
    struct msg_serializer {
        static const byte_t* read(const byte_t* bin, MsgTuple& msg)
        {
            return read_value( msg_serializer<MsgTuple,Size-1>::read(bin, msg)
                             , std::get<Size-1>(msg) );
        }
        static byte_t* write(byte_t* bin, const MsgTuple& msg)
        {
            return write_value( msg_serializer<MsgTuple,Size-1>::write(bin, msg)
                              , std::get<Size-1>(msg) );
        }
    };

    template< class MsgTuple >
    inline const byte_t* do_read_msg(const byte_t* bin, MsgTuple msg)
    {
        return msg_serializer<MsgTuple>::read(bin, msg);
    }

    template< class MsgTuple >
    inline byte_t* do_write_msg(byte_t* bin, const MsgTuple& msg)
    {
        return msg_serializer<MsgTuple>::write(bin, msg);
    }
}

template< class Msg >
inline const byte_t* read_msg(const byte_t* bin, Msg& msg)
{
    return detail::do_read_msg(bin, msg.get_tied_tuple());
}

template< class Msg >
inline const byte_t* write_msg(byte_t* bin, const Msg& msg)
{
    return detail::do_write_msg(bin, msg.get_tied_tuple());
}

int main()
{
    byte_t buffer[MsgData::buffer_size];

    std::cout << "buffer size is " << MsgData::buffer_size << '\n';

    MsgData msgData;
    std::cout << "initializing data...";
    msgData.num = 42;
    msgData.x = 1.7f;
    msgData.elevation = 17;
    std::cout << "data is now " << msgData << '\n';
    write_msg(buffer, msgData);

    std::cout << "clearing data...";
    msgData = MsgData();
    std::cout << "data is now " << msgData << '\n';

    std::cout << "reading data...";
    read_msg(buffer, msgData);
    std::cout << "data is now " << msgData << '\n';

    return 0;
}

对我来说这打印

buffer size is 6
initializing data...data is now [0x2a 1.7 0x11]
clearing data...data is now [0x0 0 0x0]
reading data...data is now [0x2a 1.7 0x11]
  

（我已经缩短了你的MsgData类型仅包含三个数据成员，但这仅用于测试。）

对于每种消息类型，您需要定义其buffer_size静态常数和两个get_tied_tuple()成员函数，一const和一个非const，两者的实现方式相同。 （当然，这些也可以是非成员，但我试图让它们靠近它们所绑定的数据成员列表。）
对于某些类型（例如std::string）你需要添加这些的特殊重载detail::read_value() and detail::write_value()功能。
对于所有消息类型，其余机制保持不变。

有了完整的 C++1x 支持，您也许能够摆脱必须完全键入get_tied_tuple()成员函数，但我还没有实际尝试过。