字节交换#

字节序和 ndarray 简介#

ndarray 是一个对象，它提供了一个 Python 数组接口来访问内存中的数据。

通常情况下，您想用数组查看的内存可能与运行 Python 的计算机的字节序不同。

例如，我可能正在使用一台小端 CPU（例如 Intel Pentium）的计算机工作，但是我加载了一些由大端计算机写入的文件数据。假设我从由 Sun（大端）计算机写入的文件中加载了 4 个字节。我知道这 4 个字节代表两个 16 位整数。在大端机器上，一个两字节整数以最高有效字节 (MSB) 优先存储，然后是最低有效字节 (LSB)。因此，内存中的字节顺序是

整数 1 的 MSB
整数 1 的 LSB
整数 2 的 MSB
整数 2 的 LSB

假设这两个整数实际上是 1 和 770。因为 770 = 256 * 3 + 2，所以内存中的 4 个字节分别包含：0、1、3、2。我从文件中加载的字节将包含以下内容

>>> big_end_buffer = bytearray([0,1,3,2])
>>> big_end_buffer
bytearray(b'\x00\x01\x03\x02')

我们可能希望使用 ndarray 来访问这些整数。在这种情况下，我们可以围绕这段内存创建一个数组，并告诉 NumPy 有两个整数，它们是 16 位的大端字节序。

>>> import numpy as np
>>> big_end_arr = np.ndarray(shape=(2,),dtype='>i2', buffer=big_end_buffer)
>>> big_end_arr[0]
np.int16(1)
>>> big_end_arr[1]
np.int16(770)

请注意上面 dtype 为 >i2 的数组。> 表示“大端”（< 为小端），i2 表示“有符号 2 字节整数”。例如，如果我们的数据表示单个无符号 4 字节小端整数，则 dtype 字符串将为 <u4。

事实上，我们为什么不试试呢？

>>> little_end_u4 = np.ndarray(shape=(1,),dtype='<u4', buffer=big_end_buffer)
>>> little_end_u4[0] == 1 * 256**1 + 3 * 256**2 + 2 * 256**3
True

回到我们的 big_end_arr——在这种情况下，我们的底层数据是大端字节序（数据字节序），并且我们已将 dtype 设置为匹配（dtype 也是大端字节序）。但是，有时您需要将它们反转。

警告

标量不包含字节序信息，因此从数组中提取标量将返回以本地字节序表示的整数。因此

>>> big_end_arr[0].dtype.byteorder == little_end_u4[0].dtype.byteorder
True

NumPy 故意不尝试始终保留字节序，例如在 numpy.concatenate 中转换为本地字节序。

更改字节序#

正如您从引言中可以想象的那样，您可以通过两种方式影响数组的字节序与其查看的底层内存之间的关系：

更改数组 dtype 中的字节序信息，以便它将底层数据解释为不同的字节序。这是 arr.view(arr.dtype.newbyteorder()) 的作用。
更改底层数据的字节序，同时保持 dtype 解释不变。这就是 arr.byteswap() 的作用。

需要更改字节序的常见情况是：

您的数据和 dtype 字节序不匹配，您想更改 dtype 以使其与数据匹配。
您的数据和 dtype 字节序不匹配，您想交换数据以使其与 dtype 匹配。
您的数据和 dtype 字节序匹配，但您希望数据交换并且 dtype 反映这一点。

数据和 dtype 字节序不匹配，更改 dtype 以匹配数据#

我们创建一些不匹配的情况

>>> wrong_end_dtype_arr = np.ndarray(shape=(2,),dtype='<i2', buffer=big_end_buffer)
>>> wrong_end_dtype_arr[0]
np.int16(256)

解决这种情况的明显方法是更改 dtype 以使其提供正确的字节序

>>> fixed_end_dtype_arr = wrong_end_dtype_arr.view(np.dtype('<i2').newbyteorder())
>>> fixed_end_dtype_arr[0]
np.int16(1)

请注意，数组在内存中没有改变

>>> fixed_end_dtype_arr.tobytes() == big_end_buffer
True

数据和类型字节序不匹配，更改数据以匹配 dtype#

如果您需要内存中的数据具有特定的顺序，则您可能希望这样做。例如，您可能正在将内存写入需要特定字节序的文件。

>>> fixed_end_mem_arr = wrong_end_dtype_arr.byteswap()
>>> fixed_end_mem_arr[0]
np.int16(1)

现在数组在内存中_已_更改

>>> fixed_end_mem_arr.tobytes() == big_end_buffer
False

数据和 dtype 字节序匹配，交换数据和 dtype#

您可能有一个正确指定的数组 dtype，但是您需要数组在内存中具有相反的字节序，并且您希望 dtype 匹配，以便数组值有意义。在这种情况下，您只需执行之前的两个操作。

>>> swapped_end_arr = big_end_arr.byteswap()
>>> swapped_end_arr = swapped_end_arr.view(swapped_end_arr.dtype.newbyteorder())
>>> swapped_end_arr[0]
np.int16(1)
>>> swapped_end_arr.tobytes() == big_end_buffer
False

可以使用 ndarray 的 astype 方法更轻松地将数据转换为特定 dtype 和字节序。

>>> swapped_end_arr = big_end_arr.astype('<i2')
>>> swapped_end_arr[0]
np.int16(1)
>>> swapped_end_arr.tobytes() == big_end_buffer
False