字节交换#

字节序和 ndarray 简介#

ndarray 是一个对象，它提供了一个 Python 数组接口来访问内存中的数据。

通常情况下，您想用数组查看的内存可能与您运行 Python 的计算机的字节序不同。

例如，我可能在使用小端 CPU 的计算机上工作 - 例如 Intel Pentium，但是我加载了一些由大端计算机写入的文件中的数据。假设我从由 Sun（大端）计算机写入的文件中加载了 4 个字节。我知道这 4 个字节表示两个 16 位整数。在大端机器上，一个两字节整数存储时，最高有效字节 (MSB) 放在前面，然后是最低有效字节 (LSB)。因此，这些字节在内存中的顺序为

  1. 整数 1 的 MSB

  2. 整数 1 的 LSB

  3. 整数 2 的 MSB

  4. 整数 2 的 LSB

假设这两个整数实际上是 1 和 770。因为 770 = 256 * 3 + 2，所以内存中的 4 个字节分别包含：0、1、3、2。我从文件中加载的字节将具有以下内容

>>> big_end_buffer = bytearray([0,1,3,2])
>>> big_end_buffer
bytearray(b'\x00\x01\x03\x02')

我们可能希望使用 ndarray 来访问这些整数。在这种情况下，我们可以围绕此内存创建一个数组，并告诉 NumPy 其中有两个整数，它们是 16 位的大端整数

>>> import numpy as np
>>> big_end_arr = np.ndarray(shape=(2,),dtype='>i2', buffer=big_end_buffer)
>>> big_end_arr[0]
1
>>> big_end_arr[1]
770

请注意上面 dtype 为 >i2 的数组。 > 表示“大端”（< 是小端），i2 表示“有符号 2 字节整数”。例如，如果我们的数据表示单个无符号 4 字节小端整数，则 dtype 字符串将为 <u4。

事实上，我们为什么不试试呢？

>>> little_end_u4 = np.ndarray(shape=(1,),dtype='<u4', buffer=big_end_buffer)
>>> little_end_u4[0] == 1 * 256**1 + 3 * 256**2 + 2 * 256**3
True

回到我们的 big_end_arr - 在这种情况下，我们的底层数据是大端（数据字节序），并且我们已将 dtype 设置为匹配（dtype 也是大端）。但是，有时您需要将它们翻转。

警告

标量不包含字节序信息，因此从数组中提取标量将返回以本地字节序表示的整数。因此

>>> big_end_arr[0].dtype.byteorder == little_end_u4[0].dtype.byteorder
True

NumPy 故意不尝试始终保持字节序，例如在 numpy.concatenate 中转换为本地字节序。

更改字节序#

从简介中可以想象，您可以通过两种方式影响数组的字节序与其所查看的底层内存之间的关系

  • 更改数组 dtype 中的字节序信息，以便它将底层数据解释为不同的字节序。这是 arr.view(arr.dtype.newbyteorder()) 的作用。

  • 更改底层数据的字节序，保持 dtype 解释不变。这就是 arr.byteswap() 所做的。

您需要更改字节序的常见情况是

  1. 您的数据和 dtype 字节序不匹配，并且您希望更改 dtype 以使其与数据匹配。

  2. 您的数据和 dtype 字节序不匹配，并且您希望交换数据以使其与 dtype 匹配

  3. 您的数据和 dtype 字节序匹配，但您希望数据交换并且 dtype 反映这一点

数据和 dtype 字节序不匹配，更改 dtype 以匹配数据#

我们创建了一些不匹配的情况

>>> wrong_end_dtype_arr = np.ndarray(shape=(2,),dtype='<i2', buffer=big_end_buffer)
>>> wrong_end_dtype_arr[0]
256

此情况的明显解决方案是更改 dtype，使其提供正确的字节序

>>> fixed_end_dtype_arr = wrong_end_dtype_arr.view(np.dtype('<i2').newbyteorder())
>>> fixed_end_dtype_arr[0]
1

请注意，数组在内存中没有发生变化

>>> fixed_end_dtype_arr.tobytes() == big_end_buffer
True

数据和类型字节序不匹配，更改数据以匹配 dtype#

如果您需要内存中的数据具有特定的顺序，则可能需要执行此操作。例如，您可能正在将内存写入需要特定字节序的文件。

>>> fixed_end_mem_arr = wrong_end_dtype_arr.byteswap()
>>> fixed_end_mem_arr[0]
1

现在数组在内存中已发生变化

>>> fixed_end_mem_arr.tobytes() == big_end_buffer
False

数据和 dtype 字节序匹配，交换数据和 dtype#

您可能拥有正确指定的数组 dtype，但需要数组在内存中具有相反的字节序，并且您希望 dtype 匹配以便数组值有意义。在这种情况下，您只需执行前面两个操作即可

>>> swapped_end_arr = big_end_arr.byteswap()
>>> swapped_end_arr = swapped_end_arr.view(swapped_end_arr.dtype.newbyteorder())
>>> swapped_end_arr[0]
1
>>> swapped_end_arr.tobytes() == big_end_buffer
False

使用 ndarray 的 astype 方法可以更轻松地将数据转换为特定的 dtype 和字节序

>>> swapped_end_arr = big_end_arr.astype('<i2')
>>> swapped_end_arr[0]
1
>>> swapped_end_arr.tobytes() == big_end_buffer
False
本页内容