处理字符串和字节数组#

虽然 NumPy 主要是一个数值库，但处理 NumPy 字符串或字节数组通常很方便。两种最常见的用例是：

  • 处理从数据文件加载或内存映射的数据，其中数据中的一个或多个字段是字符串或字节字符串，并且字段的最大长度是预先已知的。这通常用于名称或标签字段。

  • 将 NumPy 索引和广播与长度未知的 Python 字符串数组一起使用，这些字符串数组可能为每个值定义了数据，也可能没有。

对于第一种用例，NumPy 提供了定长数据类型 numpy.void、numpy.str_ 和 numpy.bytes_。对于第二种用例，NumPy 提供了 numpy.dtypes.StringDType。下面我们将介绍如何处理定长和变长字符串数组，如何在两种表示之间进行转换，并提供一些在 NumPy 中高效处理字符串数据的建议。

定长数据类型#

在 NumPy 2.0 之前，定长数据类型 numpy.str_、numpy.bytes_ 和 numpy.void 是 NumPy 中处理字符串和字节字符串的唯一可用类型。因此，它们分别被用作字符串和字节字符串的默认 dtype。

>>> np.array(["hello", "world"])
array(['hello', 'world'], dtype='<U5')

此处检测到的数据类型是 '<U5'，即小端序 Unicode 字符串数据，最大长度为 5 个 Unicode 码点。

对于字节字符串也类似

>>> np.array([b"hello", b"world"])
array([b'hello', b'world'], dtype='|S5')

由于这是一种单字节编码，字节顺序为 ‘|’（不适用），并且检测到的数据类型是最大长度为 5 个字符的字节字符串。

您也可以使用 numpy.void 来表示字节字符串

>>> np.array([b"hello", b"world"]).astype(np.void)
array([b'\x68\x65\x6C\x6C\x6F', b'\x77\x6F\x72\x6C\x64'], dtype='|V5')

这在处理不适合表示为字节字符串的字节流时最有用，这些字节流最好被视为 8 位整数的集合。

变长字符串#

2.0 版本新增。

注意

numpy.dtypes.StringDType 是 NumPy 的新增功能，它利用 NumPy 对灵活的用户自定义数据类型的新支持实现，并且在生产工作流中尚未像旧的 NumPy 数据类型那样经过广泛测试。

通常，实际的字符串数据没有可预测的长度。在这种情况下，使用定长字符串会很麻烦，因为要在不截断的情况下存储所有数据，需要在创建数组之前知道要存储在数组中最长字符串的长度。

为了支持这种情况，NumPy 提供了 numpy.dtypes.StringDType，它以 UTF-8 编码将变长字符串数据存储在 NumPy 数组中

>>> from numpy.dtypes import StringDType
>>> data = ["this is a longer string", "short string"]
>>> arr = np.array(data, dtype=StringDType())
>>> arr
array(['this is a longer string', 'short string'], dtype=StringDType())

请注意，与定长字符串不同，StringDType 不受数组元素最大长度的参数化，任意长或短的字符串都可以存在于同一个数组中，而无需为短字符串中的填充字节预留存储空间。

另请注意，与定长字符串和大多数其他 NumPy 数据类型不同，StringDType 不将字符串数据存储在“主”ndarray 数据缓冲区中。相反，数组缓冲区用于存储有关字符串数据在内存中存储位置的元数据。这一差异意味着期望数组缓冲区包含字符串数据的代码将无法正常运行，并且需要更新以支持 StringDType。

缺失数据支持#

字符串数据集通常不完整，需要一个特殊标签来指示某个值缺失。默认情况下，StringDType 除了使用空字符串填充空数组外，没有对缺失值进行特殊支持

>>> np.empty(3, dtype=StringDType())
array(['', '', ''], dtype=StringDType())

此外，您可以通过将 na_object 作为初始化器的关键字参数传递，来创建支持缺失值的 StringDType 实例

>>> dt = StringDType(na_object=None)
>>> arr = np.array(["this array has", None, "as an entry"], dtype=dt)
>>> arr
array(['this array has', None, 'as an entry'],
      dtype=StringDType(na_object=None))
>>> arr[1] is None
True

na_object 可以是任何任意的 Python 对象。常见的选择包括 numpy.nan、float('nan')、None，专门用于表示缺失数据的对象（例如 pandas.NA），或者是一个（最好是）唯一的字符串，例如 "__placeholder__"。

NumPy 对类 NaN 哨兵值和字符串哨兵值有特殊处理。

类 NaN 缺失数据哨兵值#

类 NaN 哨兵值在算术运算中会返回自身。这包括 Python 的 nan 浮点数和 Pandas 的缺失数据哨兵值 pd.NA。类 NaN 哨兵值在字符串操作中继承了这些行为。这意味着，例如，与任何其他字符串相加的结果就是该哨兵值

>>> dt = StringDType(na_object=np.nan)
>>> arr = np.array(["hello", np.nan, "world"], dtype=dt)
>>> arr + arr
array(['hellohello', nan, 'worldworld'], dtype=StringDType(na_object=nan))

与 nan 在浮点数组中的行为类似，类 NaN 哨兵值会排在数组的末尾。

>>> np.sort(arr)
array(['hello', 'world', nan], dtype=StringDType(na_object=nan))

字符串缺失数据哨兵值#

字符串缺失数据值是 str 的实例或其子类型。如果将此类数组传递给字符串操作或类型转换，则“缺失”条目将被视为具有由字符串哨兵值给定的值。比较操作类似地直接使用哨兵值处理缺失条目。

其他哨兵值#

其他对象，例如 None，也支持作为缺失数据哨兵值。如果数组中使用此类哨兵值存在任何缺失数据，则字符串操作将引发错误

>>> dt = StringDType(na_object=None)
>>> arr = np.array(["this array has", None, "as an entry"])
>>> np.sort(arr)
Traceback (most recent call last):
...
TypeError: '<' not supported between instances of 'NoneType' and 'str'

非字符串强制转换#

默认情况下，非字符串数据会被强制转换为字符串

>>> np.array([1, object(), 3.4], dtype=StringDType())
array(['1', '<object object at 0x7faa2497dde0>', '3.4'], dtype=StringDType())

如果不需要此行为，可以在初始化器中设置 coerce=False 来创建一个禁用字符串强制转换的 DType 实例

>>> np.array([1, object(), 3.4], dtype=StringDType(coerce=False))
Traceback (most recent call last):
...
ValueError: StringDType only allows string data when string coercion is disabled.

这允许在 NumPy 创建数组时对数据进行严格的数据验证。将 coerce=True 设置回默认行为，允许强制转换为字符串。

与定长字符串之间的类型转换#

StringDType 支持 numpy.str_、numpy.bytes_ 和 numpy.void 之间的往返类型转换。将字符串转换为定长字符串在需要将字符串内存映射到 ndarray 中时，或者在需要定长字符串来读写已知最大字符串长度的列式数据格式时最有用。

在所有情况下，转换为定长字符串都需要指定允许的最大字符串长度

>>> arr = np.array(["hello", "world"], dtype=StringDType())
>>> arr.astype(np.str_)  
Traceback (most recent call last):
...
TypeError: Casting from StringDType to a fixed-width dtype with an
unspecified size is not currently supported, specify an explicit
size for the output dtype instead.

The above exception was the direct cause of the following
exception:

TypeError: cannot cast dtype StringDType() to <class 'numpy.dtypes.StrDType'>.
>>> arr.astype("U5")
array(['hello', 'world'], dtype='<U5')

numpy.bytes_ 类型转换对于已知仅包含 ASCII 字符的字符串数据最有用，因为超出此范围的字符无法在 UTF-8 编码中用单个字节表示，并会被拒绝。

任何有效的 Unicode 字符串都可以转换为 numpy.str_，但由于 numpy.str_ 对所有字符使用 32 位 UCS4 编码，这通常会浪费内存，对于可以通过更节省内存的编码很好地表示的实际文本数据而言。

此外，任何有效的 Unicode 字符串都可以转换为 numpy.void，直接将 UTF-8 字节存储在输出数组中

>>> arr = np.array(["hello", "world"], dtype=StringDType())
>>> arr.astype("V5")
array([b'\x68\x65\x6C\x6C\x6F', b'\x77\x6F\x72\x6C\x64'], dtype='|V5')

必须注意确保输出数组有足够的空间容纳字符串中的 UTF-8 字节，因为 UTF-8 字节流的字节大小不一定与字符串中的字符数相同。