保存和共享你的 NumPy 数组

保存和共享你的 NumPy 数组#

你将学到什么#

你将学习如何将你的 NumPy 数组保存为压缩文件和人类可读的逗号分隔值文件（即 *.csv）。你将学习如何将这两种文件类型重新加载到 NumPy 工作区中。

你将做什么#

你将学习两种保存和读取文件的方法——压缩文件和文本文件——这将满足你在 NumPy 中的大部分存储需求。

  • 你将创建两个一维数组和一个二维数组

  • 你将把这些数组保存到文件中

  • 你将从你的工作区中删除变量

  • 你将从保存的文件中加载变量

  • 你将比较压缩二进制文件和人类可读的分隔符文件

  • 你将掌握保存、加载和共享 NumPy 数组的技能

你需要什么#

  • NumPy

  • 对你的工作目录的读写访问权限

使用以下命令加载必要的函数。

import numpy as np

在本教程中，你将使用以下 Python、IPython 魔术命令和 NumPy 函数

创建你的数组#

现在你已经导入了 NumPy 库，你可以创建几个数组；让我们从两个一维数组 x 和 y 开始，其中 y = x**2。你将使用 np.arange 将 x 赋值为从 0 到 9 的整数。

x = np.arange(10)
y = x ** 2
print(x)
print(y)

[0 1 2 3 4 5 6 7 8 9]
[ 0  1  4  9 16 25 36 49 64 81]

使用 NumPy 的 savez 保存你的数组#

现在你的工作区中有两个数组：

x: [0 1 2 3 4 5 6 7 8 9]

y: [ 0  1  4  9 16 25 36 49 64 81]

你将要做的第一件事是使用 savez 将它们保存到一个文件中，作为压缩数组。你将使用两个选项来标记文件中的数组：

  1. x_axis = x：此选项将名称 x_axis 赋值给变量 x

  2. y_axis = y：此选项将名称 y_axis 赋值给变量 y

np.savez("x_y-squared.npz", x_axis=x, y_axis=y)

删除已保存的数组并使用 NumPy 的 load 将其加载回来#

在你的当前工作目录中，你应该有一个名为 x_y-squared.npz 的新文件。此文件是两个数组 x 和 y 的压缩二进制文件。让我们清除工作区并将值重新加载。这个 x_y-squared.npz 文件包含两个 NPY 格式 文件。NPY 格式是一种 原生二进制格式。你不能在标准文本编辑器或电子表格中读取这些数字。

  1. 使用 del 从工作区中删除 x 和 y

  2. 使用 np.load 将数组加载到工作区中的字典中

要查看工作区中有哪些变量，请使用 Jupyter/IPython 的“魔术”命令 whos。

del x, y

%whos

Variable   Type      Data/Info
------------------------------
np         module    <module 'numpy' from '/ho<...>kages/numpy/__init__.py'>

load_xy = np.load("x_y-squared.npz")

print(load_xy.files)

['x_axis', 'y_axis']

%whos

Variable   Type       Data/Info
-------------------------------
load_xy    NpzFile    NpzFile 'x_y-squared.npz'<...>with keys: x_axis, y_axis
np         module     <module 'numpy' from '/ho<...>kages/numpy/__init__.py'>

将 NpzFile 数组重新赋值给 x 和 y#

你现在创建了一个包含 NpzFile 类型的字典。包含的文件是你在 savez 命令中定义的 x_axis 和 y_axis。你可以将 x 和 y 重新赋值给 load_xy 文件。

x = load_xy["x_axis"]
y = load_xy["y_axis"]
print(x)
print(y)

[0 1 2 3 4 5 6 7 8 9]
[ 0  1  4  9 16 25 36 49 64 81]

成功#

你已经使用 savez 和 load 创建、保存、删除和加载了变量 x 和 y。干得好。

另一种选择：保存为人类可读的 csv#

让我们考虑另一种情况，你想与其他人或其他程序共享 x 和 y。你可能需要一个更容易共享的人类可读的文本文件。接下来，你将使用 savetxt 将 x 和 y 保存到逗号分隔值文件 x_y-squared.csv 中。生成的 csv 文件由 ASCII 字符组成。你可以将文件重新加载到 NumPy 中，或使用其他程序读取它。

将数据重新排列成单个二维数组#

首先，你必须从你的两个一维数组创建一个单一的二维数组。csv 文件类型是电子表格样式的数据集。csv 将数字排列成行（由换行符分隔）和列（由逗号分隔）。如果数据更复杂，例如多个二维数组或更高维数组，最好使用 savez。在这里，你使用两个 NumPy 函数来格式化数据

  1. np.block：此函数将数组附加到二维数组中

  2. np.newaxis：此函数强制一维数组成为一个具有 10 行 1 列的二维列向量。

array_out = np.block([x[:, np.newaxis], y[:, np.newaxis]])
print("the output array has shape ", array_out.shape, " with values:")
print(array_out)

the output array has shape  (10, 2)  with values:
[[ 0  0]
 [ 1  1]
 [ 2  4]
 [ 3  9]
 [ 4 16]
 [ 5 25]
 [ 6 36]
 [ 7 49]
 [ 8 64]
 [ 9 81]]

使用 savetxt 将数据保存到 csv 文件#

您可以使用 savetxt 和三个选项来使您的文件更易于阅读

  • X = array_out：此选项告诉 savetxt 将您的二维数组 array_out 保存到文件 x_y-squared.csv

  • header = 'x, y'：此选项在任何数据之前写入标题，以标记 csv 的列

  • delimiter = ','：此选项告诉 savetxt 在文件中的每一列之间放置一个逗号

np.savetxt("x_y-squared.csv", X=array_out, header="x, y", delimiter=",")

打开文件 x_y-squared.csv，您将看到以下内容

!head x_y-squared.csv

# x, y
0.000000000000000000e+00,0.000000000000000000e+00
1.000000000000000000e+00,1.000000000000000000e+00
2.000000000000000000e+00,4.000000000000000000e+00
3.000000000000000000e+00,9.000000000000000000e+00
4.000000000000000000e+00,1.600000000000000000e+01
5.000000000000000000e+00,2.500000000000000000e+01
6.000000000000000000e+00,3.600000000000000000e+01
7.000000000000000000e+00,4.900000000000000000e+01
8.000000000000000000e+00,6.400000000000000000e+01

我们的数组作为 csv 文件#

这里有两个需要注意的功能

  1. NumPy 使用 # 在使用 loadtxt 时忽略标题。如果您使用的是 loadtxt 处理其他 csv 文件，您可以使用 skiprows = <number_of_header_lines> 跳过标题行。

  2. 整数以科学计数法写入。您可以使用 savetxt 选项 fmt = 指定文本格式，但它仍然会使用 ASCII 字符写入。通常，您无法将 ASCII 数字的类型保留为 float 或 int。

现在，再次删除 x 和 y，并将它们赋值给 x-y_squared.csv 中的列。

del x, y

load_xy = np.loadtxt("x_y-squared.csv", delimiter=",")

load_xy.shape

(10, 2)

x = load_xy[:, 0]
y = load_xy[:, 1]
print(x)
print(y)

[0. 1. 2. 3. 4. 5. 6. 7. 8. 9.]
[ 0.  1.  4.  9. 16. 25. 36. 49. 64. 81.]

成功，但请记住您的类型#

将数组保存到 csv 文件时，您没有保留 int 类型。将数组加载回工作区时，默认过程是将 csv 文件加载为二维浮点数组，例如 load_xy.dtype == 'float64' 和 load_xy.shape == (10, 2)。

总结#

总之，您可以在 NumPy 中创建、保存和加载数组。保存数组使共享您的工作和协作变得更容易。Python 可以使用其他方法将数据保存到文件中，例如 pickle，但是 savez 和 savetxt 将分别满足您未来 NumPy 工作和与他人共享的大部分存储需求。

后续步骤：您可以使用 使用 genfromtext 导入 导入包含缺失值的数据，或了解有关通用 NumPy IO 的更多信息 读取和写入文件。