掩码数组#

您将做什么#

使用 NumPy 中的掩码数组模块分析 COVID-19 数据并处理缺失值。

您将学到什么#

  • 您将了解什么是掩码数组以及如何创建它们

  • 您将了解如何访问和修改掩码数组的数据

  • 您将能够在某些应用程序中确定何时使用掩码数组是合适的

您需要什么#

  • 熟悉 Python 基础知识。如果您想复习一下,请查看Python 教程

  • 熟悉 NumPy 基础知识

  • 要在您的计算机上运行绘图,您需要matplotlib


什么是掩码数组?#

考虑以下问题。您有一个包含缺失或无效条目的数据集。如果您要对此数据进行任何类型的处理,并且想要*跳过*或标记这些不需要的条目而不只是删除它们,您可能必须使用条件语句或以某种方式过滤您的数据。numpy.ma 模块提供了与NumPy ndarrays相同的功能,并增加了结构以确保在计算中不使用无效条目。

来自参考指南

掩码数组是标准numpy.ndarray和**掩码**的组合。掩码要么是nomask,表示关联数组的任何值均有效,要么是布尔值数组,用于确定关联数组的每个元素是否有效。当掩码的元素为False时,关联数组的对应元素有效,并称为未掩码。当掩码的元素为True时,关联数组的对应元素称为掩码(无效)。

我们可以将MaskedArray视为以下内容的组合

  • 数据,作为任何形状或数据类型的常规numpy.ndarray

  • 与数据形状相同的布尔掩码;

  • 一个fill_value,一个可用于替换无效条目以返回标准numpy.ndarray的值。

它们何时有用?#

在某些情况下,掩码数组可能比仅仅消除数组的无效条目更有用

  • 当您想保留已掩码的值以供以后处理,而无需复制数组时;

  • 当您必须处理许多数组时,每个数组都有自己的掩码。如果掩码是数组的一部分,则可以避免错误,并且代码可能更紧凑;

  • 当您对缺失或无效值有不同的标志,并且希望保留这些标志而不替换原始数据集中的它们,但将它们排除在计算之外时;

  • 如果您无法避免或消除缺失值,但不想在操作中处理NaN(非数字)值。

掩码数组也是一个好主意,因为numpy.ma模块还带有一个大多数NumPy 通用函数 (ufuncs)的特定实现,这意味着您仍然可以对掩码数据应用快速矢量化函数和运算。然后输出是一个掩码数组。我们将在下面的实践示例中看到它是如何工作的。

使用掩码数组查看 COVID-19 数据#

Kaggle可以下载一个包含 2020 年初 COVID-19 爆发初期数据的数据集。我们将查看该数据的一个小子集,包含在文件who_covid_19_sit_rep_time_series.csv中。(请注意,此文件已在 2020 年底被替换为没有缺失数据的版本。)

import numpy as np
import os

# The os.getcwd() function returns the current folder; you can change
# the filepath variable to point to the folder where you saved the .csv file
filepath = os.getcwd()
filename = os.path.join(filepath, "who_covid_19_sit_rep_time_series.csv")

数据文件包含不同类型的数据,并按以下方式组织

  • 第一行是标题行,(大部分)描述了下面各行中每一列中的数据,从第四列开始,标题是观测日期。

  • 第二到第七行包含与我们即将检查的数据类型不同的汇总数据,因此我们需要将这些数据排除在我们将要处理的数据之外。

  • 我们希望处理的数值数据从第 4 列第 8 行开始,并从那里扩展到最右列和最下行。

让我们探索此文件中前 14 天记录的数据。为了从.csv文件中收集数据,我们将使用numpy.genfromtxt函数,确保我们只选择包含实际数字的列,而不是包含位置数据的头四列。我们还跳过此文件的前 6 行,因为它们包含我们不感兴趣的其他数据。另外,我们将提取有关此数据日期和位置的信息。

# Note we are using skip_header and usecols to read only portions of the
# data file into each variable.
# Read just the dates for columns 4-18 from the first row
dates = np.genfromtxt(
    filename,
    dtype=np.str_,
    delimiter=",",
    max_rows=1,
    usecols=range(4, 18),
    encoding="utf-8-sig",
)
# Read the names of the geographic locations from the first two
# columns, skipping the first six rows
locations = np.genfromtxt(
    filename,
    dtype=np.str_,
    delimiter=",",
    skip_header=6,
    usecols=(0, 1),
    encoding="utf-8-sig",
)
# Read the numeric data from just the first 14 days
nbcases = np.genfromtxt(
    filename,
    dtype=np.int_,
    delimiter=",",
    skip_header=6,
    usecols=range(4, 18),
    encoding="utf-8-sig",
)

numpy.genfromtxt函数调用中,我们选择了数据每个子集的numpy.dtype(整数 - numpy.int_ - 或字符字符串 - numpy.str_)。我们还使用了encoding参数选择utf-8-sig作为文件编码(详细了解官方 Python 文档中的编码。您可以从参考文档基本 IO 教程中了解更多关于numpy.genfromtxt函数的信息。

探索数据#

首先,我们可以绘制我们拥有的整个数据集并查看其外观。为了获得可读的绘图,我们只选择一些日期显示在我们的x 轴刻度上。还要注意,在我们的绘图命令中,我们使用nbcases.Tnbcases数组的转置),因为这意味着我们将绘制文件的每一行作为单独的一条线。我们选择绘制虚线(使用'--'线型)。有关此内容的更多信息,请参阅matplotlib文档。

import matplotlib.pyplot as plt

selected_dates = [0, 3, 11, 13]
plt.plot(dates, nbcases.T, "--")
plt.xticks(selected_dates, dates[selected_dates])
plt.title("COVID-19 cumulative cases from Jan 21 to Feb 3 2020")
Text(0.5, 1.0, 'COVID-19 cumulative cases from Jan 21 to Feb 3 2020')
../_images/fa2408123ad3730cd6632ab73f5ff0d427afe0576a906fdb4aab1281b766ced3.png

该图从 1 月 24 日到 2 月 1 日形状奇怪。了解这些数据来自哪里会很有趣。如果我们查看从.csv文件中提取的locations数组,我们可以看到我们有两列,其中第一列包含区域,第二列包含国家名称。但是,只有前几行包含第一列的数据(中国省份名称)。在此之后,我们只有国家名称。因此,将中国的所有数据组合成一行是有意义的。为此,我们将从nbcases数组中仅选择locations数组的第二个条目对应于中国的行。接下来,我们将使用numpy.sum函数对所有选定的行求和(axis=0)。还要注意,第 35 行对应于每个日期整个国家/地区的总数。由于我们想自己从省份数据中计算总和,因此我们必须首先从locationsnbcases中删除该行

totals_row = 35
locations = np.delete(locations, (totals_row), axis=0)
nbcases = np.delete(nbcases, (totals_row), axis=0)

china_total = nbcases[locations[:, 1] == "China"].sum(axis=0)
china_total
array([  247,   288,   556,   817,   -22,   -22,   -15,   -10,    -9,
          -7,    -4, 11820, 14410, 17237])

此数据有问题 - 我们不应该在累积数据集中出现负值。发生了什么事?

缺失数据#

查看数据,我们发现:存在一段**缺失数据**

nbcases
array([[  258,   270,   375, ...,  7153,  9074, 11177],
       [   14,    17,    26, ...,   520,   604,   683],
       [   -1,     1,     1, ...,   422,   493,   566],
       ...,
       [   -1,    -1,    -1, ...,    -1,    -1,    -1],
       [   -1,    -1,    -1, ...,    -1,    -1,    -1],
       [   -1,    -1,    -1, ...,    -1,    -1,    -1]])

我们看到的-1值全部来自numpy.genfromtxt尝试从原始.csv文件中读取缺失数据。显然,我们不想将缺失数据计算为-1 - 我们只是想跳过此值,以免它干扰我们的分析。导入numpy.ma模块后,我们将创建一个新数组,这次将掩盖无效值

from numpy import ma

nbcases_ma = ma.masked_values(nbcases, -1)

如果我们查看nbcases_ma掩码数组,这就是我们拥有的

nbcases_ma
masked_array(
  data=[[258, 270, 375, ..., 7153, 9074, 11177],
        [14, 17, 26, ..., 520, 604, 683],
        [--, 1, 1, ..., 422, 493, 566],
        ...,
        [--, --, --, ..., --, --, --],
        [--, --, --, ..., --, --, --],
        [--, --, --, ..., --, --, --]],
  mask=[[False, False, False, ..., False, False, False],
        [False, False, False, ..., False, False, False],
        [ True, False, False, ..., False, False, False],
        ...,
        [ True,  True,  True, ...,  True,  True,  True],
        [ True,  True,  True, ...,  True,  True,  True],
        [ True,  True,  True, ...,  True,  True,  True]],
  fill_value=-1)

我们可以看到这是一种不同类型的数组。如引言中所述,它具有三个属性(datamaskfill_value)。请记住,mask属性对对应于**无效**数据的元素具有True值(在data属性中用两个破折号表示)。

让我们尝试查看数据的样子,不包括第一行(中国湖北省的数据),以便我们可以更仔细地查看缺失数据

plt.plot(dates, nbcases_ma[1:].T, "--")
plt.xticks(selected_dates, dates[selected_dates])
plt.title("COVID-19 cumulative cases from Jan 21 to Feb 3 2020")
Text(0.5, 1.0, 'COVID-19 cumulative cases from Jan 21 to Feb 3 2020')
../_images/44f5d2ee4a90abc46e80621d5894120a6b4c712fb223ea1b8262f9a5713f68b3.png

现在我们的数据已被掩码,让我们尝试总结中国的所有病例

china_masked = nbcases_ma[locations[:, 1] == "China"].sum(axis=0)
china_masked
masked_array(data=[278, 309, 574, 835, 10, 10, 17, 22, 23, 25, 28, 11821,
                   14411, 17238],
             mask=[False, False, False, False, False, False, False, False,
                   False, False, False, False, False, False],
       fill_value=999999)

请注意,china_masked是一个掩码数组,因此它与常规 NumPy 数组具有不同的数据结构。现在,我们可以通过使用.data属性直接访问其数据

china_total = china_masked.data
china_total
array([  278,   309,   574,   835,    10,    10,    17,    22,    23,
          25,    28, 11821, 14411, 17238])

这样好多了:不再有负值。但是,我们仍然可以看到,在某些日期,累计病例数似乎下降了(例如,从 835 降至 10),这与“累计数据”的定义不符。如果我们更仔细地查看数据,我们可以看到,在中国大陆缺失数据的那段时间里,香港、台湾、澳门和中国“未指定”地区的有效数据。也许我们可以从中国病例总数中删除这些数据,以更好地了解数据。

首先,我们将识别中国大陆位置的索引

china_mask = (
    (locations[:, 1] == "China")
    & (locations[:, 0] != "Hong Kong")
    & (locations[:, 0] != "Taiwan")
    & (locations[:, 0] != "Macau")
    & (locations[:, 0] != "Unspecified*")
)

现在,china_mask是一个布尔值数组(TrueFalse);我们可以使用掩码数组的ma.nonzero方法检查索引是否是我们想要的

china_mask.nonzero()
(array([ 0,  1,  2,  3,  4,  5,  6,  7,  8,  9, 10, 11, 12, 13, 14, 15, 16,
        17, 18, 19, 20, 21, 22, 23, 25, 26, 27, 28, 29, 31, 33]),)

现在我们可以正确地对中国大陆的条目求和

china_total = nbcases_ma[china_mask].sum(axis=0)
china_total
masked_array(data=[278, 308, 440, 446, --, --, --, --, --, --, --, 11791,
                   14380, 17205],
             mask=[False, False, False, False,  True,  True,  True,  True,
                    True,  True,  True, False, False, False],
       fill_value=999999)

我们可以用此信息替换数据并绘制新图表,重点关注中国大陆

plt.plot(dates, china_total.T, "--")
plt.xticks(selected_dates, dates[selected_dates])
plt.title("COVID-19 cumulative cases from Jan 21 to Feb 3 2020 - Mainland China")
Text(0.5, 1.0, 'COVID-19 cumulative cases from Jan 21 to Feb 3 2020 - Mainland China')
../_images/662d026518b681f86c7756880c3879acaead2970a538055c71a447c75cffd1f1.png

很明显,掩码数组在这里是正确的解决方案。我们无法表示缺失数据,而不会错误地描述曲线的演变。

拟合数据#

我们可以想到的一种可能性是对缺失数据进行插值以估计 1 月下旬的病例数。观察到我们可以使用.mask属性选择掩码元素

china_total.mask
invalid = china_total[china_total.mask]
invalid
masked_array(data=[--, --, --, --, --, --, --],
             mask=[ True,  True,  True,  True,  True,  True,  True],
       fill_value=999999,
            dtype=int64)

我们还可以使用此掩码的逻辑否定来访问有效条目

valid = china_total[~china_total.mask]
valid
masked_array(data=[278, 308, 440, 446, 11791, 14380, 17205],
             mask=[False, False, False, False, False, False, False],
       fill_value=999999)

现在,如果我们想要为这些数据创建一个非常简单的近似值,我们应该考虑无效数据周围的有效条目。所以首先让我们选择数据有效日期。请注意,我们可以使用来自 china_total 掩码数组的掩码来索引日期数组。

dates[~china_total.mask]
array(['1/21/20', '1/22/20', '1/23/20', '1/24/20', '2/1/20', '2/2/20',
       '2/3/20'], dtype='<U7')

最后,我们可以使用 numpy.polynomial 包的拟合功能 来创建一个三次多项式模型,该模型尽可能好地拟合数据。

t = np.arange(len(china_total))
model = np.polynomial.Polynomial.fit(t[~china_total.mask], valid, deg=3)
plt.plot(t, china_total)
plt.plot(t, model(t), "--")
[<matplotlib.lines.Line2D at 0x7fdb05799b40>]
../_images/5c63be5afa8a3338065c1114064867c276413c61a44f011653bcce422b9b5fff.png

这个图不太容易阅读,因为线条似乎重叠在一起,所以让我们在一个更详细的图中进行总结。当数据可用时,我们将绘制真实数据,并在数据不可用时显示三次拟合,使用此拟合来计算 2020 年 1 月 28 日(记录开始后 7 天)观察到的病例数的估计值。

plt.plot(t, china_total)
plt.plot(t[china_total.mask], model(t)[china_total.mask], "--", color="orange")
plt.plot(7, model(7), "r*")
plt.xticks([0, 7, 13], dates[[0, 7, 13]])
plt.yticks([0, model(7), 10000, 17500])
plt.legend(["Mainland China", "Cubic estimate", "7 days after start"])
plt.title(
    "COVID-19 cumulative cases from Jan 21 to Feb 3 2020 - Mainland China\n"
    "Cubic estimate for 7 days after start"
)
Text(0.5, 1.0, 'COVID-19 cumulative cases from Jan 21 to Feb 3 2020 - Mainland China\nCubic estimate for 7 days after start')
../_images/cb4d8b1d7c74162f7bf745912985e3e928ef4c897067f8557b4ea752385862da.png

在实践中#

  • 使用 numpy.genfromtxt-1 添加到缺失数据中不是问题;在这种特殊情况下,用 0 替换缺失值可能没问题,但我们稍后会看到,这远非通用解决方案。此外,可以使用 usemask 参数调用 numpy.genfromtxt 函数。如果 usemask=Truenumpy.genfromtxt 会自动返回一个掩码数组。

进一步阅读#

本教程中未涵盖的主题可以在文档中找到。

参考文献#

  • Ensheng Dong、Hongru Du、Lauren Gardner,《实时跟踪 COVID-19 的交互式网络仪表板》,《柳叶刀传染病》,第 20 卷,第 5 期,2020 年,第 533-534 页,ISSN 1473-3099,https://doi.org/10.1016/S1473-3099(20)30120-1