理解 Meson#

构建 NumPy 依赖于以下工具,这些工具可以被认为是构建系统的一部分

  • meson:Meson 构建系统,可以从 PyPI 或 conda-forge 安装纯 Python 包

  • ninja:Meson 调用的构建工具,用于执行实际构建(例如,调用编译器)。也可以从 PyPI(在所有常用平台上)或 conda-forge 安装。

  • pkg-config:用于发现依赖项(特别是 BLAS/LAPACK)的工具。可在 conda-forge(以及 Homebrew、Chocolatey 和 Linux 包管理器)上获得,但不在 PyPI 上打包。

  • meson-python:Python 构建后端(即,通过 pyproject.toml 中的钩子由 pippypa/build 等构建前端调用的内容)。这是 Meson 之上的一个薄层,其主要作用是 (a) 与构建前端接口,以及 (b) 生成具有有效文件名和元数据的 sdists 和 wheels。

警告

截至 2023 年 12 月,NumPy 提供了 Meson 的自定义版本,这对于上游 Meson 中尚不可用的 SIMD 和 BLAS/LAPACK 功能是必需的。因此,无法直接使用 meson 可执行文件。相反,在说明中出现 meson xxx 的地方,请改用 python vendored-meson/meson/meson.py xxx

使用 Meson 构建分阶段进行

  • 配置阶段 (meson setup) 用于检测编译器、依赖项和构建选项,并创建构建目录和 build.ninja 文件,

  • 编译阶段 (meson compileninja),其中构建的 NumPy 包中包含的扩展模块将被编译,

  • 安装阶段 (meson install) 用于将可安装文件从源目录和构建目录安装到目标安装目录,

Meson 具有良好的构建依赖项跟踪系统,因此第二次调用构建只会重新构建任何源代码或依赖项发生更改的目标。

了解更多关于 Meson 的信息#

Meson 拥有 非常好的文档;阅读它非常有益,通常是“如何做 X”问题的最佳答案来源。此外,一本关于 Meson 的详尽的 pdf 书籍可以从 https://nibblestew.blogspot.com/2021/12/this-year-receive-gift-of-free-meson.html 免费获得。

要了解 Meson 使用的设计原则的更多信息,还可以参考从 mesonbuild.com/Videos 链接到的近期演讲。

构建阶段说明#

这仅用于教学目的;无需分别执行这些阶段!

假设我们从一个干净的仓库和一个完全设置好的 conda 环境开始

git clone git@github.com:numpy/numpy.git
git submodule update --init
mamba env create -f environment.yml
mamba activate numpy-dev

现在运行构建的配置阶段,并指示 Meson 将构建工件放在仓库根目录下的 build/ 中,并将本地安装放在 build-install/ 中,请执行以下操作

meson setup build --prefix=$PWD/build-install

然后运行构建的编译阶段,请执行以下操作

ninja -C build

在上面的命令中,-C 后面跟着构建目录的名称。您可以同时拥有多个构建目录。Meson 完全是异地构建的,因此这些构建不会相互干扰。例如,您可以在不同的目录中进行 GCC 构建、Clang 构建和调试构建。

然后将 NumPy 安装到前缀(此处为 build-install/,但请注意,这只是我们在这里选择的任意名称)

meson install -C build

它将安装到 build-install/lib/python3.11/site-packages/numpy,这不在您的 Python 路径上,因此要添加它,请执行以下操作(*同样,这是出于学习目的,显式使用 ``PYTHONPATH`` 通常不是最佳方法*)

export PYTHONPATH=$PWD/build-install/lib/python3.11/site-packages/

现在我们应该能够导入 numpy 并运行测试。记住我们需要移出仓库的根目录,以确保我们拾取包而不是本地 numpy/ 源代码目录

cd doc
python -c "import numpy as np; np.test()"

上面运行的是“快速”NumPy 测试套件。其他运行测试的方法也应该有效,例如

pytest --pyargs numpy

完整的测试套件应该通过,在 Linux 上没有任何构建警告(至少在 CI 中强制执行 -Werror 的 GCC 版本),在其他平台上最多只有少量警告。