NumPy 基准测试#
使用 Airspeed Velocity 对 NumPy 进行基准测试。
用法#
Airspeed Velocity 会自行管理构建和 Python 虚拟环境,除非另有说明。要运行基准测试,您不需要将 NumPy 的开发版本安装到您当前的 Python 环境中。
在开始之前,请确保已安装 *airspeed velocity*。默认情况下,asv 附带对 anaconda 和 virtualenv 的支持
pip install asv
pip install virtualenv
在贡献新的基准测试后,您应该在提交拉取请求之前在本地对其进行测试。
要运行所有基准测试,请在命令行中导航到 NumPy 的根目录并执行
spin bench
这将构建 NumPy 并运行 benchmarks/
中定义的所有可用基准测试。(注意:这可能需要一段时间。每个基准测试都会运行多次以测量执行时间的分布。)
对于在本地**测试**基准测试,最好在不进行重复的情况下运行这些测试
cd benchmarks/
export REGEXP="bench.*Ufunc"
asv run --dry-run --show-stderr --python=same --quick -b $REGEXP
其中用于匹配基准测试的正则表达式存储在 $REGEXP
中,并且使用 –quick 来避免重复。
要运行来自特定基准测试模块的基准测试,例如 bench_core.py
,只需附加文件名而不带扩展名
spin bench -t bench_core
要运行在类中定义的基准测试,例如 bench_creation.py
中的 MeshGrid
spin bench -t bench_creation.MeshGrid
要将基准测试结果的更改与另一个版本/提交/分支进行比较,请使用 --compare
选项(或等效的 -c
)
spin bench --compare v1.6.2 -t bench_core
spin bench --compare 20d03bcfd -t bench_core
spin bench -c main -t bench_core
以上所有命令都将在控制台中以纯文本格式显示结果,并且不会保存结果以与将来的提交进行比较。为了获得更大的控制权、图形视图以及将结果保存以供将来比较,您可以运行 ASV 命令(记录结果并生成 HTML)
cd benchmarks
asv run -n -e --python=same
asv publish
asv preview
有关如何使用 asv
的更多信息,请参阅 ASV 文档 命令行帮助照常通过 asv --help
和 asv run --help
提供。
基准测试版本#
要仅在不同机器上本地基准测试或可视化发布,可以在使用 asv
运行之前生成带有其提交的标签,即
cd benchmarks
# Get commits for tags
# delete tag_commits.txt before re-runs
for gtag in $(git tag --list --sort taggerdate | grep "^v"); do
git log $gtag --oneline -n1 --decorate=no | awk '{print $1;}' >> tag_commits.txt
done
# Use the last 20
tail --lines=20 tag_commits.txt > 20_vers.txt
asv run HASHFILE:20_vers.txt
# Publish and view
asv publish
asv preview
有关如何贡献这些内容的详细信息,请参阅 基准测试结果存储库。
编写基准测试#
有关如何编写基准测试的基础知识,请参阅 ASV 文档。
一些需要考虑的事项
基准测试套件应该可以使用任何 NumPy 版本导入。
基准测试参数等不应该依赖于安装了哪个 NumPy 版本。
尽量使基准测试的运行时间合理。
对于基准测试时间,最好使用 ASV 的
time_
方法,而不是通过time.clock
构建时间测量,即使在编写基准测试时需要一些调整。准备数组等通常应该放在
setup
方法中,而不是time_
方法中,以避免将准备时间与基准测试操作的时间一起计算。请注意,使用
np.empty
或np.zeros
创建的大型数组可能不会在物理内存中分配,直到访问该内存为止。如果这是所需的行为,请确保在您的设置函数中对其进行注释。如果您正在对算法进行基准测试,则用户不太可能在新建的空/零数组上执行该算法。可以通过在创建数组后调用np.ones
或arr.fill(value)
来强制在设置阶段发生页面错误。