c++性能测试工具：google benchmark入门（二）

程序员文章站 2022-10-08 20:19:58

"上一篇" 中我们初步体验了google benchmark的使用，在本文中我们将更进一步深入了解google benchmark的常用方法。本文索引向测试用例传递参数简化多个类似测试用例的生成使用参数生成器向测试用例传递参数之前我们的测试用例都只接受一个类型的参数，如果我们需要给测试 ......

中我们初步体验了google benchmark的使用，在本文中我们将更进一步深入了解google benchmark的常用方法。

本文索引

向测试用例传递参数

之前我们的测试用例都只接受一个benchmark::state&类型的参数，如果我们需要给测试用例传递额外的参数呢？

举个例子，假如我们需要实现一个队列，现在有ring buffer和linked list两种实现可选，现在我们要测试两种方案在不同情况下的性能表现：

// 必要的数据结构
#include "ring.h"
#include "linked_ring.h"

// ring buffer的测试
static void bench_array_ring_insert_int_10(benchmark::state& state)
{
    auto ring = arrayring<int>(10);
    for (auto _: state) {
        for (int i = 1; i <= 10; ++i) {
            ring.insert(i);
        }
        state.pausetiming(); // 暂停计时
        ring.clear();
        state.resumetiming(); // 恢复计时
    }
}
benchmark(bench_array_ring_insert_int_10);

// linked list的测试
static void bench_linked_queue_insert_int_10(benchmark::state &state)
{
    auto ring = linkedring<int>{};
    for (auto _:state) {
        for (int i = 0; i < 10; ++i) {
            ring.insert(i);
        }
        state.pausetiming();
        ring.clear();
        state.resumetiming();
    }
}
benchmark(bench_linked_queue_insert_int_10);

// 还有针对删除的测试，以及针对string的测试，都是高度重复的代码，这里不再罗列

很显然，上面的测试除了被测试类型和插入的数据量之外没有任何区别，如果可以通过传入参数进行控制的话就可以少写大量重复的代码。

编写重复的代码是浪费时间，而且往往意味着你在做一件蠢事，google的工程师们当然早就注意到了这一点。虽然测试用例只能接受一个benchmark::state&类型的参数，但我们可以将参数传递给state对象，然后在测试用例中获取：

static void bench_array_ring_insert_int(benchmark::state& state)
{
    auto length = state.range(0);
    auto ring = arrayring<int>(length);
    for (auto _: state) {
        for (int i = 1; i <= length; ++i) {
            ring.insert(i);
        }
        state.pausetiming();
        ring.clear();
        state.resumetiming();
    }
}
benchmark(bench_array_ring_insert_int)->arg(10);

上面的例子展示了如何传递和获取参数：

传递参数使用benchmark宏生成的对象的arg方法
传递进来的参数会被放入state对象内部存储，通过range方法获取，调用时的参数0是传入参数的需要，对应第一个参数

arg方法一次只能传递一个参数，那如果一次想要传递多个参数呢？也很简单：

static void bench_array_ring_insert_int(benchmark::state& state)
{
    auto ring = arrayring<int>(state.range(0));
    for (auto _: state) {
        for (int i = 1; i <= state.range(1); ++i) {
            ring.insert(i);
        }
        state.pausetiming();
        ring.clear();
        state.resumetiming();
    }
}
benchmark(bench_array_ring_insert_int)->args({10, 10});

上面的例子没什么实际意义，只是为了展示如何传递多个参数，args方法接受一个vector对象，所以我们可以使用c++11提供的大括号初始化器简化代码，获取参数依然通过state.range方法，1对应传递进来的第二个参数。

有一点值得注意，参数传递只能接受整数，如果你希望使用其他类型的附加参数，就需要另外想些办法了。

简化多个类似测试用例的生成

向测试用例传递参数的最终目的是为了在不编写重复代码的情况下生成多个测试用例，在知道了如何传递参数后你可能会这么写：

static void bench_array_ring_insert_int(benchmark::state& state)
{
    auto length = state.range(0);
    auto ring = arrayring<int>(length);
    for (auto _: state) {
        for (int i = 1; i <= length; ++i) {
            ring.insert(i);
        }
        state.pausetiming();
        ring.clear();
        state.resumetiming();
    }
}
// 下面我们生成测试插入10，100，1000次的测试用例
benchmark(bench_array_ring_insert_int)->arg(10);
benchmark(bench_array_ring_insert_int)->arg(100);
benchmark(bench_array_ring_insert_int)->arg(1000);

这里我们生成了三个实例，会产生下面的结果：

c++性能测试工具：google benchmark入门（二）

看起来工作良好，是吗？

没错，结果是正确的，但是记得我们前面说过的吗——不要编写重复的代码！是的，上面我们手动编写了用例的生成，出现了可以避免的重复。

幸好arg和args会将我们的测试用例使用的参数进行注册以便产生用例名/参数的新测试用例，并且返回一个指向benchmark宏生成对象的指针，换句话说，如果我们想要生成仅仅是参数不同的多个测试的话，只需要链式调用arg和args即可：

benchmark(bench_array_ring_insert_int)->arg(10)->arg(100)->arg(1000);

结果和上面一样。

但这还不是最优解，我们仍然重复调用了arg方法，如果我们需要更多用例时就不得不又要做重复劳动了。

对此google benchmark也有解决办法：我们可以使用range方法来自动生成一定范围内的参数。

先看看range的原型：

benchmaek(func)->range(int64_t start, int64_t limit);

start表示参数范围起始的值，limit表示范围结束的值，range所作用于的是一个_闭区间_。

但是如果我们这样改写代码，是会得到一个错误的测试结果：

benchmark(bench_array_ring_insert_int)->range(10, 1000);

c++性能测试工具：google benchmark入门（二）

为什么会这样呢？那是因为range默认除了start和limit，中间的其余参数都会是某一个基底（base）的幂，基地默认为8，所以我们会看到64和512，它们分别是8的平方和立方。

想要改变这一行为也很简单，只要重新设置基底即可，通过使用rangemultiplier方法：

benchmark(bench_array_ring_insert_int)->rangemultiplier(10)->range(10, 1000);

现在结果恢复如初了。

使用ranges可以处理多个参数的情况：

benchmark(func)->rangemultiplier(10)->ranges({{10, 1000}, {128， 256}});

第一个范围指定了测试用例的第一个传入参数的范围，而第二个范围指定了第二个传入参数可能的值（注意这里不是范围了）。

与下面的代码等价：

benchmark(func)->args({10, 128})
               ->args({100, 128})
               ->args({1000, 128})
               ->args({10, 256})
               ->args({100, 256})
               ->args({1000, 256})

实际上就是用生成的第一个参数的范围于后面指定内容的参数做了一个笛卡尔积。

使用参数生成器

如果我想定制没有规律的更复杂的参数呢？这时就需要实现自定义的参数生成器了。

一个参数生成器的签名如下：

void customarguments(benchmark::internal::benchmark* b);

我们在生成器中计算处参数，然后调用benchmark::internal::benchmark对象的arg或args方法像上两节那样传入参数即可。

随后我们使用apply方法把生成器应用到测试用例上：

benchmark(func)->apply(customarguments);

其实这一过程的原理并不复杂，我做个简单的解释：

benchmark宏产生的就是一个benchmark::internal::benchmark对象然后返回了它的指针
向benchmark::internal::benchmark对象传递参数需要使用arg和args等方法
apply方法会将参数中的函数应用在自身
我们在生成器里使用benchmark::internal::benchmark对象的指针b的args等方法传递参数，这时的b其实指向我们的测试用例

到此为止生成器是如何工作的已经一目了然了，当然从上面得出的结论，我们还可以让apply做更多的事情。

下面看下apply的具体使用：

// 这次我们生成100，200，...，1000的测试用例，用range是无法生成这些参数的
static void custom_args(benchmark::internal::benchmark* b)
{
    for (int i = 100; i <= 1000; i += 100) {
        b->arg(i);
    }
}

benchmark(bench_array_ring_insert_int)->rangemultiplier(10)->apply(custom_args);

自定义参数的测试结果：

c++性能测试工具：google benchmark入门（二）