×
可编程逻辑 > 详情

Python中参数化测试的实现思路解析

发布时间:2021-05-14 发布时间:
|

本文想针对测试中一种很常见的测试场景,即参数化测试,继续聊聊关于测试的话题,并尝试将这几个测试框架串联起来,做一个横向的比对,加深理解。

1、什么是参数化测试?

对于普通测试来说,一个测试方法只需要运行一遍,而参数化测试对于一个测试方法,可能需要传入一系列参数,然后进行多次测试。

比如,我们要测试某个系统的登录功能,就可能要分别传入不同的用户名与密码,进行测试:使用包含非法字符的用户名、使用未注册的用户名、使用超长的用户名、使用错误的密码、使用合理的数据等等。

参数化测试是一种“数据驱动测试”(Data-DrivenTest),在同一个方法上测试不同的参数,以覆盖所有可能的预期分支的结果。它的测试数据可以与测试行为分离,被放入文件、数据库或者外部介质中,再由测试程序读取。

2、参数化测试的实现思路?

通常而言,一个测试方法就是一个最小的测试单元,其功能应该尽量地原子化和单一化。

先来看看两种实现参数化测试的思路:一种是写一个测试方法,在其内部对所有测试参数进行遍历;另一种是在测试方法之外写遍历参数的逻辑,然后依次调用该测试方法。

这两种思路都能达到测试目的,在简单业务中,没有毛病。然而,实际上它们都只有一个测试单元,在统计测试用例数情况,或者生成测试报告的时候,并不乐观。可扩展性也是个问题。

那么,现有的测试框架是如何解决这个问题的呢?

它们都借助了装饰器,主要的思路是:利用原测试方法(例如test()),来生成多个新的测试方法(例如test1()、test2()……),并将参数依次赋值给它们。

由于测试框架们通常把一个测试单元统计为一个“test”,所以这种“由一生多”的思路相比前面的两种思路,在统计测试结果时,就具有很大的优势。

3、参数化测试的使用方法?

Python标准库中的unittest自身不支持参数化测试,为了解决这个问题,有人专门开发了两个库:一个是ddt,一个是parameterize。

ddt正好是“Data-DrivenTests”(数据驱动测试)的缩写。典型用法:

importunittestfromddTImportddt,data,unpack@ddtclassMyTest(unittest.TestCase):@data((3,1),(-1,0),(1.2,1.0))@unpackdeftest_values(self,first,second):self.assertTrue(first>second)unittest.main(verbosity=2)

运行的结果如下:

test_values_1__3__1_(__main__.MyTest)...oktest_values_2___1__0_(__main__.MyTest)...FAILtest_values_3__1_2__1_0_(__main__.MyTest)...ok==================================================FAIL:test_values_2___1__0_(__main__.MyTest)--------------------------------------------------Traceback(mostrecentcalllast):File"C:/Python36/lib/site-packages/ddt.py",line145,inwrapperreturnfunc(self,*args,**kwargs)File"C:/Users/pythoncat/PycharmProjects/study/testparam.py",line9,intest_valuesself.assertTrue(first>second)AsserTIonError:Falseisnottrue----------------------------------------------Ran3testsin0.001sFAILED(failures=1)

结果显示有3个tests,并详细展示了运行状态以及断言失败的信息。

需要注意的是,这3个test分别有一个名字,名字中还携带了其参数的信息,而原来的test_values方法则不见了,已经被一拆为三。

在上述例子中,ddt库使用了三个装饰器(@ddt、@data、@unpack),实在是很丑陋。下面看看相对更好用的parameterized库:

importunittestfromparameterizedimportparameterizedclassMyTest(unittest.TestCase):@parameterized.expand([(3,1),(-1,0),(1.5,1.0)])deftest_values(self,first,second):self.assertTrue(first>second)unittest.main(verbosity=2)

测试结果如下:

test_values_0(__main__.MyTest)...oktest_values_1(__main__.MyTest)...FAILtest_values_2(__main__.MyTest)...ok=========================================FAIL:test_values_1(__main__.MyTest)-----------------------------------------Traceback(mostrecentcalllast):File"C:/Python36/lib/site-packages/parameterized/parameterized.py",line518,instandalone_funcreturnfunc(*(a+p.args),**p.kwargs)File"C:/Users/pythoncat/PycharmProjects/study/testparam.py",line7,intest_valuesself.assertTrue(first>second)AsserTIonError:Falseisnottrue----------------------------------------Ran3testsin0.000sFAILED(failures=1)

这个库只用了一个装饰器@parameterized.expand,写法上可就清爽多了。

同样提醒下,原来的测试方法已经消失了,取而代之的是三个新的测试方法,只是新方法的命名规则与ddt的例子不同罢了。

介绍完unittest,接着看已经死翘翘了的nose以及新生的nose2。nose系框架是带了插件(plugins)的unittest,以上的用法是相通的。

另外,nose2中还提供了自带的参数化实现:

importunittestfromnose2.toolsimportparams@params(1,2,3)deftest_nums(num):assertnum< 4



class Test(unittest.TestCase):

    @params((1, 2), (2, 3), (4, 5))

    def test_less_than(self, a, b):

    assert a < b

最后,再来看下pytest框架,它这样实现参数化测试:

importpytest@pytest.mark.parametrize("first,second",[(3,1),(-1,0),(1.5,1.0)])deftest_values(first,second):assert(first>second)

测试结果如下:

====================testsessionstarts====================platformwin32--Python3.6.1,pytest-5.3.1,py-1.8.0,pluggy-0.13.1rootdir:C:/Users/pythoncat/PycharmProjects/studycollected3itemstestparam.py.Ftestparam.py:3(test_values[-1-0])first=-1,second=0@pytest.mark.parametrize("first,second",[(3,1),(-1,0),(1.5,1.0)])deftest_values(first,second):>assert(first>second)Eassert-1>0testparam.py:6:AssertionError.[100%]=========================FAILURES==========================_________________________test_values[-1-0]_________________________first=-1,second=0@pytest.mark.parametrize("first,second",[(3,1),(-1,0),(1.5,1.0)])deftest_values(first,second):>assert(first>second)Eassert-1>0testparam.py:6:AsserTIonError=====================1failed,2passedin0.08s=====================Processfinishedwithexitcode0

依然要提醒大伙注意,pytest也做到了由一变三,然而我们却看不到有新命名的方法的信息。这是否意味着它并没有产生新的测试方法呢?或者仅仅是把新方法的信息隐藏起来了?

4、最后小结

上文中介绍了参数化测试的概念、实现思路,以及在三个主流的Python测试框架中的使用方法。我只用了最简单的例子,为的是快速科普(言多必失)。

但是,这个话题其实还没有结束。对于我们提到的几个能实现参数化的库,抛去写法上大同小异的区别,它们在具体代码层面上,又会有什么样的差异呢?

具体来说,它们是如何做到把一个方法变成多个方法,并且将每个方法与相应的参数绑定起来的呢?在实现中,需要解决哪些棘手的问题?

在分析一些源码的时候,我发现这个话题还挺有意思,所以准备另外写一篇文章。那么,本文就到此为止了,谢谢阅读。

作者简介:豌豆花下猫,生于广东毕业于武大,现为苏漂程序员,有一些极客思维,也有一些人文情怀,有一些温度,还有一些态度。

 

『本文转载自网络,版权归原作者所有,如有侵权请联系删除』

热门文章 更多
以FPGA机载为核心的实时视频图形处理系统设计