前言
“脏”数据指数据在被实际使用前,已经被进行了非预期的修改:
比如,我们在登录接口中使用事先创建好的用户进行测试,但这个用户的密码被之前的测试无意中修改了,导致测试用例执行时登录失败,也就不能顺利完成测试了。那么,此时这个测试用户数据就成为了“脏”数据。
再比如,我们在测试用例中使用事先创建的测试优惠券去完成订单操作,但是由于某种原因这张优惠券已经被使用过了,导致订单操作的失败,也就意味着测试用例执行失败。那么,此时这个测试优惠券数据也是“脏”数据。
由此可见,这些事先创建好的测试数据( Out-of-box ),在测试用例执行的那个时刻,是否依然可用其实是不一定的,因为这些数据很有可能在被使用前已经发生了非预期的修改。
而这些非预期的修改主要来自于以下三个方面:
其他测试用例,主要是写接口使用了这些事先创建好的测试数据,并修改了这些数据的状态;
执行手工测试时,因为直接使用了事先创建好的数据,很有可能就会修改了某些测试数据;
自动化测试用例的调试过程,修改了事先创建的测试数据;
为了解决这些“脏”数据,我们只能通过优化流程去控制数据的使用。本文主要针对解决第一种脏数据的情况,即针对所有写接口服务端公用的数据,首先统一提前准备,提供一键准备/恢复测试数据的方法,尽可能减少因为环境/数据准备造成的时间浪费。
解法
主要步骤:
测试开始;
备份数据库数据:执行写接口用例前,先把原有业务表通过 rename 的方式整表备份(前置动作);
执行被测接口:准备测试数据,发起对被测 API 的 request(测试中);
接口返回值assert:验证返回结果的 response(测试中);
数据变更assert:验证数据库变更结果(测试中);
清理数据表数据:清理产生的测试数据,恢复到前置动作备份的数据(后置动作)。
测试结束;
具体实现
这里从 0 到 1 我演示一个向业务表插入新记录的示例 demo。
开发环境
SUN JDK1.8及以上
Maven 3.5.4及以上
IntelliJ IDEA 2018及以上
windows/macOS
MySQL 5.7及以上
Navicat Premium 11.2.7及以上 或 SQLyog 11.3及以上
数据准备
这里我们选用 MySQL 数据库,首先需要构造一个测试表。
建表:
drop table t_coffee if exists; create table t_coffee ( id bigint notnull auto_increment, # 自增字段 name varchar(255), price bigint notnull, create_time timestamp, update_time timestamp, primary key (id) );
插入数据:
insert into t_coffee (name, price, create_time, update_time) values ('espresso', 2000, now(), now()); insert into t_coffee (name, price, create_time, update_time) values ('latte', 2500, now(), now()); insert into t_coffee (name, price, create_time, update_time) values ('capuccino', 2500, now(), now()); insert into t_coffee (name, price, create_time, update_time) values ('mocha', 3000, now(), now()); insert into t_coffee (name, price, create_time, update_time) values ('macchiato', 3000, now(), now());
初始化完成:
脚手架搭建
新建 Spring Boot 项目: 引包,配置 pom.xml:
<dependencies> <!--MyBatis、数据库驱动、数据库连接池、logback--> <dependency> <groupId>org.mybatis.spring.boot</groupId> <artifactId>mybatis-spring-boot-starter</artifactId> <version>2.1.1</version> </dependency> <!--引入 testng 测试框架--> <dependency> <groupId>org.testng</groupId> <artifactId>testng</artifactId> <version>6.14.3</version> <scope>compile</scope> </dependency> <!--money类型--> <dependency> <groupId>org.joda</groupId> <artifactId>joda-money</artifactId> <version>LATEST</version> </dependency> <!--mysql 驱动--> <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <scope>runtime</scope> </dependency> <!--mybatis-generator生成器--> <dependency> <groupId>org.mybatis.generator</groupId> <artifactId>mybatis-generator-core</artifactId> <version>1.3.7</version> </dependency> <!--lombok 插件--> <dependency> <groupId>org.projectlombok</groupId> <artifactId>lombok</artifactId> <optional>true</optional> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-test</artifactId> <scope>test</scope> <exclusions> <exclusion> <groupId>org.junit.vintage</groupId> <artifactId>junit-vintage-engine</artifactId> </exclusion> </exclusions> </dependency> </dependencies>
搭建代码骨架结构:
├─src │ ├─main │ │ ├─java │ │ │ └─com │ │ │ └─zuozewei │ │ │ └─SpringbootDataBackupRecoveryDemoApplication │ │ │ │ SpringbootDataBackupRecoveryDemoApplication.java # 启动类 │ │ │ │ │ │ │ ├─db │ │ │ │ ├─auto # 存放MyBatis Generator生成器生成的数据层代码,可以随时删除再生成 │ │ │ │ │ ├─mapper # DAO 接口 │ │ │ │ │ └─model # Entity 实体 │ │ │ │ └─manual # 存放自定义的数据层代码,包括对MyBatis Generator自动生成代码的扩展 │ │ │ │ ├─mapper # DAO 接口 │ │ │ │ └─model # Entity 实体 │ │ │ ├─handler # 数据转换 │ │ │ └─service # 业务逻辑 │ │ │ └─impl # 实现类 │ │ │ │ │ └─resources │ │ │ application.yml # 全局配置文件 │ │ │ generatorConfig.xml # Mybatis Generator 配置文件 │ │ ├─db │ │ ├─mapper │ │ │ └─com │ │ │ └─zuozewei │ │ │ └─SpringbootDataBackupRecoveryDemoApplication │ │ │ └─db │ │ │ ├─auto # 存放MyBatis Generator生成器生成的数据层代码,可以随时删除再生成 │ │ │ │ └─mapper # 数据库 Mapping 文件 │ │ │ │ │ │ │ └─manual # 存放自定义的数据层代码,包括对MyBatis Generator自动生成代码的扩展 │ │ │ └─mapper # 数据库 Mapping 文件 │ │ │ └─test │ └─java │ └─com │ └─zuozewei │ └─springbootdatadrivendemo │ └─demo # 测试用例 ├─pom.xml
业务持久层
处理自定义类型
这里的 price 我们扩展了自定义类型,所以我们需要使用 TypeHandler 解决自定义类型预处理。因为 price 是joda-money
类型,数据库中却是 bigint 类型。MyBatis 为我们提供的方法即是 TypeHandler 来应对 Java 和 jdbc 字段类型不匹配的情况。MyBatis 中内置了不少的TypeHandler,如果我们想要自己自定义一个 TypeHandler 可以实现 TypeHandler 接口,也可以继承 BaseTypeHandler 类。下面我们实现一个将 Java 中的 joda-money
类型利用我们自定义的 MoneyTypeHandler 来转换为 JDBC 的 bigint 类型。
新建一个 handler package,编写 MoneyTypeHandler.java
:
/** * 在 Money 与 Long 之间转换的 TypeHandler,处理 CNY 人民币 */ publicclassMoneyTypeHandlerextendsBaseTypeHandler<Money> { /** * 设置非空参数 * @param ps * @param i * @param parameter * @param jdbcType * @throws SQLException */ @Override publicvoid setNonNullParameter(PreparedStatement ps, int i, Money parameter, JdbcType jdbcType) throwsSQLException{ ps.setLong(i, parameter.getAmountMinorLong()); } /** * 根据列名,获取可以为空的结果 * @param rs * @param columnName * @return * @throws SQLException */ @Override publicMoney getNullableResult(ResultSet rs, String columnName) throwsSQLException{ return parseMoney(rs.getLong(columnName)); } /** * 根据列索引,获取可以为空的结果 * @param rs * @param columnIndex * @return * @throws SQLException */ @Override publicMoney getNullableResult(ResultSet rs, int columnIndex) throwsSQLException{ return parseMoney(rs.getLong(columnIndex)); } /** * * @param cs * @param columnIndex * @return * @throws SQLException */ @Override publicMoney getNullableResult(CallableStatement cs, int columnIndex) throwsSQLException{ return parseMoney(cs.getLong(columnIndex)); } /** * 处理 CNY 人民币 * @param value * @return */ privateMoney parseMoney(Long value) { returnMoney.of(CurrencyUnit.of("CNY"), value / 100.0); } }
使用 mybatis-generator
MyBatis Generator是 MyBatis 的代码生成器,支持为 MyBatis 的所有版本生成代码。非常容易及快速生成 Mybatis 的Java POJO文件及数据库 Mapping 文件。
配置 generatorConfig.xml
:
<?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE generatorConfiguration PUBLIC "-//mybatis.org//DTD MyBatis Generator Configuration 1.0//EN" "http://mybatis.org/dtd/mybatis-generator-config_1_0.dtd"> <generatorConfiguration> <contextid="MySQLTables"targetRuntime="MyBatis3"> <!--支持流式 fluent 方法--> <plugintype="org.mybatis.generator.plugins.FluentBuilderMethodsPlugin"/> <!-- 自动生成toString方法 --> <plugintype="org.mybatis.generator.plugins.ToStringPlugin"/> <!-- 自动生成hashcode方法 --> <plugintype="org.mybatis.generator.plugins.SerializablePlugin"/> <!-- 分页插件 --> <plugintype="org.mybatis.generator.plugins.RowBoundsPlugin"/> <!--数据库连接信息--> <jdbcConnectiondriverClass="com.mysql.cj.jdbc.Driver" connectionURL="jdbc:mysql://localhost:3306/zuozewei?useUnicode=true&characterEncoding=UTF-8&useJDBCCompliantTimezoneShift=true&useLegacyDatetimeCode=false&serverTimezone=UTC&useSSL=false" userId="zuozewei" password="123456"> </jdbcConnection> <!--模型生成器、Mapper生成器--> <javaModelGeneratortargetPackage="com.zuozewei.springbootdatabackuprecoverydemo.db.auto.model" targetProject="./src/main/java"> <propertyname="enableSubPackages"value="true"/> <propertyname="trimStrings"value="true"/> </javaModelGenerator> <sqlMapGeneratortargetPackage="com.zuozewei.springbootdatabackuprecoverydemo.db.auto.mapper" targetProject="./src/main/resources/mapper"> <propertyname="enableSubPackages"value="true"/> </sqlMapGenerator> <javaClientGeneratortype="MIXEDMAPPER" targetPackage="com.zuozewei.springbootdatabackuprecoverydemo.db.auto.mapper" targetProject="./src/main/java"> <propertyname="enableSubPackages"value="true"/> </javaClientGenerator> <!--表映射--> <tabletableName="t_coffee"domainObjectName="Coffee"> <generatedKeycolumn="id"sqlStatement="SELECT LAST_INSERT_ID()"identity="true"/> <columnOverridecolumn="price"javaType="org.joda.money.Money"jdbcType="BIGINT" typeHandler="com.zuozewei.springbootdatabackuprecoverydemo.handler.MoneyTypeHandler"/> </table> </context> </generatorConfiguration>
注意:
id 是自增的;
price 字段需要映射到 MoneyTypeHandler。
启动方法
在工程启动类编写一个调用方法:
@Slf4j @SpringBootApplication @MapperScan("com.zuozewei.springbootdatabackuprecoverydemo.db") publicclassSpringbootDataBackupRecoveryDemoApplicationimplementsApplicationRunner{ publicstaticvoid main(String[] args) { SpringApplication.run(SpringbootDataBackupRecoveryDemoApplication.class, args); log.info("程序启动!"); } @Override publicvoid run(ApplicationArguments args) throwsException{ generateArtifacts(); log.info("启动generateArtifacts"); } /** * 执行MyBatisGenerator * @throws Exception */ privatevoid generateArtifacts() throwsException{ List<String> warnings = newArrayList<>(); ConfigurationParser cp = newConfigurationParser(warnings); Configuration config = cp.parseConfiguration( this.getClass().getResourceAsStream("/generatorConfig.xml")); DefaultShellCallback callback = newDefaultShellCallback(true); MyBatisGenerator myBatisGenerator = newMyBatisGenerator(config, callback, warnings); myBatisGenerator.generate(null); } }
启动工程:
检查配置文件指定路径是否生成文件:
实现Service方法
在 service package 下新建 Service 接口 CoffeeService.java
:
/** * 描述: coffee Service * * @author zuozewei * @create 2019-11-21 18:00 */ publicinterfaceCoffeeService{ // 插入 int addCoffee(Coffee coffee); // 查询 List selectCoffeeFromDs(CoffeeExample coffeeExample) throwsInterruptedException; }
实现 CoffeeService 接口,新建 CoffeeServiceImpl.java
:
/** * 描述: CoffeeService 实现类 * * @author zuozewei * @create 2019-11-21 18:00 */ @Service publicclassCoffeeServiceImplimplementsCoffeeService{ @Resource privateCoffeeMapper coffeeMapper; @Override publicint addCoffee(Coffee coffee) { return coffeeMapper.insert(coffee); } @Override publicList selectCoffeeFromDs(CoffeeExample coffeeExample) throwsInterruptedException{ return coffeeMapper.selectByExample(coffeeExample); } }
配置 mybatis
在 application.yml
中配置 mybatis
spring: datasource: url: jdbc:mysql://localhost:3306/zuozewei?useUnicode=true&characterEncoding=UTF-8&useJDBCCompliantTimezoneShift=true&useLegacyDatetimeCode=false&serverTimezone=UTC&useSSL=false username: zuozewei password: 123456 mybatis: type-aliases-package: com.zuozewei.springbootdatabackuprecoverydemo.db # 自动扫描实体类所在的包 type-handlers-package: com.zuozewei.springbootdatabackuprecoverydemo.handler # 指定 TypeHandler 所在的包 configuration: map-underscore-to-camel-case: true# 开启驼峰功能 mapper-locations: classpath*:/mapper/**/*.xml # 扫描类路径下所有以xml文件结尾的文件
数据备份&恢复开发
这里使用 MyBatis 实现对表进行 DML(insert, delete, update等) 和 DDL(create, alter, drop)操作。
Mapper.xml
编写对应的 TestDataMapper.xml:
<?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd" > <mappernamespace="com.zuozewei.springbootdatabackuprecoverydemo.db.manual.mapper.TestDataMapper"> <!--修改数据库的表名字--> <updateid="alterTableName"> alter table ${originalTableName} rename to ${newTableName} </update> <!--drop指定数据库表的数据--> <updateid="dropTable"> drop table ${tableName} </update> </mapper>
注意:
alterTableName:不同的数据库可能存在语法不一致的情况。
Dao接口
dao 层增加 TestDataMapper.java:
/** * 描述: * 执行数据库相关测试表的Mapper * * @author zuozewei * @create 2019-11-21 */ publicinterfaceTestDataMapper{ /** * 修改数据库的表名字 * @param originalTableName * @param newTableName * @return */ int alterTableName(@Param("originalTableName") String originalTableName, @Param("newTableName") String newTableName); /** * drop指定数据库表的数据 * @param tableName * @return */ int dropTable(@Param("tableName") String tableName); /** * 根据传入的表明,创建新的表并且将原表的数据插入到新的表中 * @param newTableName * @param originalTableName */ void createNewTableAndInsertData(@Param("newTableName") String newTableName, @Param("originalTableName") String originalTableName); }
Service 的接口 TestDataService :
/** * 描述: TestDataService * * @author zuozewei * @create 2019-11-21 */ publicinterfaceTestDataService{ /** * 准备数据库数据 * @param tableName */ void createTableData(String tableName); /** * 清理数据库数据 * @param tableName */ void recycleTableData(String tableName); }
实现 Service 的接口调用方法:
/** * 描述: TestDataService 实现类 * * @author zuozewei * @create 2019-11-21 */ @Service publicclassTestDataServiceImplimplementsTestDataService{ @Resource privateTestDataMapper testDataMapper; /** * 准备数据库数据 * @param tableName */ @Override publicvoid createTableData(String tableName) { // 新表名 String newTableName = tableName + "_bak"; // 源表名 String originalTableName = tableName; // 创建测试表并复制数据 testDataMapper.createNewTableAndInsertData(newTableName,originalTableName); } /** * 清理数据库数据 * @param tableName */ @Override publicvoid recycleTableData(String tableName) { // 新表名 String newTableName = tableName ; // 源表名 String originalTableName = tableName + "_bak"; // 删除测试表 testDataMapper.dropTable(tableName); // 恢复备份表 testDataMapper.alterTableName(originalTableName,newTableName); } }
测试
新建一个测试类,TestMapperService:
@SpringBootTest @Slf4j publicclassTestMapperServiceextendsAbstractTestNGSpringContextTests{ privateString tableName = "t_coffee"; //表名 @Autowired privateCoffeeService coffeeService; @Autowired privateTestDataService testDataService; @BeforeMethod(description = "备份及准备测试数据") publicvoid beforeMethod() { testDataService.createTableData(tableName); } @Test(description = "测试demo") publicvoid testSelect() throwsInterruptedException{ // 插入数据 Coffee espresso = newCoffee() .withName("zuozewei") .withPrice(Money.of(CurrencyUnit.of("CNY"), 20.0)) .withCreateTime(newDate()) .withUpdateTime(newDate()); coffeeService.addCoffee(espresso); CoffeeExample example = newCoffeeExample(); // 指定查询条件 example.createCriteria().andNameEqualTo("zuozewei"); // 查询数据 List<Coffee> list = coffeeService.selectCoffeeFromDs(example); list.forEach(e -> log.info("selectByExample: {}", e)); // 筛选指定属性 List<Money> moneys = list.stream().map(Coffee::getPrice).collect(Collectors.toList()); log.info( moneys.get(0).toString() ); // 断言结果 Assert.assertEquals("CNY 20.00",moneys.get(0).toString()); } @AfterMethod(description = "清理及恢复数据") publicvoid afterMethod() { testDataService.recycleTableData(tableName); } }
注意:
SpringBoot
中使用 TestNg必须加上@SpringBootTest
,并且继承AbstractTestNGSpringContextTests
,如果不继承AbstractTestNGSpringContextTests
,会导致@Autowired
不能加载 Bean;@Test:测试逻辑地方;
数据备份及清理调用只能放在
@BeforeMethod/@AfterMethod
注解。
最后就是跑测了,我们先看下数据: 执行测试:
测试完成后,我们再检查下业务数据:
我们看到数据被成功恢复了。
小结
本文主要提出一种简单的解决方案,针对所有写接口服务端公用的数据,统一提前准备,跑测的时候提供一键准备/恢复测试数据的方法,尽可能减少因为环境/数据准备造成的时间浪费。
希望能都对你有所启发。
示例代码:
https://github.com/7DGroup/Java-API-Test-Examples/tree/master/springboot-data-backup-recovery-demo
发表评论