数据报表类系统测试-低调大师

数据报表类系统测试

2017-07-02 537

前段时间测试了一个数据报表类系统-VOC系统

　　VOC：Voice Of Customer, 根据每天的电话求助量，机器人咨询量、人工咨询量、云客服咨询量等数据出发，关联到具体问题、产品、部门等信息上分析并展现出会员最大痛点。

　　VOC 的数据报表的最终展现分为两个过程

　　1、获取源数据并整合数据为最终表

　　2、数据关联到问题、产品、部门后进行分析展现

　　针对这两个过程，测试方法也分别两个步骤

　　 一、获取源数据并整合数据为最终表-ETL过程

　　实现方式：云梯、hive脚本、datax

　　开发跟进业务需求了解原始表结构，编写hive脚本，“在云端”平台上运行，获取最终表，使用dataX工具将数据导入到线上 数据库

　　平台：在云端(内部系统)

　　Datax：离线同步工具

　　对应的测试方法

　　1、最终表的正确性

　　常见的测试方式：测试中间表的正确性、抽样或全量数据比对、hive脚本review

　　因为voc对应的最终表的获取逻辑相对简单，所以选择的测试方式是hive脚本review，前提条件是要先了解各个源数据表的含义及结构，对原始数据表非常了解就很容易发现问题，尤其是一些特殊值的处理

　　举个例子

create table if not exists r_yunong_rest ( #新建一个中间表

report_date string,

prd_code string,

question_code string,

date_type string,

value_type string,

base_value string,

gmt_create string,

gmt_modified string

) partitioned by (pt string)

row format delimited fields terminated by '\"'

lines terminated by '\n'

STORED AS TEXTFILE;

insert overwrite table r_yunong_test #表数据插入

PARTITION (pt='$env.lastPartition')

select report_date,

prd_code,

question_code,

'D' as date_type,

'01'as value_type

count(case when sid is not null then sid when caseid is not null then caseid else null end) as base_value， #特殊字段的处理，验证重点

'$env.date' as gmt_create,

'$env.date' as gmt_modified

from r_test #从另一个已创建的中间表r_voc_fact_question获取数据

where pt='$env.lastPartition'

and question_code <>'unknown'

group by report_date,prd_code,question_code;

　　这个过程中需要关注的问题

　　1、数据不完整

　　2、数据不准确

　　3、某些数据需要特殊处理，比如为null、为0的情况

　　4、发现原始表数据质量不理想，需要进行处理

　　二、数据关联到问题、产品、部门等进行分析展现—逻辑代码

　　平台实现了将传入的参数组装成一条复杂的sql语句，将源数据关联到产品数据、问题点数、时间数据后的数据结果输出。

　　所以验证的是报表数据的正确性，简单来说就是验证一条复杂sql写的对不对，采用的测试方式是根据业务理解测试整理出对应sql，输出数据，和系统输出的数据进行对比

　　测试要点

　　1、表结构设计决定业务拓展性例测试过程中发现有些元数据表必须是唯一性的

　　2、对整个数据库设计非常了解，明确每个表的业务定位

　　举个栗子

　　某业务测试验证sql

select f.date_id,d.issue_name,sum(f.all_qz_cnt)

from voc_tb_*** f,

voc_issue_*** d,

bi_time_*** t,

voc_prd_*** v

where d.issue_code = f.issue_codes

and v.id = f.prd_id_sk

and t.date_id = f.date_id

and v.prd_id=711

and t.day = 20140316

group by f.issue_code

order by sum(f.all_qz_cnt) desc

　　开发sql

SELECT bi_time_***.day,voc_prd_***.prd_id,voc_issue_***.issue_code,sum(voc_tb_***.all_qz_cnt) as index_135

FROM voc_tb_*** LEFT JOIN voc_issue_*** ON voc_tb_***.issue_code = voc_issue_***.issue_code and voc_issue_***.flow_step=voc_tb_***.dim7

LEFT JOIN voc_prd_*** ON voc_tb_***.prd_id_sk = voc_prd_***.id

LEFT JOIN bi_time_*** ON voc_tb_***.date_id = bi_time_***.date_id

WHERE voc_prd_***.prd_id=711 and bi_time_***.day=20140316

GROUP BY bi_time_***.day,voc_prd_***.prd_id,voc_issue_***.issue_code

ORDER BY index_135 desc

　　发现的问题：表voc_issue_***中的issue_code不是唯一值，LEFT JOIN的特性使非唯一issue_code的sum(f.all_qz_cnt)值翻倍了，解决方案是，表voc_issue_***的的业务定位修改，作为issue_code的元数据表

　　这个过程中需要关注的问题

　　1、数据多样性评估不完整，导致部分数据未被统计

　　2、表定位错误，比如上面的例子说明的问题

　　三、综述

　　1、数据是否可以提取极大的依赖于原始数据本身的健壮性，原始数据质量很大程度上决定分析数据的效果

　　2、对于这类数据产品，测试侧重点主要是：数据完整性、数据准确性、数据有效性、业务合理性

最新内容请见作者的GitHub页：http://qaseven.github.io/

微信关注我们

原文链接：https://yq.aliyun.com/articles/134097

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

《Scala机器学习》一一1.3　数值字段概述

本节书摘来自华章计算机《Scala机器学习》一书中的第1章，第1.3节,作者：[美]　亚历克斯·科兹洛夫（Alex Kozlov），更多章节内容可以访问云栖社区“华章计算机”公众号查看。 1.3　数值字段概述虽然数据集的大多数列可能是类别（categorical）类型或复杂类型，但这里还是要介绍一下数值数据。通常数值数据会有五种汇总方式，即中位值、均值、四分位数、最小值和最大值。Spark执行中位数和四分位数会特别简单，因此在介绍Spark的DataFrame时再来介绍这两种汇总方式。下面是采用Scala中相应的运算符来计算均值、最小值和最大值：在多个字段上grep有时需要知道怎样从多个字段上搜寻特定的值，最常见的是IP/MAC地址、日期和格式化的信息等。比如，若要得到一个文件或文档中的所有IP地址，就可将之前例子中的cut命令替换

2017-07-02

625

美国加州软件公司Pepperdata的应用程序分析软件建立在Dr. Elephant（Dr. Elephant 是Hadoop和Spark的性能监视和调优工具）开源项目上。主要目的是让更多的Hadoop和Spark应用程序投入生产。 Pepperdata的应用程序分析器作为早期访问版本，基于去年推出的Apache开源项目Dr. Elephant。Dr. Elephant项目的贡献者包括Airbnb，Foursquare，Pepperdata等。 Dr. Elephant软件通过活动日志解析，适用于已知的良好部署规则，并提供有关Hadoop应用程序运行状况的报告。这可能是试图运行多个Hadoop作业的团队的有效措施。通常，这样的团队几乎没有指导，需要深层次的Java编程技能来确定其Hadoop集群的效率。加州LinkedIn公司的高级软件工程师Carl Steinbach表示，去年开源后，Apache Spark部署规则已被添加到Dr. Elephant中，支持Oozie和Airflow工作流调度程序。Spark历史记录器的增强功能现在也是包的一部分。 Steinbach说，实际上，...

2017-07-02

522

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。