《Spark与Hadoop大数据分析》一一
本节书摘来自华章计算机《Spark与Hadoop大数据分析》一书中的第1章，第1.3节,作者：文卡特·安卡姆（Venkat Ankam） 更多章节内容可以访问云栖社区“华章计算机”公众号查看。 1.3 工具和技术 让我们来看看在 Hadoop 和 Spark 中用于大数据分析的不同工具和技术。虽然 Hadoop 平台可以用于存储和处理数据，但 Spark 只能通过将数据读入内存来进行处理。下表展示了典型大数据分析项目中所使用的工具和技术。
分布式测试执行
1 相关说明
1.1 背景简介
随着一个产品的自动化工作不断深入，自动化的case积累数量持续增长，绝大部分毫无依赖关系的case由于串行运行，测试执行时间达到小时界别，且不易于优化。另外，ci运行时所需机器资源的抢占互斥，运行机器的不稳定等问题也逐渐扩大。
Hadoop分布式测试执行方案正是为了解决以上问题而产生，通过分布式执行，可以达到并行运行，提高执行效率的目的；另外，hadoop提供调度，重试等机制功能，可以提供给用户一个相对透明的计算资源池，减少用户对机器运行环境的依赖。
1.2 分布式平台的选择
本方案采用hadoop来作为分布式平台。首先是Hadoop是一个开源项目，有非常好的技术支持，二就是hadoop有成熟的分布式调度算法，可以很好的利用每台机器的cpu和内存资源，达到计算资源最优分配，三就是hadoop程序易于编写，便于维护。
1.3 名词解释
：apache基金会的开源分布式框架。
Mapreduce ：hadoop的计算模型，由map任务和reduce任务组成。
Jobtracker ：hadoop计算系统的总控。
Tasktracker ：hadoop计算系统的子节点。
Slot(槽位) ：tasktracker的最小计算分配单元，一个槽位可以对应一个map任务，一个机器启动一个tasktracker，槽位的话按照机器的cpu核数来分配，一般是”核数-1”。
<2 分布式测试执行方案
2.1 传统的单机测试执行流程
一般的单机测试流程分为5步，如下图所示：
1、lib库安装。包括测试框架的lib库安装以及基于该测试框架的产品业务层lib。
3、case下载。从svn或者case库获取需要执行的case。
4、case运行。
5、发送报告。
单机测试执行的优点在于逻辑简单，易于实现，缺点就是case要串行执行，无法有效里有机器的cpu和内存资源。举个例子，现在有一个8核16G的测试机，每个case的平均cpu使用率为10%，内存消耗1G，在这样的情况，一般可以做到至少6个case并行化，优化效率是不言而喻的。
2.2 从单机测试到分布式测试执行的逻辑
有了以上的五个步骤及相关分析，我们考虑其中可以并行执行来进行优化的就是测试执行这块了，其他lib库安装，测试环境安装等都基本是最小单元，不易切分了。
所以从单机到分布式主要是Case执行集合的一个拆分。所以简单说，单机和分布式的区别就是case输入集合有变“而已，其他单机的测试执行过程基本不变。对于测试工程师来说，这个过程是透明的，只是执行case的环境从单机切换到多机。
下图简要的表示了case从单机到多机的变化(6位的数字是caseid)。
2.4 分布式测试集群架构设计
整个分布式测试执行依托于一个公共的计算集群，这个计算集群由两部分组成，一部分是hadoop相关的，包括hadoop的总控，子节点的tasktracker服务。另外一部分就是公共环境，包括测试框架，公共工具例如valgrind等。前者通过jobtracker来管理，后者通过统一运维系统来管理，其功能基本就是公共环境的安装和维护。
3 收益
经过我们的实际项目实践，这部分的收益主要体现在如下两点：
1、测试执行时间大幅优化。15台机器的情况，所有原测试执行时间要1-2小时的模块，优化到10分钟以内。
2、机器资源的节省。通过公共集群的维护，保证所有机器cpu满负荷运作，避免了以往单机测试执行的cpu浪费。
4 准入原则及发展方向
4.1 分布式改造的准入原则
并不是所有的测试执行都可以分布式化，在我们的实际操作过程中，总结出以下几点准入原则，供参考：
1、空白机器可运行。通过一个总控脚本就可以做到依赖环境准备，lib库安装，测试case执行等。
2、测试框架允许case并行。
3、业务层case对外部不存在固定依赖，例如依赖于某个写死的目录。
4、业务层case依赖的server端口，最好是随机的。
5、不允许业务层去操作公共环境。
4.2 后续可能的技术方向
1、case按照执行时间切分。按照时间切分来替代按照case数切分。
2、从分布式测试执行过渡到云测试服务。
最新内容请见作者的GitHub页：http://qaseven.github.io/
微信关注我们
原文链接：https://yq.aliyun.com/articles/133336
转载内容版权归作者及来源网站所有！
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
相关文章
发表评论
资源下载
更多资源
优质分享App
近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。
Mario
马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。
Nacos
Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。
Sublime Text
Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。
手机查看
扫码在手机上查看文章
扫描二维码，手机阅读更方便
热门标签
欢迎您来访！
登录后，您将获得更多功能！
第三方登录
热门文章
联系我们
有任何问题或合作意向欢迎联系我们
Email: 99873273@qq.com
QQ: 99873273