首页 文章 精选 留言 我的

精选列表

搜索[热点技术征文第九期],共10000篇文章
优秀的个人博客,低调大师

实现数据库,中间件的一键部署|睿云智合Wise2C的容器技术展现

利用睿云智合(Wise2C)产品的持续交付功能为开发和测试团队规划和设计了持续集成和持续交付流水线,解决软件的快速开发和快速交付,为团险核心系统等业务应用提供了容器运行环境,解决基于常用数据库,中间件系统的容器化和构建应用目录,实现数据库,中间件的一键部署。 由于Docker轻量并且快速,因此相对于基于Hypervisor的虚拟机的部署方式,Docker提供了一种更可行和划算的替代方案,这对于高密度部署环境尤其有用,例如在构建私有云或PaaS。当然,当你想在有限的资源里部署更多的应用时,Docker对于中小型的部署也非常有用。Docker容器的运行不需要额外的hypervisor支持,它是内核级的虚拟化,因此可以实现更高的性能和效率。 过去,很多测试是人工完成的,一旦需求比较多,就造成排队的现象,滞缓迭代速度,测试用例的保存也是靠人工完成,一旦需要测试用例回归测试,有可能测试用例已丢失,又需要花时间去整理用例,协调测试数据。 现在,通过要求开发人员提高自动化测试覆盖率并在平台上建立自动化测试流水线阶段,平台能够做到保存测试用例和脚本,以便测试用例回放,每次迭代将自动进行测试,并将测试结果实时邮件通知测试人员,开发人员,大大减少了人工工作量。另外,也将很方便进行负载均衡和压力测试。 通常,如果要在一台服务器上运行多个任务,传统的方法是将其划分为多个虚拟机,使用每个虚拟机来运行一个任务。但是虚拟机启动很慢,因为它们必须启动整个操作系统,这要花上几分钟的时间。而且这会占用大量资源,因为每个虚拟机都需要运行一个完整的操作系统实例。容器则提供了某种类似的行为,但是速度更快一些,因为启动一个容器就像启动一个进程。

优秀的个人博客,低调大师

Spark技术在京东智能供应链预测的应用——按照业务进行划分,然后利用scikit learn进行单机训练并预测

3.3 Spark在预测核心层的应用 我们使用Spark SQL和Spark RDD相结合的方式来编写程序,对于一般的数据处理,我们使用Spark的方式与其他无异,但是对于模型训练、预测这些需要调用算法接口的逻辑就需要考虑一下并行化的问题了。我们平均一个训练任务在一天处理的数据量大约在500G左右,虽然数据规模不是特别的庞大,但是Python算法包提供的算法都是单进程执行。我们计算过,如果使用一台机器训练全部品类数据需要一个星期的时间,这是无法接收的,所以我们需要借助Spark这种分布式并行计算框架来将计算分摊到多个节点上实现并行化处理。 我们实现的方法很简单,首先需要在集群的每个节点上安装所需的全部Python包,然后在编写Spark程序时考虑通过某种规则将数据分区,比如按品类维度,通过groupByKey操作将数据重新分区,每一个分区是一个样本集合并进行独立的训练,以此达到并行化。流程如下图所示: 伪码如下: repartitionBy方法即设置一个重分区的逻辑返回(K,V)结构RDD,train方法是训练数据,在train方法里面会调用Python算法包接口。saveAsPickleFile是Spark Python独有的一个Action操作,支持将RDD保存成序列化后的sequnceFile格式的文件,在序列化过程中会以10个一批的方式进行处理,保存模型文件非常适合。 虽然原理简单,但存在着一个难点,即以什么样的规则进行分区,key应该如何设置。为了解决这个问题我们需要考虑几个方面,第一就是哪些数据应该被聚合到一起进行训练,第二就是如何避免数据倾斜。 针对第一个问题我们做了如下几点考虑: 被分在一个分区的数据要有一定的相似性,这样训练的效果才会更好,比如按品类分区就是个典型例子。 分析商品的特性,根据特性的不同选择不同的模型,例如高销商品和低销商品的预测模型是不一样的,即使是同一模型使用的特征也可能不同,比如对促销敏感的商品就需要更多与促销相关特征,相同模型相同特征的商品应倾向于分在一个分区中。 针对第二个问题我们采用了如下的方式解决: 对于数据量过大的分区进行随机抽样选取。 对于数据量过大的分区还可以做二次拆分,比如图书小说这个品类数据量明显大于其他品类,于是就可以分析小说品类下的子品类数据量分布情况,并将子品类合并成新的几个分区。 对于数据量过小这种情况则需要考虑进行几个分区数据的合并处理。 总之对于后两种处理方式可以单独通过一个Spark任务定期运行,并将这种分区规则保存。 摘自:http://www.infoq.com/cn/articles/application-of-spark--in-jingdong-supply-chain-forecasting 本文转自张昺华-sky博客园博客,原文链接:http://www.cnblogs.com/bonelee/p/7349702.html,如需转载请自行联系原作者

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册