首页 文章 精选 留言 我的

精选列表

搜索[流程图],共2255篇文章
优秀的个人博客,低调大师

Hadoop的MapReduce执行流程图

Hadoop的MapReduce shuffle过程,非常重要。只有熟悉整个过程才能对业务了如指掌。 MapReduce执行流程 输入和拆分: 不属于map和reduce的主要过程,但属于整个计算框架消耗时间的一部分,该部分会为正式的map准备数据。 分片(split)操作: split只是将源文件的内容分片形成一系列的 InputSplit,每个 InputSpilt 中存储着对 应分片的数据信息(例如,文件块信息、起始位置、数据长度、所在节点列表…),并不是将源文件分割成多个小文件,每个InputSplit 都由一个 mapper 进行后续处理。 每个分片大小参数是很重要的,splitSize 是组成分片规则很重要的一个参数,该参数由三个值来确定: minSize:splitSize 的最小值,由 mapred-site.xml 配置文件中 mapred.min.split.size 参数确定。 maxSize:splitSize 的最大值,由 mapred-site.xml 配置文件中mapreduce.jobtracker.split.metainfo.maxsize 参数确定。 blockSize:HDFS 中文件存储的快大小,由 hdfs-site.xml 配置文件中 dfs.block.size 参数确定。 splitSize的确定规则:splitSize=max{minSize,min{maxSize,blockSize}} 数据格式化(Format)操作: 将划分好的 InputSplit 格式化成键值对形式的数据。其中 key 为偏移量,value 是每一行的内容。 值得注意的是,在map任务执行过程中,会不停的执行数据格式化操作,每生成一个键值对就会将其传入 map,进行处理。所以map和数据格式化操作并不存在前后时间差,而是同时进行的。 2)Map 映射: 是 Hadoop 并行性质发挥的地方。根据用户指定的map过程,MapReduce 尝试在数据所在机器上执行该 map 程序。在 HDFS中,文件数据是被复制多份的,所以计算将会选择拥有此数据的最空闲的节点。 在这一部分,map内部具体实现过程,可以由用户自定义。 3)Shuffle 派发: Shuffle 过程是指Mapper 产生的直接输出结果,经过一系列的处理,成为最终的 Reducer 直接输入数据为止的整个过程。这是mapreduce的核心过程。该过程可以分为两个阶段: Mapper 端的Shuffle:由 Mapper 产生的结果并不会直接写入到磁盘中,而是先存储在内存中,当内存中的数据量达到设定的阀值时,一次性写入到本地磁盘中。并同时进行 sort(排序)、combine(合并)、partition(分片)等操作。其中,sort 是把 Mapper 产 生的结果按照 key 值进行排序;combine 是把key值相同的记录进行合并;partition 是把 数据均衡的分配给 Reducer。 Reducer 端的 Shuffle:由于Mapper和Reducer往往不在同一个节点上运行,所以 Reducer 需要从多个节点上下载Mapper的结果数据,并对这些数据进行处理,然后才能被 Reducer处理。 4)Reduce 缩减: Reducer 接收形式的数据流,形成形式的输出,具体的过程可以由用户自定义,最终结果直接写入hdfs。每个reduce进程会对应一个输出文件,名称以part-开头。 欢迎补充。 本文转自 ChinaUnicom110 51CTO博客,原文链接:http://blog.51cto.com/xingyue2011/1969662

优秀的个人博客,低调大师

yEd 3.22 发布,流程图绘制工具

yEd 3.22现已发布,该版本更新内容如下: New Features 添加了新的 Compact Disk 布局算法,将节点紧密地放在一起。 Improvements 除了链、星、圆和平行子结构外,Organic layout 现在还支持组和树子结构。 为圆形和径向布局算法添加了处理节点标签的新策略。 为圆形和径向布局算法添加了新的 edge routing 选项。 将节点类型作为附加优化标准添加到 Balloon 布局算法。相同类型的节点更有可能彼此相邻放置。 Bug 修复 现在,使用 tab 键逐步浏览布局设置可以选择可编辑的值。[Q&A23479] 许多大大小小的错误修正。 更新说明:https://www.yworks.com/products/yed/download#ReleaseNotes

优秀的个人博客,低调大师

yEd 3.21 发布,流程图绘制工具

yEd 3.21现已发布,该版本更新内容如下: General Windows、macOS 和 Linux 安装程序附带的 JRE 已经更新到 OpenJDK 15.0.2。 New Features 将节点类型添加为主要布局算法的附加优化标准。相同类型的节点更有可能彼此相邻放置。 为 organic layout algorithm 添加了新的 clustering implementations。 Improvements 改进了正交/折线边缘路由算法的边缘路由。该算法现在尽量保留现有的正交路线。 Bug 修复 修复了 Windows 上的本机文件选择器对话框的问题。 修复了导致布局算法无法将边正确连接到节点的可视边界的回归问题。 修复了阻止粘贴从封闭组节点内部复制的节点的回归问题。 修复了“添加到调色板”上下文菜单中调色板部分的顺序不一致的问题。 修复了运行 One-Click 布局后有时发生的选择更改。 许多 bugfixes,大小不一。 Removed Features 删除了 yEd 的 IconFinder 客户端,该客户端用于将符号导入用户定义的调色板部分。IconFinder 不再提供此功能所需的服务界面。 删除了 HTML Flash Viewer 和 SWF 导出格式。两种格式都依赖 Adobe Flash,因此无法再按预期使用。 更新说明:https://www.yworks.com/products/yed/download#ReleaseNotes

优秀的个人博客,低调大师

Backbone源码分析-Backbone架构+流程图

作者:nuysoft/高云/nuysoft@gmail.com 声明:本文为原创文章,如需转载,请注明来源并保留原文链接。 Backbone0.9.1源码分析分析系列 jQuery1.6.1源码分析系列 参考资料 http://documentcloud.github.com/backbone/http://www.csser.com/tools/backbone/backbone.js.html 官网介绍 Backbone通过提供模型Models、集合Collection、视图Veiew赋予了Web应用程序分层结构。通过以下方式实现分层结构:  模型Model绑定键值数据和自定义事件;  集合Colection是模型的有序或无序集合,带有丰富的可枚举API;  视图View声明事件监听函数;  将模型、集合、视图与服务端的RESTful JSON接口连接。 自调用匿名函数 整个Backbone的源码用一个自调用匿名函数包裹,可以通过闭包特性引用变量(例如 previousBackbone、slice、splice等),同时避免污染全局命名空间。 整体结构如下,还是很清晰的: 1: (function() { 2: Backbone.Events // 自定义事件 3: Backbone.Model // 模型构造函数和原型扩展 4: Backbone.Collection // 集合构造函数和原型扩展 5: Backbone.Router // 路由配置器构造函数和原型扩展 6: Backbone.History // 路由器构造函数和原型扩展 7: Backbone.View // 视图构造函数和原型扩展 8: Backbone.sync // 异步请求工具方法 9: var extend = function (protoProps, classProps) { ... } // 自扩展函数 10: Backbone.Model.extend = Backbone.Collection.extend = Backbone.Router.extend = Backbone.View.extend = extend; // 自扩展方法 11: }).call(this); 依赖库 Backbone必须依赖于 Underscore.js,DOM操作和AJAX请求依赖于第三方jQuery/Zepto/ender之一,也可以通过 Backbone.setDomLibrary( lib ) 设置其他的第三方库。 自定义事件模块 Backbone.Events 可以和任意对象合体(将方法赋值到其他对象或原型上),合体后的对象可以自定义事件,提供三个方法来绑定、移除、触发自定义事件。 模型 Backbone.Model 是 JavaScript 应用程序的核心,包含业务数据和对业务数据的读写和持久化,模型的主要方法包括读写和持久化。 集合 Backbone.Collection 集合是模型的有序集合,可以在集合上绑定 "change" 事件,当集合中的任何模型发生变化时收到通知,集合也可以监听 "add" 和 “remove" 事件, 从服务器获取数据,并能使用 Underscore.js 提供的全套方法。 为了方便,在集合中的模型上触发的任何事件都会在集合上直接触发。这样就可以监听集合中模型的指定属性的变化。 例如:Documents.on("change:selected", ...) 集合的主要方法包括读写、维护和持久化。 路由配置器 Backbone.Router Web应用程序通常需要为重要页面提供可链接、收藏、可分享的 URL。 直到最近, 锚文片段(hash #page)可以被用来提供这种固定链接;同时随着 History API 的到来,锚文现在可以用于处理标准 URLs (/page)。 Backbone.Router 为客户端页面路由提供了许多方法,并能连接到指定的动作(actions)和事件(events)。对于不支持 History API 的旧浏览器,路由器提供了优雅的回调函数并可以透明的进行 URL 片段的转换。 页面加载期间,当应用程序已经创建了所有的路由表,需要调用 Backbone.history.start(),或 Backbone.history.start({pushState : true}) 确保路由初始 URL。 路由器 Backbone.History 作为全局路由器,用于处理 hashchange 或 pushState事件,匹配适合的路由表,并触发回调函数。 如果使用带有路由表的路由器,会自动创建一个History对象,此时不要再创建一个History对象,而是使用 Backbone.history。 Backbone 会自动判断浏览器对 pushState 的支持,以做内部的选择。 不支持 pushState 的浏览器将会继续使用基于锚点的 URL 片段。 关于官网疑惑:如果兼容 pushState 的浏览器访问了某个 URL 锚点,将会被透明的转换为真实的 URL。 注意使用真实的 URLs 需要 web 服务器支持直接渲染那些页面,因此后端程序也需要做修改。 浏览器发起HTTP请求时并不会把锚文部分放在请求头中,查看 http rfc2612 也没有发现相关的说明,保留疑问。http://www.w3.org/Protocols/rfc2616/rfc2616.html 视图 Backbone.View 视图的使用相当方便,不需要判断任何HTML、CSS,可以任意JavaScript模板引擎集成。 通用的做法是,将界面组织成基于模型的诗句,当模型改变时视图立即更新,而不需要重画整个页面。 不再需要纠结于JSON对象、查找DOM元素、手动更新HTML,只需把视图 render 方法绑定到模型的 change 事件,模型数据会立即显示到UI上。 扩展方法 extend 模型、集合、视图、路由器都一个extend方法,用于扩展原型属性和静态属性,创建自定义的视图、集合、视图、路由器类。 分类: Backbone 本文转自左正博客园博客,原文链接:http://www.cnblogs.com/soundcode/p/3874395.html ,如需转载请自行联系原作者

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

用户登录
用户注册