首页 文章 精选 留言 我的

精选列表

搜索[数据协作平台],共10000篇文章
优秀的个人博客,低调大师

Python 数据结构与算法 —— 初识算法

算法是什么? 举个简单例子: 我们要做一份蛋炒饭: 拿钱包,出门,去菜市场购买鸡蛋和大米以及油和盐——购买蛋炒饭的材料 回家将大米淘洗干净放进电饭煲——煮熟大米 将锅放在电磁炉上加热——往锅里倒适量油 将鸡蛋打开放入油锅——翻炒鸡蛋至七分熟 将适量煮熟的米饭倒入锅中,加盐——翻炒两分钟 以上就是制作一份简单蛋炒饭的步骤 如果把这些交给机器来做,也是如此,并且步骤将更加细分和严谨 简单来讲,这就是算法 那么算法到底是什么呢? 先来看一道简单的高中数学题: 现有a,b,c三个自然数,要求满足以下条件: 1.a+b+c = 1000 2.a^2 + b^2 = c^2 (^代表平方) 分析: 首先排除数学公式,我们使用机器思维来计算这道题,能想到的办法也很简单,即一个一个数尝试 ,直到试出准确答案为止,此种方法我们称之为 枚举法 上面数学题使用Python来实现: import time start_time = time.time() for a in range(0, 1001): for b in range(0, 1001): for c in range(0, 1001): if a+b+c == 1000 and a**2 + b**2 == c**2: print("a, b, c: %d, %d,%d" % (a, b, c)) end_time = time.time() print("time:%d" % (end_time - start_time)) print("finished!") 代码执行结果: C:\python3\setup\python.exe C:/Users/limia/Desktop/DataS/01_枚举组合.py a, b, c: 0, 500,500 a, b, c: 200, 375,425 a, b, c: 375, 200,425 a, b, c: 500, 0,500 time:121 finished! Process finished with exit code 0 注释: 在上面的代码中:计算这道数学题的同时,还引入了time模块来计算这段代码的运行时间,以方便之后对比算法效率 通过分析这道题,我们可以得知,a+b+c=1000,在有了a和b的值之后,c的值自然就可以计算为:1000-a-b,分析至此,则代码可以改进为以下: import time start_time = time.time() for a in range(0, 1001): for b in range(0, 1001): c = 1000 - a -b if a**2 + b**2 == c**2: print("a, b, c: %d, %d,%d" % (a, b, c)) end_time = time.time() print("time:%d" % (end_time - start_time)) print("finished!") 代码执行结果: C:\python3\setup\python.exe C:/Users/limia/Desktop/DataS/01_枚举组合.py a, b, c: 0, 500,500 a, b, c: 200, 375,425 a, b, c: 375, 200,425 a, b, c: 500, 0,500 time:1 finished! Process finished with exit code 0 通过对比,可以一目了然的发现,改进后的代码执行效率(1s)明显高于第一种代码执行效率(121s) 算法的概念: 算法是计算机处理信息的本质 算法是独立存在的一种解决问题的方法和思想 计算机程序本质上是一个算法来告诉计算机确切的步骤来执行一个指定的任务 单纯以时间衡量算法效率是否是科学的、客观的? 答案:不客观 假设在一台古老的计算机上运行上面的两个程序,则其所消耗的时间都将是极长的,因此单纯以时间计算算法的效率是不科学的。 在衡量算法的效率时,应当脱离计算机来估算 因此引入时间复杂度来衡量算法的效率 每台计算机执行的总时间不同,但是执行基本运算数量大体相同 上面的两个程序,以时间复杂度来表示算法效率: T = 1000 * 1000 * 1000 * 2 ==》 当计算的不是a+b+c=1000,而是a+b+c=2000时,以时间复杂度表示则 T = 2000 * 2000 * 2000 * 2 ==》 当计算的不是1000或者2000,而是n呢? T(n) = n * n * n * 2 简化: T(n) = n^3 * 2 则此时 **T(n) = n^3 * 2 ** 即为这个程序算法的时间复杂度函数 通过函数 T(n) = n^3 * 2 ,可做出曲线图 系数对曲线形状改变不大,只是陡峭不同,因此 T(n) = n^3 * 2 可以简化为T(n) = n^3 T(n) = n^3 则可以叫做 T(n) = n^3 * 2 的渐进函数 大O表示法 上述 **T(n) = n^3 ** 就是 ** T(n) = n^3 * 2 ** 的大O 表示法 总结: 大O表示法只留下表示特征的部分 常见时间复杂度之间的关系 O(1) < O(logn) < O(n) < O(nlogn) < O(n^2) < O(n^3) < O(2^n) < O(n!) < O(n^n) 个人博客地址:www.limiao.tech 微信公众号:TechBoard 慕课网:techLee 如果觉得文章对您有所帮助,那就伸出小手 ==>> 点击下方 [ like ] 吧

优秀的个人博客,低调大师

大数据学习~Hadoop初识三Yarn模式

我们都知道在如今的Hadoop中主要有三个重要的执行管理器。一个HDFS,一个MapReduce,还有就是我们今天要看的 YARN。 2.0以前的Hadoop 在2.0以前的hadoop中是没有Yarn这个模式管理的。大部分都是独自作战。Hbase做自己的,Spark也是做自己的,等等。这样的话就会造成资源的浪费,不能充分的把资源给利用上。特别是在1.x的版本上容易出现单点故障,不容易扩展的情况。 在这里Client的请求都会通过1个JobTracker来分发任务,如果我们的这个JobTracker出现异常。整个集群就没法参与正常工作。 在JobTracker 过多的TaskScheduler 集中过来,容易造成内存,cpu不够用的情况。增加了任务执行失败的风险。 因为这些情况,随着发展,Hadoop需要更新的一代管理引擎来帮助我们管理集群-YARN引擎 在2.0的YARN 在新的业务驱动下,发展起来的YARN替代原先的模式。将原先浪费的资源进行合并,共同管理建立在一个模式管理下 新的YARN模式如下 从图中我们可以看到 原先的JobTracker 被拆分成 资源管理和任务调度监控。 我们来看下如今的架构 ResourceManager : 在集群中提供资源的统一管理和调度。并且接收来自客户端的请求。同时不停的接收来自 DataNode上的心跳信息。并且对集群进行管理。 NodeManager : 在整个集群中会有多个该节点。主要用来维护自己节点上资源的管理和使用。 定时向ResourceManager 汇报自己资源的使用情况。并且 接收来自ResourceManager 各种命令 启动我们在图中看到的ApplicationMaster. ApplicationMaster : 该ApplicationMaster 对应我们提交的程序,该程序可以来自Spark,Hbase , MapReduce.该master向管理器YARN申请资源。然后供应用程序使用。 分配任务给接下来的Container 。包含启动,停止任务。 Container 封装了CPU ,Memory 等资源的容器。 Client 通过client来提交任务,进行任务的开始与结束。并且查询任务的执行进度等情况。 了解了这几个功能名称的作用,我们来看下整个任务执行流程是怎么样的。 从Client端发送一个 请求到我们的ResourceManager 上。其中内容应该包含ApplicationMaster,ApplicationMaster的启动命令。本身应用程序的内容。 ResourceManager 分配任务到NodeManager上 NodeManager根据配置信息进行处理启动ApplicationMaster 。 注册到ResourceManager,并且申请到资源返回到我们的ApplicationMaster 上。 根据申请到的资源注册到NodeManger上。 NodeManager 启动对应的Container上。在这之间会通过心跳进行任务汇报。然后任务汇报后。进行任务管理。 总结 整个yarn的流程和新的结构大概就是如此。新模式解决了原先的单点问题。并且挺高了高可用性和扩展性。一套集群环境就能供多个应用程序使用。YARN模式帮助我们解决掉了资源管理的问题,程序员关注业务开发即可。 原文发布时间为:2018-06-22本文作者:mengrui LuckQI本文来自云栖社区合作伙伴“LuckQI”,了解相关信息可以关注“LuckQI”。

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册