《Spark与Hadoop大数据分析》——2.5　小结-低调大师

《Spark与Hadoop大数据分析》——2.5　小结

2017-08-31 536

2.5　小结

Apache Hadoop 提供了一个用于大数据存储的可靠且可扩展的框架（HDFS），以及一个用于运行和管理多个大数据应用程序的强大集群资源管理框架（YARN）。Apache Spark 提供了大数据处理的内存级性能，以及用于交互式探索性分析、实时分析、机器学习和图分析的库和 API。虽然 MR 是 Hadoop 上的主要处理引擎，但它有很多缺点，例如性能较差和设计应用程序时不够灵活。Apache Spark 是 MR 的替代品。所有基于 MR 的工具（如 Hive、Pig、Mahout 和 Crunch 等）已经开始把 Apache Spark 作为除 MR 之外的附加执行引擎。

如今，大数据项目正在许多企业中实施，从大的财富 500 强公司到小型初创企业。如果组织能通过易于使用的工具来开发应用和探索数据，从原始数据快

微信关注我们

原文链接：https://yq.aliyun.com/articles/212144

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

【数据蒋堂】第15期：开放的计算能力为数据库瘦身

【数据蒋堂】第14期：计算封闭性导致臃肿的数据库我们在上一期谈到，数据库的臃肿，也就是过多的中间表以及相关存储过程，是由于其计算封闭性造成的。如果能够实现独立的计算引擎，使计算不再依赖于数据库提供，那么就可以为数据库瘦身了。内部来源的中间数据不必再以数据表的形式落地在数据库中，而可以放到文件系统中，由外部计算引擎提供进一步的计算能力。对于只读的中间数据，使用文件存储时不需要考虑再改写，可以更为紧致并采用一定的压缩手段，而且在访问时也不必考虑事务一致性，机制大为简化，这样能获得比数据库更好多的吞吐性能。文件系统还可以采用树形组织方案，将各个应用（模块）的中间数据分类管理好，使更方便，并且可使中间数据将从属于应用模块，不会被其它模块访问到。当有模块修改或下线时，相应的中间数据可以跟随修改，而不必担心被共享而产生的耦合问题。用于生成中间数据的存储过程也可以移到数据库外部，作为应用程序的一部分，同样不会产生耦合问题。外部来源的中间表也可以减少甚至取消。ETL过程的E、T步骤可以直接在数据库外部由计算引擎实施，在完成清洗转换之后再加载进数据库。E、T步骤中不占用数据库的计算资源，当然也不需...

2017-09-01

478

文章讲的是东方国信：7个步骤让大数据开口说话， “让数据开口说话”，并不是一件容易的事。如同人类要想开口说话，信息的输入、储存、加工、处理，最终把思想以一种合适的方式表达出来，需要经过一个复杂的化学反应过程。对计算机系统而言，要想让数据开口说话，也要经过一个复杂的电子信息处理过程。在数据量呈爆炸式增长，数据类型呈多样化表现，数据价值日益受到重视的大数据时代，这个过程会变得更加复杂，应用也会更加广泛。东方国信，一家坚持了18年自主研发之路的IT企业，正在试图通过一个完整的解决方案让大数据开口说话。 2014年8月7日，东方国信在北京召开了一次产品发布会，公司董事长兼总经理管连平宣布推出针对各行业大数据的“端到端的完整解决方案”，囊括了多达20多种产品。我们知道，看似或零碎、或杂乱的数据，要想变成对企业业务有价值的决策参考信息或营销建议，需要经历数据采集、存储、处理、加工、管理、监控、分析、展现等多道工序。东方国信的这20多种产品几乎在每道工序上都有所涉及。 ▲东方国信大数据产品线如此布局，东方国信也要面对来自Oracle、IBM、SAP、Cloudera、EMC、SAS等多家国际巨...

2017-09-01

560

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。