反思 | 分布式框架是必须的吗？-低调大师

反思 | 分布式框架是必须的吗？

2017-09-19 574

本文讲的是反思 | 分布式框架是必须的吗，【编者的话】本文主要讲述了通过规范化处理流程，可以使用相同的处理流程来处理流式或者批量处理任务，例如Hadoop和Storm，从而提高重用性。

当有人问起该如何处理大数据问题时，他们总是被指引到现存的产品中，例如Hadoop或者Storm。虽然这些产品非常棒，但也引发了一些问题。首先，就我个人的经验来看，为了获得最佳的处理结果，你必须使用这些框架首选的语言或者虚拟机编写你的代码，典型的就是JVM。当语言或者虚拟机不适用时，就意味着你必须重写你的代码来适应这些框架。同样，像Hadoop和Storm这两种框架所做的事情非常不一样，这就给代码的重用增加了更大的困难。如果你想做流式和批量处理分析，你就需要这两种框架。当然，有些方法能够做到这一点，但我不清楚这种方法是否有更多的选择性，或者这种方法是否很难进行维持。

目前，我正在使用一个分布式系统并且它没有使用任何上述技术。这个分布式系统运行的很好，虽然它不完美，但是它的确实现了。这就引发我思考分布式框架是否是必须的。实际上，MapReduce和Streaming框架的真正区别是什么？数据通过不同的处理流程串行化，这仅仅是如何将数据链接到一起以及不同处理流程发出数据频率的问题。

因此，也许我们真正需要的是规范化如何让各种处理流程并存以及如何将它们连结在一起。我相信我们可以通过一些现有的技术来做到这一点。Mesos和Kubernetes可以在一个集群中用来执行处理流程。队列化技术例如Kafka和NSQ能够在不同的处理流程间传递消息。处理流程可以使用不同的语言实现，并且可以通过Docker或者类似产品封装在容器中来管理其依赖。

我个人发现这种方式是比较合适的，这种解决方法聚焦在不同处理流程之间的通信问题。通过制定相关的协议，我相信可以将不同的处理流程解耦合。同样，当需要时分析过程中使用到的技术也能更加容易地置换出来。举个例子来说，Python能够用来塑造一个分析原型，当性能成为更为严重的问题时，它可以使用编译型语言D或者Go进行重写。当相同的处理流程无需修改代码就可以适用于流式处理和批量处理或者MapReduce任务时，我们也能从中获得更好的重用性。

当然，这只是一个粗略的想法，也没有覆盖这些系统的所有案例和各个方面，但我相信这是一个好的开始。我更加希望看到的是有个工程能够更加深入地研究下去，并且能够为这些系统制定一份详细说明书。如果需要，这种方法可以按照详细说明书提供运行库来确保兼容性，也许更重要的是描述在一个兼容性问题的事件中该做什么。

大家有什么想法呢？

原文连接：Are distributed frameworks necessary?（翻译：肖远昊审校：魏小红）

原文发布时间为：2015-09-23

本文作者：xiaoyh

本文来自云栖社区合作伙伴DockerOne，了解相关信息可以关注DockerOne。

原文标题：反思 | 分布式框架是必须的吗？

微信关注我们

原文链接：https://yq.aliyun.com/articles/225158

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

hbase图文详解及一些算法

hbase介绍一、简介 1. Hbase的由来 hbase是bigtable的开源山寨版本。是建立的hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。它介于nosql和RDBMS之间，仅能通过主键(row key)和主键的range来检索数据，仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。主要用来存储非结构化和半结构化的松散数据。与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力。大：一个表可以有上亿行，上百万列面向列:面向列(族)的存储和权限控制，列(族)独立检索。稀疏:对于为空(null)的列，并不占用存储空间，因此，表可以设计的非常稀疏。下面一幅图是Hbase在Hadoop Ecosystem中的位置。二、逻辑视图 HBase以表的形

2017-09-20

716

官网：hive.apache.org 首先，Hive是数据仓库。可以用类SQL的语言来跑MR，可以理解为Hadoop的客户端。一方面Hive 数据都来自HDFS，另一方面Hive的代码需要提交到Hadoop中去执行，来跑MR。 HiveQL或者HQL，实际上是Hive将SQL提交，后翻译成MR，在HDFS上执行。所以Hive由解释器（解释成Java代码，提交到MR执行）、编译器、优化器等功能。 Hive在运行时元数据存储在关系型数据库中。不推荐默认的，可以使用mysql代替。具体的配置文件在conf/hive-site.xml里的ConnectionURL里面. hive的语法和sql很像，举例 CREATE TABLE t_person( id int, name string, hobby array<string>, character map<string, string>) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' COLLECTION ITEMS TERMINATED BY '_' MAP KEYS ...

2017-09-20

578

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。