相比Spark等传统模式，Flink 和 K8S是怎样的结合-低调大师

相比Spark等传统模式，Flink 和 K8S是怎样的结合

2019-12-23 728

Apache Flink 是近年来越来越流行的一款开源大数据计算引擎，它同时支持了批处理和流处理。大数据起源自批处理,Spark最初的定位就是改进Hadoop, 更快速的进行批处理。而Storm擅长的则是进行无状态的流计算(在无状态的流计算领域, 它的延迟是最小的), 进而出现的Flink则是Storm的下一代解决方案。它既可以处理stream data也可以处理batch data，可以同时兼顾Spark以及Spark streaming的功能。Flink在运行中主要有三个组件组成，JobClient，JobManager 和 TaskManager。

实时计算产品通常提供两种模式，共享型与独享型。在这样的模式下，用户不需要关心整个集群的运维。开发时，使用Blink SQL，用开箱即用的metric收集和展示。同时，作业的监控和异常时报警，也能得到保证。

新模式Flink on K8S，在功能、引擎和托管模式上，都有变化。

功能上，基于Flink的特性，它的常驻进程，类似于在线业务的App，作业发布后，修改频率比较低。用户在开发控制台提交并控制作业，可使用多样的可插拔的增值功能。

在引擎上，基于开源Flink版本，有了以下改造。提供增量Checkpoint。SQL优化器和执行器的改造更近完善，提供Unified SQL。在Runtime上，提供了一套统一且高效的算子框架，有更加灵活的chaining策略和自定义调度插件。

托管模式采用半托管的方式，集群部署在ECS和K8S上，灵活性也更强。

Flink on K8S，充分利用K8S的优势。K8S 可以很好地集成其他集群维护工具，如监控工具普罗米修斯，同时在资源弹性方面，K8S 可以很方便地进行扩缩容。它的设计初衷，就是为在线应用服务的，设计目标是帮助在线应用更好的发布及管理，同时，很好的实现资源的隔离。更重要的是，发展至今，K8S有了一定的生态优势，也来越多的用户使用，也让这个工具越来越好。

微信关注我们

原文链接：https://yq.aliyun.com/articles/740450

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Nginx系列问题之Centos7 安装配置

一、下载安装Nginx 1. 创建文件夹 cd /root/ mkdir downloads #在root目录下创建downloads 文件夹 2.打开官网浏览器打开：https://nginx.org/en/download.html下载最新的稳定版本.Nginx下载地址选中红框单击右键，选择复制链接地址。 3.下载编译安装Nginx 下载&解压-在终端输入: wget https://nginx.org/download/nginx-1.17.1.tar.gz #下载文件 tar -zxvf nginx-1.17.1.tar.gz #解压文件 ls #得到nginx-1.17.1文件夹编译安装 cd nginx-1.17.1 ./configure --prefix=/usr/local/nginx #安装到/usr/local/nginx目录 # 报错 ./configure: error: the HTTP rewrite module requires the PCRE library # 解决-安装pcre-devel yum install pcre-dev...

2019-12-24

687

在前文，我们介绍来了分布式事务，以及分布式事务的解决方案之一的二阶段提交。本文介绍分布式事务处理方案之一的三阶段提交协议。分布式事务分布式事务是指发生在多个数据节点之间的事务，分布式事务比单机事务要复杂的多。在分布式系统中，各个节点之间在是相互独立的，需要通过网络进行沟通和协调。由于存在事务机制，可以保证每个独立节点上的数据操作可以满足ACID。但是，相互独立的节点之间无法准确地知道其他节点的事务执行情况。所以从理论上来讲，两个节点的数据是无法达到一致的状态。如果想让分布式部署的多个节点中的数据保持一致性，那么就要保证在所有节点数据的写操作，要么全部都执行，要么全部都不执行。但是，一台机器在执行本地事务的时候无法知道其他机器中的本地事务的执行结果，所以它也就不知道本次事务到底应该commit还是rollback。所以，常规的解决办法就是引入一个"协调者"的组件来统一调度所有分布式节点的执行。为了解决这种分布式一致性问题，前人在性能和数据一致性的反反复复权衡过程中总结了许多典型的协议和算法。其中比较著名的有二阶提交协议（Two Phase Commitment Protocol）、...

2019-12-23

606

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。