Flink 靠什么征服饿了么工程师？（Flink在饿了么实时计算平台的应用）-低调大师

Flink 靠什么征服饿了么工程师？（Flink在饿了么实时计算平台的应用）

2018-10-14 710

title:Flink 靠什么征服饿了么工程师？（Flink在饿了么实时计算平台的应用）
author: 易伟平
time: 2018/07/26
order: 6
comment: 本文将为大家展示饿了么大数据平台在实时计算方面所做的工作，以及计算引擎的演变之路，你可以借此了解Storm、Spark、Flink的优缺点。如何选择一个合适的实时计算引擎？Flink凭借何种优势成为饿了么首选？本文将带你一一解开谜题。

平台现状

下面是目前饿了么平台现状架构图：

01.jpg

来源于多个数据源的数据写到kafka里，计算引擎主要是Storm,Spark和Flink，计算引擎出来的结果数据再落地到各种存储上。

目前Storm任务大概有100多个，Spark任务有50个左右，Flink暂时还比较少。

目前我们集群规模每天数据量有60TB，计算次数有1000

微信关注我们

原文链接：https://yq.aliyun.com/articles/652543

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Flink状态管理和容错机制介绍

作者: 施晓罡（花名：星罡）导读:本文来自8月11日在北京举行的 Flink Meetup会议，分享来自于施晓罡，目前在阿里大数据团队部从事Blink方面的研发，现在主要负责Blink状态管理和容错相关技术的研发本文主要内容如下：有状态的流数据处理； Flink中的状态接口；状态管理和容错机制实现；阿里相关工作介绍；一.有状态的流数据处理 1.1.什么是有状态的计算计算任务的结果不仅仅依赖于输入，还依赖于它的当前状态，其实大多数的计算都是有状态的计算。比如wordcount,给一些word,其计算它的count,这是一个很常见的业务场景。count做为输出，在计算的过程中要不断的把输入累加到count上去，那么count就是一个state。 1.2.传统的流计算系统缺少对于程序状态的有效支持状态数据的存储和访问；状态数据的备份和恢复

2018-10-15

763

MapReduce实现与自定义词典文件基于hanLP的中文分词详解

前言：文本分类任务的第1步，就是对语料进行分词。在单机模式下，可以选择python jieba分词，使用起来较方便。但是如果希望在Hadoop集群上通过mapreduce程序来进行分词，则hanLP更加胜任。一、使用介绍 hanLP是一个用java语言开发的分词工具，官网是http://hanlp.com/。 hanLP创建者提供了两种使用方式，一种是portable简化版本，内置了数据包以及词典文件，可通过maven来管理依赖，只要在创建的 maven 工程中加入以下依赖，即可轻松使用（强烈建议大家优先采用这种方法）。具体操作方法如图示，在pom.xml中，加入上述依赖信息，笔者使用的IDEA编辑器就会自动开始解析依赖关系，并导入左下角的hanlp jar包。第二种方法需要自己下载data数据文件，并通过一个配置文件hanlp.properties来管理各种依赖信息，其中最重要的是要人为指定data目录的家目录。（不建议大家一上来就使用这种方法，因为真心繁琐！）二、通过第一种方法，建立maven工程，编写mapreduce完整程序如下（亲测运行良好）：三、添加自定义词典...

2018-10-15

583

资源下载

更多资源

优质分享Android(本站安卓app)

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Apache Tomcat7、8、9（Java Web服务器）

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

Eclipse（集成开发环境）

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。