低调大师

显示筛选

文章筛选

  • 全部文章
  • 龙果学院
  • CentosChina
  • 低调大师
  • SpringBoot
  • 框架
  • 数据库
  • Linux
  • 大数据
  • 开发工具
  • 大师作品
  • 管理工具
  • 服务器
  • 文章摘抄
  • 面试锦集
  • 消息队列
  • 51CTO
  • 推荐
  • 云计算
  • 大数据
  • 移动
  • 网络
  • 安全
  • 系统
  • 开发
  • 服务器
  • 存储
  • 数据库
  • 虚拟化
  • 云栖社区
  • 云计算
  • 大数据
  • 人工智能
  • 架构
  • 移动开发
  • 物联网
  • 编程语言
  • 阿里云
  • OsChina
  • 博客
  • 软件更新资讯
  • 行业资讯
  • 编程语言资讯
  • 综合资讯
您现在的位置是:首页>文章列表

文章列表

  • Flink/Spark 如何实现动态更新作业配置

    Flink/Spark 如何实现动态更新作业配置

    该文章已经加入 2019年大数据文章精选 由于实时场景对可用性十分敏感,实时作业通常需要避免频繁重启,因此动态加载作业配置(变量)是实时计算里十分常见的需求,比如通常复杂事件处理 (CEP) 的规则或者在线机器学习的模型。尽管常见,实现起来却并没有那么简单,其中最难点在于如何确保节点状态在变更期间的一致性。目前来说一般有两种实现方式: 轮询拉取方式,即作业算...

    2019-08-16 5热度
  • Spark中几种ShuffleWriter的区别你都知道吗?

    Spark中几种ShuffleWriter的区别你都知道吗?

    一.前言 在Spark中有三种shuffle写,分别是BypassMergeSortShuffleWriter、UnsafeShuffleWriter、SortShuffleWriter。分别对应三种不同的shuffleHandle。 这三者和ShuffleHandle的对应关系如下: UnsafeShuffleWriter:SerializedShuffl...

    2019-08-16 7热度
  • 使用Flink实现索引数据到Elasticsearch

    使用Flink实现索引数据到Elasticsearch

    5万人关注的大数据成神之路,不来了解一下吗? 5万人关注的大数据成神之路,真的不来了解一下吗? 5万人关注的大数据成神之路,确定真的不来了解一下吗? 欢迎您关注《大数据成神之路》 使用Flink处理数据时,可以基于Flink提供的批式处理(Batch Processing)和流式处理(Streaming Processing)API来实现,分别能够满足不同场...

    2019-08-16 15热度
  • java中的各种锁详细介绍

    java中的各种锁详细介绍

    java中的各种锁详细介绍转自:https://blog.csdn.net/axiaoboge/article/details/84335452 Java提供了种类丰富的锁,每种锁因其特性的不同,在适当的场景下能够展现出非常高的效率。本文旨在对锁相关源码(本文中的源码来自JDK 8)、使用场景进行举例,为读者介绍主流锁的知识点,以及不同的锁的适用场景。 Ja...

    2019-08-16 6热度
  • 听说你熟悉Flink-On-Yarn的部署模式?

    听说你熟悉Flink-On-Yarn的部署模式?

    5万人关注的大数据成神之路,不来了解一下吗?5万人关注的大数据成神之路,真的不来了解一下吗?5万人关注的大数据成神之路,确定真的不来了解一下吗? 欢迎您关注《大数据成神之路》 前言 Flink提供了两种在yarn上运行的模式,分别为Session-Cluster和Per-Job-Cluster模式,本文分析两种模式及启动流程。 下图展示了Flink-On-Y...

    2019-08-16 7热度
  • 你有必要了解一下Flink底层RPC使用的框架和原理

    你有必要了解一下Flink底层RPC使用的框架和原理

    5万人关注的大数据成神之路,不来了解一下吗?5万人关注的大数据成神之路,真的不来了解一下吗?5万人关注的大数据成神之路,确定真的不来了解一下吗? 欢迎您关注《大数据成神之路》 前言 对于Flink中各个组件(JobMaster、TaskManager、Dispatcher等),其底层RPC框架基于Akka实现,本文着重分析Flink中的Rpc框架实现机制及梳...

    2019-08-16 45热度
  • SparkSQL的3种Join实现

    SparkSQL的3种Join实现

    5万人关注的大数据成神之路,不来了解一下吗?5万人关注的大数据成神之路,真的不来了解一下吗?5万人关注的大数据成神之路,确定真的不来了解一下吗? 欢迎您关注《大数据成神之路》 引言 Join是SQL语句中的常用操作,良好的表结构能够将数据分散在不同的表中,使其符合某种范式,减少表冗余、更新容错等。而建立表和表之间关系的最佳方式就是Join操作。 对于Spar...

    2019-08-16 7热度
  • SparkStreming:使用Checkpoint创建StreamingContext修改executor-cores、executor-...

    SparkStreming:使用Checkpoint创建StreamingContext修改executor-cores、executor-...

    在使用SparkStreaming时,使用StreamingContext.getOrCreate(checkpointDirectory, functionToCreateContext _)创建StreamingContext。代码示例如下: // Function to create and setup a new StreamingContext d...

    2019-08-16 8热度
  • Docker入门-搭建docker私有仓库

    Docker入门-搭建docker私有仓库

    Docker Hub 目前Docker官方维护了一个公共仓库Docker Hub,其中已经包括了数量超过15000个镜像。大部分需求都可以通过在Docker Hub中直接下载镜像来使用。 注册登录 可以在https://hub.docker.com 免费注册一个Docker账号。在命令行执行docker login输入用户名及密码来完成在命令行界面登记Doc...

    2019-08-16 25热度
  • 阿里云工程项目管理平台 实现工地智慧化管理

    阿里云工程项目管理平台 实现工地智慧化管理

    工程项目管理平台 工程项目管理平台将信息技术与行业应用场景的深度融合,提高工地现场的生产效率、管理效率和决策能力,实现工地智慧化管理。点击进入了解详情及购买 平台整体架构 工程项目管理平台,在建筑施工项目现场搭建基于物联网的软硬件系统集成一体化整体应用,实现劳务实名制管理、人员定位、质量安全巡检、塔吊监控、高支模监控、深基坑监控、大体积混凝土监控、扬尘噪声监...

    2019-08-16 21热度
  • 阿里巴巴AI智能专场:整理分享

    阿里巴巴AI智能专场:整理分享

    2019年8月17日,在阿里云杭州飞天园区内,参加了AICUG的阿里巴巴AI智能专场的分享,主要的主题包括《PAI机器学习和OCR实践》、《关于FAQ-QA算法中台的思考和实践》、《认识概念图谱构建与应用》、《搜索场景下的智能推荐演变之路》主要是算法方面, 以下就感受与大家进行分享: 一、阿里云的动物园: 包括:天猫商城、菜鸟网络、神马搜索、蚂蚁金服、飞猪旅...

    2019-08-16 18热度
  • 当我们尝试用javascript测网速

    当我们尝试用javascript测网速

    当我们尝试用javascript测网速 目录 npm包地址Github地址前端判断网速的原理总结前端判断网速的方法及其优缺点img加载测速Ajax测速downlink测速综合测速Github地址参考文章知乎账号 正文 回到顶部npm包地址https://www.npmjs.com/package/network-speed-test回到顶部Github地址h...

    2019-08-16 17热度
  • 同样是iOS开发者,月薪 10K 与30K的差距到底在哪?

    同样是iOS开发者,月薪 10K 与30K的差距到底在哪?

    前言: 有人看到这样的问题,第一感觉的答案就是“因为你是初级工程师,他是高级工程师呗~”。 这确实是一个很好的答案!不管什么样的职业都有一个从“初级”到“高级”的过程,没有哪个人能一步登天,生出来就是当架构师、CTO 之类的职位的。 那么怎么样才能从初级走到高级呢?怎么样才能用更短的时间完成这个过渡的阶段呢?今天就来聊聊同样是程序猿,10K与30K的差距到底...

    2019-08-16 10热度
  • 为什么说java是只有值传递?

    为什么说java是只有值传递?

    为什么说java是只有值传递?如果你学的第一门程序语言是java可能对这个传递方式没有那么敏感,如果学了c或c++,然后再学java,那么可能对这个问题会感到困惑。 1.值传递与引用传递的概念在将传递方式之前先理解一下形参与实参。 形式参数:是在定义函数名和函数体的时候使用的参数,目的是用来接收调用该函数时传入的参数。 实际参数:在调用有参函数时,主调函数和...

    2019-08-16 12热度
  • Flink Exactly-Once 投递实现浅析

    Flink Exactly-Once 投递实现浅析

    5万人关注的大数据成神之路,不来了解一下吗? 5万人关注的大数据成神之路,真的不来了解一下吗? 5万人关注的大数据成神之路,确定真的不来了解一下吗? 随着近来越来越多的业务迁移到 Flink 上,对 Flink 作业的准确性要求也随之进一步提高,其中最为关键的是如何在不同业务场景下保证 exactly-once 的投递语义。虽然不少实时系统(e.g. 实时计...

    2019-08-16 75热度
  • Apache Flink:Keyed Window与Non-Keyed Window

    Apache Flink:Keyed Window与Non-Keyed Window

    5万人关注的大数据成神之路,不来了解一下吗?5万人关注的大数据成神之路,真的不来了解一下吗?5万人关注的大数据成神之路,确定真的不来了解一下吗? Apache Flink中,Window操作在流式数据处理中是非常核心的一种抽象,它把一个无限流数据集分割成一个个有界的Window(或称为Bucket),然后就可以非常方便地定义作用于Window之上的各种计算操...

    2019-08-16 8热度
  • Flink UDF自动注册实践

    Flink UDF自动注册实践

    5万人关注的大数据成神之路,不来了解一下吗?5万人关注的大数据成神之路,真的不来了解一下吗?5万人关注的大数据成神之路,确定真的不来了解一下吗? 欢迎您关注《大数据成神之路》 1.注册UDF函数1.1 注册相关方法此处,我们使用的udf函数为标量函数,它继承的是ScalarFunction,该类在我们的使用中,发现它继承自UserDefinedFunctio...

    2019-08-16 58热度
  • Flink在大规模状态数据集下的checkpoint调优

    Flink在大规模状态数据集下的checkpoint调优

    5万人关注的大数据成神之路,不来了解一下吗?5万人关注的大数据成神之路,真的不来了解一下吗?5万人关注的大数据成神之路,确定真的不来了解一下吗? 欢迎您关注《大数据成神之路》 今天接到一个同学的反馈问题,大概是: Flink程序运行一段时间就会报这个错误,定位好多天都没有定位到。checkpoint时间是5秒,20秒都不行。 Caused by: java....

    2019-08-16 10热度
  • Okhttp3-基本用法

    Okhttp3-基本用法

    前言 Okhttp官网Okhttp-Github android网络框架之OKhttp一个处理网络请求的开源项目,是安卓端最火热的轻量级框架,由移动支付Square公司贡献(该公司还贡献了Picasso) 用于替代HttpUrlConnection和Apache HttpClient(android API23 6.0里已移除HttpClient) 官网的解...

    2019-08-16 7热度
  • Flink 网络传输优化技术

    Flink 网络传输优化技术

    5万人关注的大数据成神之路,不来了解一下吗? 5万人关注的大数据成神之路,真的不来了解一下吗? 5万人关注的大数据成神之路,确定真的不来了解一下吗? 作为工业级的流计算框架,Flink 被设计为可以每天处理 TB 甚至 PB 级别的数据,所以如何高吞吐低延迟并且可靠地在算子间传输数据是一个非常重要的课题。此外,Flink 的数据传输还需要支持框架本身的特性,...

    2019-08-16 41热度
« 上页 387/5292 下页 »