笔记列表-低调大师优秀个人博客

文章列表

共 97898 篇

2019-08-16

听说你熟悉Flink-On-Yarn的部署模式？

5万人关注的大数据成神之路，不来了解一下吗？5万人关注的大数据成神之路，真的不来了解一下吗？5万人关注的大数据成神之路，确定真的不来了解一下吗？欢迎您关注《大数据成神之路》前言 Flink提供了两种在yarn上运行的模式，分别为Session-Cluster和Per-Job-Cluster模式，本文分析两种模式及启动流程。下图展示了Flink-On-Y...

735

阅读约15分钟

2019-08-16

Spark中几种ShuffleWriter的区别你都知道吗？

一.前言在Spark中有三种shuffle写，分别是BypassMergeSortShuffleWriter、UnsafeShuffleWriter、SortShuffleWriter。分别对应三种不同的shuffleHandle。这三者和ShuffleHandle的对应关系如下： UnsafeShuffleWriter:SerializedShuffl...

762

阅读约12分钟

2019-08-16

使用Flink实现索引数据到Elasticsearch

5万人关注的大数据成神之路，不来了解一下吗？ 5万人关注的大数据成神之路，真的不来了解一下吗？ 5万人关注的大数据成神之路，确定真的不来了解一下吗？欢迎您关注《大数据成神之路》使用Flink处理数据时，可以基于Flink提供的批式处理（Batch Processing）和流式处理（Streaming Processing）API来实现，分别能够满足不同场...

755

阅读约23分钟

2019-08-16

Apache Flink：Keyed Window与Non-Keyed Window

5万人关注的大数据成神之路，不来了解一下吗？5万人关注的大数据成神之路，真的不来了解一下吗？5万人关注的大数据成神之路，确定真的不来了解一下吗？ Apache Flink中，Window操作在流式数据处理中是非常核心的一种抽象，它把一个无限流数据集分割成一个个有界的Window（或称为Bucket），然后就可以非常方便地定义作用于Window之上的各种计算操...

786

阅读约26分钟

2019-08-16

Flink Exactly-Once 投递实现浅析

5万人关注的大数据成神之路，不来了解一下吗？ 5万人关注的大数据成神之路，真的不来了解一下吗？ 5万人关注的大数据成神之路，确定真的不来了解一下吗？随着近来越来越多的业务迁移到 Flink 上，对 Flink 作业的准确性要求也随之进一步提高，其中最为关键的是如何在不同业务场景下保证 exactly-once 的投递语义。虽然不少实时系统（e.g. 实时计...

672

阅读约18分钟

2019-08-16

Flink 网络传输优化技术

5万人关注的大数据成神之路，不来了解一下吗？ 5万人关注的大数据成神之路，真的不来了解一下吗？ 5万人关注的大数据成神之路，确定真的不来了解一下吗？作为工业级的流计算框架，Flink 被设计为可以每天处理 TB 甚至 PB 级别的数据，所以如何高吞吐低延迟并且可靠地在算子间传输数据是一个非常重要的课题。此外，Flink 的数据传输还需要支持框架本身的特性，...

871

阅读约18分钟

2019-08-16

Flink/Spark 如何实现动态更新作业配置

该文章已经加入 2019年大数据文章精选由于实时场景对可用性十分敏感，实时作业通常需要避免频繁重启，因此动态加载作业配置（变量）是实时计算里十分常见的需求，比如通常复杂事件处理 (CEP) 的规则或者在线机器学习的模型。尽管常见，实现起来却并没有那么简单，其中最难点在于如何确保节点状态在变更期间的一致性。目前来说一般有两种实现方式：轮询拉取方式，即作业算...

620

阅读约11分钟

2019-08-16

Flink UDF自动注册实践

5万人关注的大数据成神之路，不来了解一下吗？5万人关注的大数据成神之路，真的不来了解一下吗？5万人关注的大数据成神之路，确定真的不来了解一下吗？欢迎您关注《大数据成神之路》 1.注册UDF函数1.1 注册相关方法此处，我们使用的udf函数为标量函数，它继承的是ScalarFunction，该类在我们的使用中，发现它继承自UserDefinedFunctio...

691

阅读约37分钟

2019-08-16

Flink在大规模状态数据集下的checkpoint调优

5万人关注的大数据成神之路，不来了解一下吗？5万人关注的大数据成神之路，真的不来了解一下吗？5万人关注的大数据成神之路，确定真的不来了解一下吗？欢迎您关注《大数据成神之路》今天接到一个同学的反馈问题，大概是： Flink程序运行一段时间就会报这个错误，定位好多天都没有定位到。checkpoint时间是5秒，20秒都不行。 Caused by: java....

955

阅读约23分钟

2019-08-16

SpringBoot2.0 基础案例(11)：配置AOP切面编程，解决日志记录业务

一、AOP切面编程 1、什么是AOP编程在软件业，AOP为Aspect Oriented Programming的缩写，意为：面向切面编程，通过预编译方式和运行期动态代理实现程序功能的统一维护的一种技术。AOP是OOP（面向对象编程）的延续，是软件开发中的一个热点，也是Spring框架中的一个重要内容，是函数式编程的一种衍生范型。利用AOP可以对业务逻辑的...

844

阅读约13分钟

2019-08-16

Mockito框架抛出NullPointerException

首先看一下Mockito框架是怎么抛出NullPointerException 比如下面的代码 Company类 package com.one.util; import java.util.List; import lombok.AllArgsConstructor; import lombok.Data; @Data @AllArgsConstructo...

637

阅读约11分钟

2019-08-16

java中的各种锁详细介绍

java中的各种锁详细介绍转自：https://blog.csdn.net/axiaoboge/article/details/84335452 Java提供了种类丰富的锁，每种锁因其特性的不同，在适当的场景下能够展现出非常高的效率。本文旨在对锁相关源码（本文中的源码来自JDK 8）、使用场景进行举例，为读者介绍主流锁的知识点，以及不同的锁的适用场景。 Ja...

560

阅读约31分钟

2019-08-16

当我们尝试用javascript测网速

当我们尝试用javascript测网速目录 npm包地址Github地址前端判断网速的原理总结前端判断网速的方法及其优缺点img加载测速Ajax测速downlink测速综合测速Github地址参考文章知乎账号正文回到顶部npm包地址https://www.npmjs.com/package/network-speed-test回到顶部Github地址h...

1228

阅读约11分钟

2019-08-16

为什么说java是只有值传递？

为什么说java是只有值传递？如果你学的第一门程序语言是java可能对这个传递方式没有那么敏感，如果学了c或c++，然后再学java，那么可能对这个问题会感到困惑。 1.值传递与引用传递的概念在将传递方式之前先理解一下形参与实参。形式参数：是在定义函数名和函数体的时候使用的参数,目的是用来接收调用该函数时传入的参数。实际参数：在调用有参函数时，主调函数和...

595

阅读约8分钟

2019-08-16

Okhttp3-基本用法

前言 Okhttp官网Okhttp-Github android网络框架之OKhttp一个处理网络请求的开源项目,是安卓端最火热的轻量级框架,由移动支付Square公司贡献(该公司还贡献了Picasso) 用于替代HttpUrlConnection和Apache HttpClient(android API23 6.0里已移除HttpClient) 官网的解...

608

阅读约8分钟

2019-08-16

同样是iOS开发者，月薪 10K 与30K的差距到底在哪？

前言：有人看到这样的问题，第一感觉的答案就是“因为你是初级工程师，他是高级工程师呗~”。这确实是一个很好的答案！不管什么样的职业都有一个从“初级”到“高级”的过程，没有哪个人能一步登天，生出来就是当架构师、CTO 之类的职位的。那么怎么样才能从初级走到高级呢？怎么样才能用更短的时间完成这个过渡的阶段呢？今天就来聊聊同样是程序猿，10K与30K的差距到底...

707

阅读约8分钟

2019-08-16

阿里巴巴AI智能专场：整理分享

2019年8月17日，在阿里云杭州飞天园区内，参加了AICUG的阿里巴巴AI智能专场的分享，主要的主题包括《PAI机器学习和OCR实践》、《关于FAQ-QA算法中台的思考和实践》、《认识概念图谱构建与应用》、《搜索场景下的智能推荐演变之路》主要是算法方面，以下就感受与大家进行分享：一、阿里云的动物园：包括：天猫商城、菜鸟网络、神马搜索、蚂蚁金服、飞猪旅...

738

阅读约4分钟

2019-08-16

阿里云优惠券领取购买云服务器ECS最新有优惠

在为数不多的国内云服务品牌当中，阿里云素来就有基建狂魔的美誉！它直接面向数量众多的中小微企业并为其赋能，同时发力于商业、物联领域内的基础设施，致力于通过先进的云技术来实施惠及全球的使命！“目前，阿里云在新金融、新零售以及新数据等战略节点上极具优势，无疑正在布局云服务未来应用前景！”阿里云服务器教程网负责人表示说。此时阿里云最新优惠优那些呢【30%-40...

629

阅读约4分钟

2019-08-16

阿里云工程项目管理平台实现工地智慧化管理

工程项目管理平台工程项目管理平台将信息技术与行业应用场景的深度融合，提高工地现场的生产效率、管理效率和决策能力，实现工地智慧化管理。点击进入了解详情及购买平台整体架构工程项目管理平台，在建筑施工项目现场搭建基于物联网的软硬件系统集成一体化整体应用，实现劳务实名制管理、人员定位、质量安全巡检、塔吊监控、高支模监控、深基坑监控、大体积混凝土监控、扬尘噪声监...

1032

阅读约9分钟

2019-08-16

Docker入门-搭建docker私有仓库

Docker Hub 目前Docker官方维护了一个公共仓库Docker Hub，其中已经包括了数量超过15000个镜像。大部分需求都可以通过在Docker Hub中直接下载镜像来使用。注册登录可以在https://hub.docker.com 免费注册一个Docker账号。在命令行执行docker login输入用户名及密码来完成在命令行界面登记Doc...

664

阅读约5分钟

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

文章列表

听说你熟悉Flink-On-Yarn的部署模式？

Spark中几种ShuffleWriter的区别你都知道吗？

使用Flink实现索引数据到Elasticsearch

Apache Flink：Keyed Window与Non-Keyed Window

Flink Exactly-Once 投递实现浅析

Flink 网络传输优化技术

Flink/Spark 如何实现动态更新作业配置

Flink UDF自动注册实践

Flink在大规模状态数据集下的checkpoint调优

SpringBoot2.0 基础案例(11)：配置AOP切面编程，解决日志记录业务

Mockito框架抛出NullPointerException

java中的各种锁详细介绍

当我们尝试用javascript测网速

为什么说java是只有值传递？

Okhttp3-基本用法

同样是iOS开发者，月薪 10K 与30K的差距到底在哪？

阿里巴巴AI智能专场：整理分享

阿里云优惠券领取 购买云服务器ECS最新有优惠

阿里云工程项目管理平台 实现工地智慧化管理

Docker入门-搭建docker私有仓库

资源下载

腾讯云软件源

Nacos

Spring

Sublime Text

欢迎您来访！

阿里云优惠券领取购买云服务器ECS最新有优惠

阿里云工程项目管理平台实现工地智慧化管理