笔记列表-低调大师优秀个人博客

文章列表

共 97898 篇

2019-07-18

Flink中的窗口

窗口窗口类型 flink支持两种划分窗口的方式（time和count）如果根据时间划分窗口，那么它就是一个time-window 如果根据数据划分窗口，那么它就是一个count-window flink支持窗口的两个重要属性（size和interval）如果size=interval,那么就会形成tumbling-window(无重叠数据) 如果siz...

857

阅读约7分钟

2019-07-18

Flink的分布式缓存

分布式缓存 Flink提供了一个分布式缓存，类似于hadoop，可以使用户在并行函数中很方便的读取本地文件，并把它放在taskmanager节点中，防止task重复拉取。此缓存的工作机制如下：程序注册一个文件或者目录(本地或者远程文件系统，例如hdfs或者s3)，通过ExecutionEnvironment注册缓存文件并为它起一个名称。当程序执行，Flink...

655

阅读约8分钟

2019-07-18

Flink重启策略

概述 Flink支持不同的重启策略，以在故障发生时控制作业如何重启集群在启动时会伴随一个默认的重启策略，在没有定义具体重启策略时会使用该默认策略。如果在工作提交时指定了一个重启策略，该策略会覆盖集群的默认策略默认的重启策略可以通过 Flink 的配置文件 flink-conf.yaml 指定。配置参数 restart-strategy 定义了哪个策略被使...

573

阅读约6分钟

2019-07-18

Flink从入门到放弃(入门篇4) DataStreamAPI

DataStream算子将一个或多个DataStream转换为新DataStream。程序可以将多个转换组合成复杂的数据流拓扑。DataStreamAPI和DataSetAPI主要的区别在于Transformation部分。 DataStream Transformation map DataStream→DataStream用一个数据元生成一个数据元。一个...

633

阅读约13分钟

2019-07-18

Flink从入门到放弃(入门篇2)-本地环境搭建&构建第一个Flink应用

本地安装单机版本Flink 一般来说，线上都是集群模式，那么单机模式方便我们测试和学习。环境要求本地机器上需要有 Java 8 和 maven 环境，推荐在linux或者mac上开发Flink应用：如果有 Java 8 环境，运行下面的命令会输出如下版本信息：如果有 maven 环境，运行下面的命令会输出如下版本信息：开发工具推荐使用 Itelli...

709

阅读约10分钟

2019-07-18

Flink从入门到放弃(入门篇3)-DataSetAPI

首先我们来看一下编程结构：编程结构 public class SocketTextStreamWordCount { public static void main(String[] args) throws Exception { if (args.length != 2){ System.err.println("USAGE:\nSocketTextS...

585

阅读约35分钟

2019-07-18

Flink从入门到放弃(入门篇1)-Flink是什么

本文是例行介绍，熟悉的直接跳过 - 鲁迅鲁迅: ... 大纲入门篇：放弃篇：图片显示不了，戳这里： https://github.com/wangzhiwubigdata/God-Of-BigData/blob/master/Flink Flink是什么一句话概括 Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台，提供...

723

阅读约5分钟

2019-07-18

Flink从入门到放弃-大纲

入门篇大纲放弃篇大纲

817

阅读约1分钟

2019-07-18

MongoDB基础知识

微服务流行，我也是越来越喜欢MongoDB了，除非必要要用MySQL，我都会倾向于MongoDB。 MongoDB 什么是MongoDB ? MongoDB 是由C++语言编写的，是一个基于分布式文件存储的开源数据库系统。在高负载的情况下，添加更多的节点，可以保证服务器性能。 MongoDB 旨在为WEB应用提供可扩展的高性能数据存储解决方案。 Mongo...

773

阅读约10分钟

2019-07-18

联想企业网盘垂直行业落地，助力企业云上建设

在经济环境和资源配置的双重作用下，我国各传统行业都面临着结构调整和转型升级。以信息化转型为例，云计算正快速渗透到金融、交通、制造、能源等多个行业中去，为这些行业提供技术支撑。依托云计算，企业可以有效优化流程、提升效率、加速创新，是业务发展的新引擎。政府对于推进企业上云也做出了明确的指示，要求加快软件和信息技术服务业发展，深化供给侧结构性改革，推动企业利用云...

778

阅读约5分钟

2019-07-18

URLOS安装、升级、卸载

环境需求在安装URLOS之前确认操作系统版本是否符合安装要求最低硬件配置：1核CPU，1G内存（1+1）提示：如果你的应用较多，而主机节点的硬件配置较低，建议在部署节点时开通虚拟虚拟内存；生产环境建议使用2G或以上内存；推荐安装系统：Ubuntu-16.04、Ubuntu-18.04、CentOS7.X、Debian9X的64位的纯净的操作系统；安...

740

阅读约6分钟

2019-07-18

codeigniter-3.1 PHP开发框架

环境需求最低硬件配置：1核CPU，1G内存（1+1）提示：如果你的应用较多，而主机节点的硬件配置较低，建议在部署节点时开通虚拟虚拟内存；生产环境建议使用2G或以上内存；推荐安装系统：Ubuntu-16.04、Ubuntu-18.04、CentOS7.X、Debian9X的64位的纯净的操作系统；安装URLOS应用容器管理软件 curl -LO www...

702

阅读约2分钟

2019-07-18

在 CentOS7 上安装新版 Docker CE（使用国内源）

卸载老版本 $ sudo yum remove docker \ docker-client \ docker-client-latest \ docker-common \ docker-latest \ docker-latest-logrotate \ docker-logrotate \ docker-engine 如果曾经安装过，/var/lib/...

837

阅读约5分钟

2019-07-18

在 Mac 上使用 Docker 自带的 Kubernetes

Mac 安装 Docker 的方法不再赘述，很简单，官方下载安装即可。安装完成后，kubectl的二进制文件就已经存在了。我们仅需要下载镜像，开启 kubernetes。下载镜像查看一下你的 Docker 和 Kubernetes 版本：使用以下脚本，记得将镜像版本改成你所需要的 #!/bin/bash set -e KUBE_VERSION=v1....

650

阅读约6分钟

2019-07-18

GitOps 初探

前言 GitOps 的概念最初来源于 Weaveworks 的联合创始人 Alexis 在 2017 年 8 月发表的一篇博客 GitOps - Operations by Pull Request。文章介绍了 Weaveworks 的工程师如何以 Git 作为事实的唯一真实来源，部署、管理和监控基于 Kubernetes 的 SaaS 应用。随后，Wea...

748

阅读约2分钟

2019-07-17

云掣科技×物联网解决方案港口危化品物联监测实践

物联网（ IoT ，Internet of things ）是互联网基础上的延伸和扩展的网络，将各种信息传感设备与互联网结合起来而形成的一个巨大网络，实现在任何时间、任何地点，人、机、物的互联互通。目前物联网的应用在交通、家庭、环境、景区等各种领域，本文主要分享云掣物联网技术在港口危险品物联监管的整合解决方案，希望可以帮助更多港口、园区共同“智慧化”。方...

546

阅读约5分钟

2019-07-17

日志服务数据加工：原理篇

概述日志服务加工服务的一个作业使用协同消费组, 对源日志库进行流式消费, 对每一条日志传给加工规则处理后再输出. 调度原理调度机制对每一个加工作业, 加工服务的调度器会启动一个或多个运行实例, 每个运行实例扮演一个消费者的角色去消费1个或者多个源logstore的shard, 调度器会根据运行实例的内存与CPU消耗情况决定或减少并行运行实例数, 最多启...

861

阅读约2分钟

2019-07-17

Java之集合(一)

Java最初版本只为最常用的数据结构提供了很少的一组类Vector、Stack、HashTable、BitSet和Enumeration接口,其中Enumeration接口提供了一种用于访问任意容器中各个元素的抽象机制. 集合框架的基本设计:将接口(interfaces)与实现(implementations)分离.数据结构一队列队列是指可以在队列的尾部添加...

678

阅读约17分钟

2019-07-17

HashMap原理及内部存储结构

本文将通过如下简单的代码来分析HashMap的内部数据结构的变化过程。 public static void main(String[] args) { Map<String, String> map = new HashMap<>(); for (int i = 0; i < 50; i++) { map.put("key" ...

608

阅读约12分钟

2019-07-17

Python的内存管理机制

Python 默认内存处理机制为GC(垃圾回收) 内存泄漏指由于疏忽或错误造成程序未能释放已经不再使用的内存的情况。内存泄漏并非指内存在物理上的消失，而是应用程序分配某段内存后, 由于设计错误, 失去了对该段内存的控制, 因而造成了内存的浪费, 导致程序运行速度减慢甚至系统崩溃等严重后果。有 __del__() 函数的对象间的循环引用是导致内存泄漏的主凶...

662

阅读约4分钟

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。

文章列表

Flink中的窗口

Flink的分布式缓存

Flink重启策略

Flink从入门到放弃(入门篇4) DataStreamAPI

Flink从入门到放弃(入门篇2)-本地环境搭建&amp;构建第一个Flink应用

Flink从入门到放弃(入门篇3)-DataSetAPI

Flink从入门到放弃(入门篇1)-Flink是什么

Flink从入门到放弃-大纲

MongoDB基础知识

联想企业网盘垂直行业落地，助力企业云上建设

URLOS安装、升级、卸载

codeigniter-3.1 PHP开发框架

在 CentOS7 上安装新版 Docker CE（使用国内源）

在 Mac 上使用 Docker 自带的 Kubernetes

GitOps 初探

云掣科技×物联网解决方案 港口危化品物联监测实践

日志服务数据加工：原理篇

Java之集合(一)

HashMap原理及内部存储结构

Python的内存管理机制

资源下载

Mario

腾讯云软件源

Sublime Text

WebStorm

欢迎您来访！

Flink从入门到放弃(入门篇2)-本地环境搭建&构建第一个Flink应用

云掣科技×物联网解决方案港口危化品物联监测实践