笔记列表-低调大师优秀个人博客

文章列表

共 97898 篇

2018-11-13

实时计算 Flink> 产品简介——最新动态

时间特征类别描述使用客户产品文档 2018.10.26 DDL语句创建ES结果表新功能新增创建ES结果表的说明所有创建ElasticSearch（ES）结果表 2018.10.25 查看AccessID、AccessKey信息新增文档查看AccessID、AccessKey信息说明所有如何查看AccessID、AccessKey信...

771

阅读约3分钟

2018-11-13

实时计算Flink——产品定位

实时计算 Flink提供Flink SQL，协助您简单轻松完成流式计算逻辑的处理。实时计算 Flink提供的全功能的UDF函数，能够帮助您完成定制化业务的数据处理逻辑。在流数据分析领域，Flink SQL和UDF能够完成大部分流式数据分析处理逻辑。目前的实时计算更擅长于流式数据分析、统计、处理。相对于非SQL能够解决的领域，例如，复杂的迭代数据处理、复杂的规...

793

阅读约3分钟

2018-11-13

Apache Flink在唯品会的实践

本文来自于王新春在2018年7月29日 Flink China社区线下 Meetup·上海站的分享。王新春目前在唯品会负责实时平台相关内容，主要包括实时计算框架和提供实时基础数据，以及机器学习平台的工作。之前在美团点评，也是负责大数据平台工作。他已经在大数据实时处理方向积累了丰富的工作经验。唯品会实时平台现状# 目前在唯品会实时平台并不是一个统一的计算框架...

679

阅读约13分钟

2018-11-13

容错和高性能如何兼得: Flink创始人谈流计算核心架构演化和现状

前言# 当前，流数据平台的普及率正在飙升。为了解决日益增长的实时数据处理需求，一些公司正在将其部分大数据基础架构转换为流式处理模型。基于流数据的基础架构不仅能够更好地解决延迟敏感的数据处理业务需求，同时提供更多深入业务洞察 ; 另外，流式数据处理平台让传统的数据仓库建设更加简单灵活。流式基础架构的关键部分是流计算引擎。优秀的流式计算引擎可以让业务即使在有...

646

阅读约36分钟

2018-11-13

阿里云与天猫双11这十年

2009年，发生了两件看似不起眼的事。初春刚过，阿里云在北京一栋没有暖气的写字楼写下了飞天第一行代码。同年11月11日，淘宝商城启动了一个叫做双11的促销活动。谁也没想到，多年以后他们会是现在这模样。前传 2007年淘宝的交易额突破了400亿，技术团队却喜忧参半：现有集中式架构已经捉襟见肘，该如何应对？随即启动的分布式改造获得巨大成功，淘宝所有的业...

657

阅读约2分钟

2018-11-13

Spark比拼Flink：下一代大数据计算引擎之争，谁主沉浮？

下一代大数据计算引擎# 自从数据处理需求超过了传统数据库能有效处理的数据量之后，Hadoop 等各种基于 MapReduce 的海量数据处理系统应运而生。从 2004 年 Google 发表 MapReduce 论文开始，经过近 10 年的发展，基于 Hadoop 开源生态或者其它相应系统的海量数据处理已经成为业界的基本需求。但是，很多机构在开发自己的数据...

749

阅读约17分钟

2018-11-13

学习Hadoop大数据基础框架

什么是大数据？进入本世纪以来，尤其是2010年之后，随着互联网特别是移动互联网的发展，数据的增长呈爆炸趋势，已经很难估计全世界的电子设备中存储的数据到底有多少，描述数据系统的数据量的计量单位从MB（1MB大约等于一百万字节）、GB（1024MB）、TB（1024GB），一直向上攀升，目前，PB（等于1024TB）级的数据系统已经很常见，随着移动个人数据、社交...

591

阅读约5分钟

2018-11-13

Flink靠什么征服饿了么工程师？

平台现状# 下面是目前饿了么平台现状架构图：来源于多个数据源的数据写到kafka里，计算引擎主要是Storm,Spark和Flink，计算引擎出来的结果数据再落地到各种存储上。目前Storm任务大概有100多个，Spark任务有50个左右，Flink暂时还比较少。目前我们集群规模每天数据量有60TB，计算次数有1000000000，节点有400个。这里...

640

阅读约21分钟

2018-11-13

Jstorm到Flink在今日头条的迁移实践

本文内容如下：引入Flink的背景 Flink集群的构建过程构建流式管理平台引入Flink的背景# 下面这幅图展示的是字节跳动公司的业务场景首先，应用层有广告，也有AB测，也有推送和数据仓库的一些业务。然后在使用J storm的过程中，增加了一层模板主要应用于storm的计算模型，使用的语言是python。所以说中间相对抽象了一个schema，跑在最...

751

阅读约14分钟

2018-11-13

社区直播 | NoSQL漫谈：坚持写HBase技术博客的感想

从下周开始每周将在钉钉群里【直播技术分享】和专家面对面【在线回答技术问题】，感兴趣的同学加入啊~ 每周具体直播时间，请关注钉钉群内群公告。【号外号外】为了更好的服务咱们HBase开发者，HBase技术社区钉钉企业号大群建立啦：钉钉直播入群方式： https://dwz.cn/Fvqv066s Apache HBase Operator Tools： ht...

702

阅读约2分钟

2018-11-13

当Kubernetes应用遇到阿里分批发布模式

扫码或点我直达免费领！对于熟悉Kubernetes的用户来说，应该知道当你的应用程序一旦部署到Kubernetes以后，Kubernetes能够自动帮你管理应用程序，当Pod发生故障后可以自动调度重建，确保服务的持续可用。但Kubernetes的原生发布策略难以满足生产级别的发布要求。本文将介绍一种在阿里巴巴常用的应用发布模式：分批发布，以及在云效是如...

657

阅读约2分钟

2018-11-13

ECS的VPC服务授权

背景为了让您操作ECS的VPC服务更加便利，体验一站式服务。实时计算支持了ECS的VPC服务授权。实时计算支持在阿里云ECS上搭建的存储，例如MYSQL，暂不支持您本地的服务器。授权流程进入访问控制登录阿里云账号，在管理与监控中找到访问控制，选择角色管理。进入角色管理进入角色管理，选择AliyunStreamDefaultRole。点击角色授权...

606

阅读约1分钟

2018-11-13

实时计算Flink —— 独享模式上下游配置

本页目录 DataHub数据存储注册注意事项 SLS/LogService数据存储注册注意事项 RDS数据存储注册注意事项 OTS数据存储注册注意事项 ADS数据存储注册注意事项 DataHub数据存储注册注意事项 DataHub EndPoint填写具体内容请您参看DataHub访问域名下的DataHub域名列表。 SLS/LogService数据存储注...

729

阅读约2分钟

2018-11-13

实时计算Flink —— 独享模式角色授权

本页目录创建角色添加自定义角色创建角色在创建集群过程中需要您创建角色AliyunStreamDefaultRole。具体的操作流程详见角色授权。说明：如果已经存在AliyunStreamDefaultRole角色，则不必重复创建。添加自定义角色添加步骤如下。登录阿里云账号选择访问控制。选择新建授权策略自定义授权名称替换下面的授权策略 ...

626

阅读约3分钟

2018-11-13

实时计算Flink —— 独享模式快速入门

已开通地域目前共享模式仅在华东一（杭州），华东二（上海），华南一（深圳），华北二（北京）四个区域开通。如果对其他地域有开通需求，请联系阿里云技术支持。准备工作实时计算独享模式开通时，实时计算会为您在您的VPC内创建安全组以及申请弹性网卡。请勿删除此安全组和弹性网卡。如果已有专有网络VPC，请选择实时计算需要访问的VPC。如果没有VPC，请开通阿里云...

637

阅读约3分钟

2018-11-13

实时计算Flink —— 独享模式系统架构

独享模式系统架构如下所示。系统架构说明：实时计算独享模式为全托管管理方式。您所购买的ECS都托管在实时计算VPC下，暂不提供用户登陆接口。如有登陆ECS的需求，请联系实时计算客服。为了访问您的VPC内服务，会在创建集群时，在您账号下申请弹性网卡。通过弹性网卡，您即可访问其VPC下所有资源。您的实时计算集群，如果需要访问公网，可在弹性网卡上绑定NAT网...

660

阅读约1分钟

2018-11-13

实时计算Flink > 准备工作——角色授权

您开通实时计算服务时，需要授予一个名称为AliyunStreamDefaultRole的系统默认角色给实时计算的服务账号。当且仅当该角色被正确授予后，实时计算才能正常地调用相关服务，例如RDS等。注意:实时计算必须提前进行角色授权，否则后续不能正常运行。自动化角色授予流程当您创建项目或第一次进入项目时，如果没有正确的授予默认角色给实时计算服务账号，会看...

730

阅读约7分钟

2018-11-13

Docker Enterprise 2.1 版本正式上线，全新特性先睹为快！

出品丨Docker公司（ID：docker-cn）编译丨小东每周一、三、五，与您不见不散！上周，作为市场上领先的企业级容器平台，也是唯一一款专为 Windows 和 Linux 应用程序设计的容器平台 —— Docker Enterprise 2.1 版本正式上线。当 Docker Enterprise 2.1 版本与全新的 Windows Server ...

581

阅读约6分钟

2018-11-13

阿里云服务器怎么样？阿里云购买了肯定不会后悔的！

阿里云服务器怎么样、云服务器如何选择等问题是打算上云的用户常常问的最多的问题，阿里云在国内云计算领域的地位是毋庸置疑的，市场占有率早已超过了半壁江山，阿里云起步早，面对各领域有成熟的解决方案，不选阿里云选谁呢？底层架构我国春节时段的返乡大迁徙场面壮观吧？大家再来感受下天猫双十一或者春晚抢红包等活动，这看不见的数据大迁徙可比春节返乡壮观多了，过年你往返一次吧...

708

阅读约6分钟

2018-11-12

Java 历史

James Gosling 最初开始 Java 语言项目是在 1991 年的 7 月。Java 被用在他的许多 set-top box 工程中。这个语言最开始的时候被称为 Oka，这个是因为James Gosling 办公室外有一颗橡树，同时也考虑过使用 Green 这个名字，最终这个语言被命名为 Java。这个名字是从一堆名字中随机选取的。 Sun 发布了...

619

阅读约5分钟

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。

文章列表

实时计算 Flink&gt; 产品简介——最新动态

实时计算Flink——产品定位

Apache Flink在唯品会的实践

容错和高性能如何兼得: Flink创始人谈流计算核心架构演化和现状

阿里云与天猫双11这十年

Spark比拼Flink：下一代大数据计算引擎之争，谁主沉浮？

学习Hadoop大数据基础框架

Flink靠什么征服饿了么工程师？

Jstorm到Flink在今日头条的迁移实践

社区直播 | NoSQL漫谈：坚持写HBase技术博客的感想

当Kubernetes应用遇到阿里分批发布模式

ECS的VPC服务授权

实时计算Flink —— 独享模式上下游配置

实时计算Flink —— 独享模式角色授权

实时计算Flink —— 独享模式快速入门

实时计算Flink —— 独享模式系统架构

实时计算Flink &gt; 准备工作——角色授权

Docker Enterprise 2.1 版本正式上线，全新特性先睹为快！

阿里云服务器怎么样？阿里云购买了肯定不会后悔的！

Java 历史

资源下载

腾讯云软件源

Spring

Rocky Linux

WebStorm

欢迎您来访！

实时计算 Flink> 产品简介——最新动态

实时计算Flink > 准备工作——角色授权