笔记列表-低调大师优秀个人博客

文章列表

共 97898 篇

2020-10-08

SpringCloud 应用在 Kubernetes 上的最佳实践 —— 高可用（弹性伸缩）

作者 | 三未前言弹性伸缩是一种为了满足业务需求、保证服务质量、平衡服务成本的重要应用管理策略。弹性伸缩让应用的部署规模能够根据实时的业务量产生动态调整，在业务高峰期扩大部署规模，保证服务不被业务冲垮；在业务低谷期缩减部署规模，避免资源浪费。由于大部分云资源是按需取用，按量计费模式，相比使用 IDC，使用云的用户从弹性伸缩获得的成本优势是非常明显的，弹...

813

阅读约15分钟

2020-10-08

Sentinel-Go 集成 Nacos 实现外部动态数据源

导读：2020年，Sentinel 推出 Go 原生版本Sentinel-Golang，在云原生领域继续突破。本文将从实际出发结合案例说明在Sentinel-Golang中如何集成Nacos，使其做为外部动态数据源，将流控规则存储在nacos中，并且实现动态实时更新规则。本文主要分为两个部分：将sentinel流控规则定义在代码内部实现限流效果。 ...

820

阅读约24分钟

2020-10-08

搜索引擎新架构：与SQL不得不说的故事

特邀嘉宾：罗涛--阿里巴巴集团资深技术专家视频地址：https://yunqi.aliyun.com/2020/session54?liveId=44647 阿里巴巴搜索引擎HA3架构 1.HA3架构分为在线和离线两部分• 在线是一个传统的2层服务架构，分别叫做QRS和search。QRS负责接受用户请求，做一些简单处理之后把请求发给下面的search节点，...

1062

阅读约2分钟

2020-09-28

基于 Flink + Hive 构建流批一体准实时数仓

基于 Hive 的离线数仓往往是企业大数据生产系统中不可缺少的一环。Hive 数仓有很高的成熟度和稳定性，但由于它是离线的，延时很大。在一些对延时要求比较高的场景，需要另外搭建基于 Flink 的实时数仓，将链路延时降低到秒级。但是一套离线数仓加一套实时数仓的架构会带来超过两倍的资源消耗，甚至导致重复开发。想要搭建流式链路就必须得抛弃现有的 Hive 数仓...

1006

阅读约21分钟

2020-09-27

【数据湖开发治理篇】——数据湖开发治理平台DataWorks

数据湖的定义： wikipedia中对于数据湖的定义是：“A data lake is a system or repository of data stored in its natural/raw format, usually object blobs or files. A data lake is usually a single store of...

1034

阅读约6分钟

2020-09-27

Serverless Spark的弹性利器 - EMR Shuffle Service

背景与动机计算存储分离下的刚需计算存储分离是云原生的重要特征。通常来讲，计算是CPU密集型，存储是IO密集型，他们对于硬件配置的需求是不同的。在传统计算存储混合的架构中，为了兼顾计算和存储，CPU和存储设备都不能太差，因此牺牲了灵活性，提高了成本。在计算存储分离架构中，可以独立配置计算机型和存储机型，具有极大的灵活性，从而降低成本。存储计算分离是新型的...

970

阅读约10分钟

2020-09-26

看动画学算法之:排序-基数排序

简介之前的文章我们讲了count排序，但是count排序有个限制，因为count数组是有限的，如果数组中的元素范围过大，使用count排序是不现实的，其时间复杂度会膨胀。而解决大范围的元素排序的办法就是基数排序。基数排序的例子什么是基数排序呢？考虑一下，虽然我们不能直接将所有范围内的数字都使用count数组进行排序，但是我们可以考虑按数字的位数来进...

775

阅读约7分钟

2020-09-26

运维大杀器来了，未来云上服务器或将实现无人值守

云原生时代下，企业的IT运维面临架构复杂化、业务需求多样化和运维数据海量化等挑战，如何能够实现精准告警、异常智能诊断、根因定位、异常预测和异常自动修复，已成为企业数字化转型的急迫需求。 9月26日，阿里巴巴高级技术专家滕圣波在《GOPS全球运维大会》上发表了题为《云上服务器无人值守与自助服务实战》的主题演讲，分享了阿里云弹性计算团队如何利用人工智能技术赋能运...

806

阅读约7分钟

2020-09-26

云原生计算引擎挑战与解决方案

云原生背景介绍与思考图一是基于ECS底座的EMR架构，这是一套非常完整的开源大数据生态，也是近10年来每个数字化企业必不可少的开源大数据解决方案。主要分为以下几层： ECS物理资源层，也就是Iaas层数据接入层，例如实时的Kafka，离线的Sqoop 存储层，包括HDFS和OSS，以及EMR自研的缓存加速JindoFS 计算引擎层，包括熟知的Spark，...

1061

阅读约14分钟

2020-09-26

数据湖构建服务搭配Delta Lake玩转CDC实时入湖

什么是CDC Change Data Capture(CDC)用来跟踪捕获数据源的数据变化，并将这些变化同步到目标存储(如数据湖或数据仓库)，用于数据备份或后续分析，同步过程可以是分钟/小时/天等粒度，也可以是实时同步。CDC方案分为侵入式(intrusive manner)和非倾入性(non-intrusive manner)两种。侵入式侵入式方案直接...

1364

阅读约8分钟

2020-09-26

阿里巴巴电商搜索推荐实时数仓演进之路

1. 业务背景阿里巴巴电商搜索推荐实时数据仓库承载了阿里巴巴集团淘宝、淘宝特价版、饿了么等多个电商业务的实时数仓场景，提供了包括实时大屏、实时报表、实时算法训练、实时A/B实验看板等多种数据应用支持。数据的价值我们认为数据处于阿里巴巴搜索推荐的大脑位置，这体现在算法迭代、产品运营和老板决策等多个方面。那么数据是怎样在搜索推荐业务场景中流转的呢？首先是信...

970

阅读约14分钟

2020-09-26

多数据源一站式入湖

背景数据湖作为一个集中化的数据存储仓库，支持的数据类型具有多样性，包括结构化、半结构化以及非结构化的数据，数据来源上包含数据库数据、binglog增量数据、日志数据以及已有数仓上的存量数据等.数据湖能够将这些不同来源、不同格式的数据集中存储管理在高性价比的存储如OSS等对象存储中，并对外提供统一的数据分析方式，有效解决了企业中面临的数据孤岛问题，同时大大降...

1108

阅读约8分钟

2020-09-24

SpringCloud 应用在 Kubernetes 上的最佳实践 — 高可用（容量评估）

前言本文是《SpringCloud 应用在 Kubernetes 上的最佳实践》的第11期，从前面两期开始我们进入到了高可用专题，分别介绍了流量防护和故障演练相关内容。本文将从另一个视角介绍如何保障业务高可用性：即业务准备阶段，提前进行线上的瓶颈定位和容量评估，以便更低成本、更高效/真实的发现系统瓶颈点，做到最精确的容量评估。高可用体系介绍首先来介绍下...

834

阅读约9分钟

2020-09-24

【转载】MaxCompute full outer join改写left anti join实践

背景 ods层数据同步时经常会遇到增全量合并的模型，即T-1天增量表 + T-2全量表 = T-1全量表。可以通过full outer join脚本来完成合并，但是数据量很大时非常消耗资源。 insert overwrite table tb_test partition(ds='${bizdate}') select case when a.id is n...

718

阅读约10分钟

2020-09-23

PyFlink + 区块链？揭秘行业领头企业 BTC.com 如何实现实时计算

大家好，我们是 BTC.com 团队。2020 年，我们有幸接触到了 Flink 和 PyFlink 生态，从团队自身需求出发，完善了团队内实时计算的任务和需求，搭建了流批一体的计算环境。在实现实时计算的过程中，我们在实践中收获了一些经验，在此分享一些这方面的心路历程。主要分享的大纲如下：困惑 • 描述 • 思考 • 行动流批一体的架构架构效果 Z...

698

阅读约28分钟

2020-09-23

复杂系统如何在不停机升级同时保持稳定？你必须考虑以下几个点...

作者：闲鱼技术-兰林背景在互联网行业，线上服务的升级更新可谓家常便饭。据统计，在过去的一个季度中闲鱼工程师们执行了千余次发布，总计更新的代码数量超过百万行。这些发布中，有一些可能只更新了几行代码，而有一些可能执行了整个集群的迁移升级。而无论这些变更的影响面有多大，我们都必须保证线上服务的可用性，用户无感知。本文将以闲鱼搜索服务的迁移升级为例，向大家介绍...

673

阅读约9分钟

2020-09-23

Serverless 架构下的服务优雅下线实践

应用发布、服务升级一直是一个让开发和运维同学既兴奋又担心的事情。兴奋的是有新功能上线，自己的产品可以对用户提供更多的能力和价值；担心的是上线的过程会不会出现意外情况影响业务的稳定性。确实，在应用发布和服务升级时，线上问题出现的可能性更高，本文我们将结合 Serverless 应用引擎（以下简称 SAE）就 Serverless 架构下，讨论如何保障上线过程...

714

阅读约9分钟

2020-09-23

多引擎集成挖掘湖上数据价值

数据湖已经逐步走到了精细化的管理，这意味着原始的计算引擎直接读写存储的方式应当逐步演变为使用标准方式读写数据湖存储。然而“标准方式”实际上并无业界标准，与具体的计算引擎深度绑定，因此，支持计算引擎的丰富程度也就成了衡量数据湖的一个准则。阿里云数据湖构建服务支持丰富的计算引擎对接，包括但不限于阿里云产品 E-MapReduce（EMR）、MaxCompute...

888

阅读约9分钟

2020-09-22

阿里宣布成立云原生技术委员会，释放哪些趋势信息？

作者 | 中国电子报记者李佳师在今年阿里的云栖大会上，除了吸引眼球的云电脑“无影”、机器人“小蛮驴”之外，另外一个值得关注的事情是，阿里成立了云原生技术委员会，全面推动阿里经济体的云原生化。中国工程院院士王坚说，此举将“让阿里云与客户坐在同一架飞机上。”王坚为什么这样说？此举又将对未来的云计算带来哪些影响？这其中有哪些趋势信息需要关注？云原生到了爆发的元...

1018

阅读约12分钟

2020-09-22

从渲染原理出发探究Flutter内存泄漏（超详细）

作者：闲鱼技术-萧湘背景众所周知，内存的高低是评判一款app的性能优劣的重要的指标之一。作为开发者而言，都会尽可能的减少内存的使用，清除无用的内存块，从而减少整个app的内存使用量。这也是历来开发者是追求的目标。然而，开发者难免时常因为语言用法或者写法的缘故，导致该释放而未释放的对象迟迟未释放，从而内存泄漏，消耗殆尽内存空间，从而导致系统崩溃的情况。如...

826

阅读约14分钟

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

文章列表

SpringCloud 应用在 Kubernetes 上的最佳实践 —— 高可用（弹性伸缩）

Sentinel-Go 集成 Nacos 实现外部动态数据源

搜索引擎新架构：与SQL不得不说的故事

基于 Flink + Hive 构建流批一体准实时数仓

【数据湖开发治理篇】——数据湖开发治理平台DataWorks

Serverless Spark的弹性利器 - EMR Shuffle Service

看动画学算法之:排序-基数排序

运维大杀器来了，未来云上服务器或将实现无人值守

云原生计算引擎挑战与解决方案

数据湖构建服务搭配Delta Lake玩转CDC实时入湖

阿里巴巴电商搜索推荐实时数仓演进之路

多数据源一站式入湖

SpringCloud 应用在 Kubernetes 上的最佳实践 — 高可用（容量评估）

【转载】MaxCompute full outer join改写left anti join实践

PyFlink + 区块链？揭秘行业领头企业 BTC.com 如何实现实时计算

复杂系统如何在不停机升级同时保持稳定？你必须考虑以下几个点...

Serverless 架构下的服务优雅下线实践

多引擎集成挖掘湖上数据价值

阿里宣布成立云原生技术委员会，释放哪些趋势信息？

从渲染原理出发探究Flutter内存泄漏（超详细）

资源下载

Mario

腾讯云软件源

Spring

Sublime Text

欢迎您来访！