百度外卖分享的Greenplum技术点

2017-08-23 563

百度外卖的同仁主要分享了他们自己的运维平台，知识点都在平台上，下面记录的比较零散，有需要的小伙伴可以留言跟我要PPT～

GPDB在百度外卖的实践

物理架构：

总共60个节点
单个节点1T多的数据
总空间100T左右
目前已经使用80T左右

选型：

前期使用Hadoop平台，上面计算用Impala，使用过程中，发现Impala无法满足业务场景下，数据查询快速返回，经过选型，选择了Greenplum。

监控平台实践：

分布键监控策略 - 分布键是否经常用于join；分布键数据分布是否均匀
角色资源分配 - 根据角色重要性分配资源，对于资源要求高的情况，动态的调整资源
锁 - 根据Greenplum的锁机制，实现了操作影响范围提示功能，当操作一个SQL时，提示可能导致的锁影响范围

技术点

有时候一些满查询，从Master杀掉后，在segment依然可以看到，也就是说杀不干净，这时候可以使用ps -ax查询到相关进程并杀掉

Ends～

微信关注我们

原文链接：https://yq.aliyun.com/articles/178056

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

TalkingData公司在Greenplum上的应用实践

2017年8月23日的Greenplum技术研讨会，TalkingData架构师Max分享了该公司在Greenplum上的一些使用心得，分享给大家～～一、TalkingData公司简介一家提供手机端数据分析的厂家。通过手机端SDK 嵌入，手机用户操作数据，进行分析。主要产品： AppAnalytic、GameAnalytic、Ad Tracking 营销云 - Smart Marketing Cloud 二、Data ATM 1. 系统简介： Data ATM是第一部分所介绍产品的后台支撑平台，主要是用的架构是Greenplum，功能如下：人群定位与分析平台基于多个数据源的不同条件，找出特定人群对特定人群进行分析画像为前端数据应用提供数据支撑 2. 业务架构 3. 流程图 4. 技术架构业务架构通过任务执行器进行任务解析，根据不同的技术栈对应解析到不同的网关（Greenplum网关、Spark网关、ETL）。任务解析器会将任务解析成SQL分配给Greenplum执行，目前平台95%的数据源分析工作都是交给Greenplum执行的；另外Spark的任务是通...

2017-08-24

651

2014年4月10日-12日，第五届中国数据库技术大会在北京五洲皇冠国际酒店隆重举行。本届大会的主题为“大数据技术探索与价值发现”，参会规模达到1,800人。与往届不同，本届大会前两天的日程围绕传统数据库和大数据两条技术主线展开，第三天的日程围绕大数据的价值探索展开。今年是中国数据库技术大会五周年，大会继续秉承分享IT最佳应用实践的宗旨，结合传统与创新，为与会者传递数据库、大数据相关的技术和实践。本届大会云集国内水平最高的数据库架构师、数据库管理和运维工程师、数据库开发工程师、研发总监和IT经理等技术人群，邀请近百位顶级技术专家和行业领袖分享数据库与大数据技术的最新动态，及其在行业领域里的应用部署和管理经验。 ▲第五届中国数据库技术大会主会场阿里巴巴高级研究员阳振坤、微软大中华区副总裁兼市场战略部总经理谢恩伟、中国移动研究院云计算系统部总经理助理钱岭、艾瑞咨询集团技术副总裁郝欣诚、达梦副总经理周淳、南大通用CTO武新、当当网技术副总裁傅强、神舟通用公司技术总监冯柯、京东系统技术部负责人、云平台首席架构师刘海锋、SAP中国数据库和技术平台部售前总监宋一平、网易杭州研究院技术经理姜承...

2017-08-24

489

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

百度外卖分享的Greenplum技术点

GPDB在百度外卖的实践

物理架构：

选型：

监控平台实践：

技术点

TalkingData公司在Greenplum上的应用实践

数据库技大会五周年技术领袖共聚DTCC

相关文章

发表评论

资源下载

优质分享App

腾讯云软件源

Nacos

Spring

欢迎您来访！

百度外卖分享的Greenplum技术点

GPDB在百度外卖的实践

物理架构：

选型：

监控平台实践：

技术点

TalkingData公司在Greenplum上的应用实践

数据库技大会五周年 技术领袖共聚DTCC

相关文章

发表评论

资源下载

优质分享App

腾讯云软件源

Nacos

Spring

欢迎您来访！

数据库技大会五周年技术领袖共聚DTCC