今日头条在消息服务平台和容灾体系建设方面的实践与思考-低调大师

今日头条在消息服务平台和容灾体系建设方面的实践与思考

2019-11-03 771

本篇文章整理自今日头条的沈辉在 RocketMQ 开发者沙龙中的演讲，主要和大家分享一下，RocketMQ 在微服务架构下的实践和容灾体系建设。沈辉是今日头条的架构师，主要负责 RocketMQ 在头条的落地以及架构设计，参与消息系统的时间大概一年左右。

以下是本次分享的议题：

头条的业务背景
为什么选择 RocketMQ
RocketMQ 在头条的落地实践
头条的容灾系统建设

业务背景

今日头条的服务大量使用微服务，容器数目巨大，业务线繁多， Topic 的数量也非常多。另外，使用的语言比较繁杂，包括 Python，Go, C++, Java, JS 等，对于基础组件的接入，维护 SDK 的成本很高。

引入 RocketMQ 之前采用的消息队列是 NSQ 和 kafka ， NSQ 是纯内存的消息队列，缺少消息的持久性，不落盘直接写到 Go

微信关注我们

原文链接：https://yq.aliyun.com/articles/725380

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

微服务架构案例(03)：数据库选型简介，业务数据规划设计

本文源码：GitHub·点这里 || GitEE·点这里更新进度(共6节)： 01：项目技术选型简介，架构图解说明02：业务架构设计，系统分层管理03：数据库选型，业务数据设计规划一、数据库选择 1、数据库分类数据库类型常见数据库关系型 MySQL、Oracle、DB2、SQLServer等。非关系型 Hbase、Redis、MongodDB等。行式存储 MySQL、Oracle、DB2、SQLServer等。列式存储 Hbase、ClickHouse等。分布式存储 Cassandra、Hbase、MongodDB等。键值存储 Memcached、Redis、MemcacheDB等。图形存储 Neo4J、TigerGraph等。文档存储 MongoDB、CouchDB等。 2、数据库选择基于特定的应用环境，选择最适合的数据库，建立数据存储模式，使之能够有效地存储数据，满足各种用户的应用需求。例如：普通的业务库，数据量不大情况下选择MySQL;有频繁的搜索操作，可以使用ElasticSearch;系统存在大量热点数据，可以使用常见的缓存数据库等。 3、微服务数据...

2019-11-02

569

问题最近公司很多数据库在上云，也有一部分在下云。这期间出现了很多问题，其中一个比较恶心的问题就是“孤立用户”。当数据库备份还原以后用以前的用户发现不能登录。一开始以为是登录账号没有创建，然后重新创建登录账号，然后再授权给数据库，此时又出错，说用户已经存在。我这才引起注意，开始搜索这个资料，原来这就是因为臭名昭著的孤立用户引起的。什么是孤立的SQL用户? 那么孤立用户又是什么东西？一个孤立用户就是一个数据库用户，同时没有SQL Server的登录权限。在实际生产中有很多产生孤立用户的原因，最为主要的方式就是备份还原到不同的服务器实例时。还原数据库的时候回将数据库和用户一同还原到新的数据库上，但是服务器的登录账户却没有一同还原（也不需要这么做）。如果数据库相同服务器那么皆大欢喜，因为用户没有变。如果是不同服务器，此时登录账户中没有了数据库用的名称，即使你创建了相同的名称但是他们的ID也是不同的导致他们不能关联起来。此时就导致了数据库的用户被孤立，也不能访问。此时我们需要做的就是找出孤立用户修改或者删除重建。下图中是外国网友列出可能的产生孤立用户的原因（很详细）：查找数据库中的孤立...

2019-11-04

484

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Oracle

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

JDK

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。