博客数据库要连接Elasticsearch，使用MySQL还是MongoDB更合理

2021-03-01 522

若进行博客等文本类数据的读写以及搜索引擎连接的解决方案对比，这就包括了搜索引擎数据同步，文章属性、文章内容、文章内图片以及图片属性的存储和查询，可以肯定的下结论：MongoDB的解决方案中要远远好于MySQL的解决方案。

一、从开发工序角度

MySQL的文章读写方式

**方式一：**文章标题、作者、标签、时间和内容存关系表，图片存OSS，地址存关系表

上述方式因为OSS和MySQL没有事务关系，因此需要编辑文章过程中存储图片和存储草稿都是分开设计，后台写入是分开执行，查询过程更适合前端异步获取图片，另外OSS需要额外的访问授权。

最最关键的问题是OSS收费！

**方式2：**文章标题、作者、标签、时间和内容存关系表，图片存本地，地址存关系表，Nginx作为图片查询代理

上图中实线为写入过程，虚线为查询过程。写入本地文件的过程依然无法保证事务，因此仍需要后台分开执行，查询过程Nginx的业务授权非常麻烦，需要引入Openresty和授权服务器的对接，而且文件的存储存在文件数超过操作系统最大限制的可能，图片缺乏可靠性备份机制。

唯一的好处就是图片存储本地不用额外付费。

我们再看看MongoDB文章读写方式

如上图方式一：整存整取，MongoDB可以将文章标题、作者、标签、时间和内容，图片存在一个集合中，那么图片为BSON格式，形成整存整取，若文章+图片的完整文档不超过16M，是BSON比较合适。若文档因为图过大，超过16M，就使用方式二，使用MongoDB提供的GridFS插件存取。

**方式一：**从开发工序上最简单，但不适合太大图片，导致文档整体超过16M。

**方式二：**相当于需要访问不同的MongoDB数据库，从代码复杂度上就要更高，而且一致性控制不如方式一好。

其他优势：这两种方式都可以得到MongoDB的统一访问控制保护。这两种方式都使图片通过副本集实现可靠性备份。

但最最关键的是没有MySQL变扭的超出技术范围的架构考虑，到底用OSS要收费，还是用Http代理的免费模式，容忍可靠性、复杂性及安全性问题超级大的情况。

二、从性能角度看

1、文章插入性能

从目前MongoDB4实测情况看，给定时间段内数据写入量级越大，MongoDB的完成时间就比MySQL的完成时间越短。因此博客网站平台或者博客爬虫系统，写入的数据量特别大的情况下，MongoDB可以提供更优越的负载能力。

2、伸缩性

MongoDB和MySQL都可以进行数据库级的内存缓存，但是MongoDB可以将文档最大可能的缓存在内存中，得到最优的性能表现。若内存不够的情况出现就会溢出到磁盘中，那么性能就会减弱，这个时候可以通过水平分区实现，更好的内存表现。

MySQL的分片必须通过自研或引入第三方的分片应用实现手动分片，即一张数据表迁移到不同MySQL库中，按照数据记录进行分表，最终达到分片应用对多库实现负载均衡的目的，这种方式的缺点就是实现分片的过程非常复杂和麻烦。

MongoDB的分片属于其核心架构之一，也是NoSQL天然所擅长的能力，因此MongoDB可以在用户不干预的情况下实现集合分片，这比MySQL的手动分片不知道要轻松多少。

上图中Mongos路由器作为接口，连接整个集群，将所有的读写请求指引到合适的分片上，配置服务器持久化分片集群的元数据，以及数据在分片之间进行迁移的历史信息，而且配置服务器本身也是高可靠的。

三、与Elasticsearch连接角度看

MySQL连接Elasticsearch

一种方式可以通过CDC（数据变更捕获）工具抓取binglog到Kafka，再由Kafka管道输出到Elasticsearch

另一种方式通过JDBC“轮询”数据库，再推送Elasticsearch

第一种方式在引入CDC抓取工具，例如debezium后，会让整个流程非常复杂，经历的环节过多，仍要控制好Kafka的按键分区和折叠模式，数据管道也要解决关系结构向文档结构的ETL过程。

当然方式一也可以不用Kafka，直接走Logstash管道的过滤通道，但是第三方CDC抓取工具就要再考虑一层与Logstash的对接过程。

第二种方式虽然简单，不过JDBC轮询对MySQL有不小的影响，而且业务表需要提供变化日志表，再有Logstash等清洗程序再做ETL合并同步，这个过程也不容易。

我们再看MongoDB连接Elasticsearch

通过mongo-connector可以轻松实现MongoDB到Elasticsearch的数据实时同步

mongo-connector通过监听Oplog，非常类似MySQL CDC工具对binglog的监听，实时对数据进行采集并直接同步到Elasticsearch中，因为MongoDB和Elasticsearch都是无模式的文档型数据库，因此ETL过程可以由mongo-connector工具实现MongoDB集合向ES索引的无缝写入，会省去ETL过程很大的麻烦。

四、总结

从上面的架构描述上，其实已经强有力地论证了MongoDB无论作为存储文档型的博客文章也好，还是与其他专有搜索引擎同步也好，相对于MySQL，是更好的解决方案。

公众号“读字节” 分布式，大数据，软件架构的深度，专业解读

[前往读字节的知乎——了解更多关于大数据的知识(https://www.zhihu.com/people/fangshun/answers])

微信关注我们

原文链接：https://my.oschina.net/daemonstone/blog/4965813

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

论“GPL 就是给软件开发者们准备的坑”

作者：卫剑钒在百度里面搜“斯托曼 GPL”，第一条就是“GPL协议大剖析—GPL就是给软件开发者们准备的坑”（ http://www.stallman.cn/38 ），这是一篇猛烈抨击GPL和斯托曼的文章，该网站名为“斯托曼与GNU运动评论”，域名居然是stallman.cn，这可真是太有趣了，略扫一眼，便极大地激发了我的辩论欲。该网站明目张胆声称：“理查德·马修·斯托曼(RMS)，自由软件运动(GNU)发起人、自由软件基金会(FSF)前主席、与知识产权为敌的斗士、XX派、对XXX、XXX等XXXXX也要送温暖的极端左翼分子，被人尊称为顶级黑客、精神领袖，不过是明日黄花。开办此站的目的是正本清源、破除对RMS的迷信、揭露GNU运动的本质、最大程度地清除GNU带毒意识形态。” 这种文风的话语，给我就一个感觉：太嚣张了。必须得怼回去！文章没有直接标明作者，但看了一下网站页面底部，作者应该是一个叫“小衲”的人(他似乎还有个网站叫linux.zone)。小衲在该文中，以标注的形式，对GPLv3全文进行大肆抨击，选用的翻译版本是阮坤良版1。 GPL本身比较难懂，虽然阮版已经翻译的很不...

2021-03-02

504

分布式系统主要包含的内容很多，我就针对两个核心方面做一下解读：分布式应用服务和对象远程调用、数据的分布式存储。先说说分布式应用服务以及对象远程调用的元老之一： EJB/RMI（Enterprise Java Beans/Remote Method Invocation）吧！分布式应用和对象远程调用那个时候的Java工程师，对于EJB的大名如雷贯耳，曾经EJB VS Spring大战（Spring With Not EJB）让程序员们的论战激情兴奋。其实争论的主题就是需不需要组件间实现分布式调用，并在分布式网络环境保持住组件状态，到底什么是分布式环境的组件状态呢？所谓分布式服务组件的无状态 VS 有状态简单点说，有状态就是后端服务组件让远程调用过程看起来更像本地化调用，客户端不用考虑过多组件状态hold的问题，这样更容易设计出纯粹的面向对象化组件。而无状态反过来，后端服务组件专注于接收客户端请求并处理问题，给予客户端回应就够了，不要hold住状态徒增烦恼，状态保持的事情让客户端自己解决。例如：购物车就是个例子，无状态的购物车，服务组件是让客户端通过cookie解决购物清单问题；有...

2021-03-01

469

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。