DCache 分布式存储系统|安装部署与应用创建
随着微服务与云的发展,分布式架构的需求变得越来越普遍,Web 上的数据类型不再单一,数据量呈爆发式增长。传统的 SQL 结构化存储方案已经跟不上脚步, NoSQL 便出现了。DCache 作为基于 TARS 的分布式 NoSQL 缓存系统,完美支持 TARS 服务,能够方便地在 TARS 服务中使用,本系列文章将着重介绍 DCache 的安装与使用。那么如何拥有这套系统呢?本文将对 DCache 的安装和应用创建方式进行介绍。
简介
SQL 与 NoSQL
DCache
安装 DCache
环境依赖
编译构建
部署
创建 DCache 应用
总结
随着移动互联网和云的发展,用户量不断增长,业务访问量与日俱增,光靠资源的扩容已经无法解决所有的问题。特别是像电商平台、音视频点播等,存在大规模的数据访问,对查询效率要求很高,传统的数据库磁盘 IO 已经很难满足。
为了解决这一问题,NoSQL 数据库诞生了,它通过将数据缓存到内存中,使用时直接从内存中调用,大大减少磁盘 IO 的开销,提升查询效率,与分布式结合还能够实现海量数据的处理。这个NoSQL,具体 No 在哪呢?
SQL 与 NoSQL
SQL 是指数据库的结构化查询语言,它是数据库的操作命令集,传统的关系型数据库都使用标准的 SQL 语句操作处理数据。
NoSQL 是指一类数据库,主要用于高性能处理超海量数据,它的一大特点是数据结构简单,以 key-value
为主,数据之间非关联,容易做水平扩展。
从字面上看,NoSQL 似乎是与 SQL 对立的,做 NoSQL 似乎就意味着放弃 SQL,然而实际上 NoSQL 本意是 Not Only SQL,它不仅仅是 SQL,那么也就可以包含 SQL 的能力。
DCache
DCache 是一个基于 TARS 框架开发的分布式 NoSQL 存储系统,数据采用内存存储,同时支持连接后端 DB 实现数据持久化,结合了 NoSQL 和 SQL 的优势,具备以下特点
高性能存储引擎,支持
key-value
(键值对),k-k-row
(多键值),list
(列表),set
(集合),zset
(有序集合)等多种数据结构;采用集群模式,实现高扩展性和高可用性,支持异地镜像,就近接入;
支持通过 TARS 名字服务访问,支持同步、异步、单向 RPC 调用方式;
高效运维平台,在线完成服务部署、扩缩容、迁移,以及服务配置,服务调用质量监控;
业务无须和直接和 MySQL 交互, DCache 会自动缓写 DB。
更多关于 DCache 的信息,可以查看DCache的GitHub仓库(文末附链接)。
那么接下来,我们来看看如何在 TARS 上安装部署 DCache。
环境依赖
编译构建
git clone https://github.com/Tencent/DCache.git
接着进入 DCache 目录,执行以下命令进行编译构建
mkdir build
cd build
cmake ..
make
make release
make tar
执行完之后即可生成 DCache 中各服务的发布包。
部署
生成发布包后,接下来就是将 DCache 部署在 TARS 中了。这一步,我们直接使用 DCache 中的自动部署脚本就可以了。
我们只需要进入前面编译构建项目的 build
目录,填写参数,执行安装脚本即可
cd build
../deploy/install.sh $TARS_MYSQL_IP $TARS_MYSQL_PORT $TARS_MYSQL_USER $TARS_MYSQL_PASSWORD $DCACHE_MYSQL_IP $DCACHE_MYSQL_PORT $DCACHE_MYSQL_USER $DCACHE_MYSQL_PASSWORD $CREATE $WEB_HOST $WEB_TOKEN $NODE_IP
各参数释义如下
TARS_MYSQL_IP
: TARS 数据库的 IP;TARS_MYSQL_PORT
: TARS 数据库的端口;TARS_MYSQL_USER
: TARS 数据库的用户名;TARS_MYSQL_PASSWORD
: TARS 数据库的密码;DCACHE_MYSQL_IP
: DCache 数据库的 IP;DCACHE_MYSQL_PORT
: DCache 数据库的端口;DCACHE_MYSQL_USER
: DCache 数据库的用户名;DCACHE_MYSQL_PASSWORD
: DCache 数据库的密码;CREATE
: 是否重新创建 DCache 的数据库,为true
则重新创建;如果已经创建,例如需要升级原有 DCache,可以设置为false
,避免重新创建;WEB_HOST
: TarsWeb 平台地址;WEB_TOKEN
: TarsWeb 平台 Token (需要进入web平台, 用户中心上, 创建一个 Token);NODE_IP
: 公共服务部署节点 IP, 部署完成后, 你可以在 TarsWeb 平台扩容到多台节点机上。
例如
../deploy/install.sh 192.168.1.1233306 tarsAdmin Tars@2019192.168.1.1243306 root 123456192.168.1.123:3000 abcdefg1randomtoken12345 192.168.1.123
TARS 与 DCache 的数据库可以相同,但如果在正式环境中使用,建议分开使用,为 DCache 建立独立的数据库。
执行完成后,DCache 即安装完成,如下图
安装完 DCache,我们就可以来创建第一个 DCache 应用了。
首先我们需要先添加一个地区,用于标识我们创建的 DCache 应用。点击顶部的 服务创建
,点击下方 Tab 栏中的 地区
,点击 新增地区
,填写地区和标签,例如 深圳
,标签 sz
,如下
创建完成后,点击 Tab 栏中的 创建应用
,填写应用名,并选择一个 IDC 地区,点击 创建应用
。比如我们创建一个 TestDemo
应用,地区选择 深圳
,如下
在 Router配置信息
中,选择 服务IP
,并填写 MySQL 实例信息;Proxy配置信息
中,选择代理服务的 服务IP
,点击 创建 router、proxy 服务
完成应用创建。
最后,点击 安装发布
,即可发布应用
发布完成后,回到 服务管理
,刷新即可看到刚刚创建的 DCache 应用 TestDemo
本文简要介绍了 DCache 的特性,并详细说明了如何安装 DCache 并创建一个 DCache 应用,帮助开发者快速部署、上手 DCache。关于 DCache 服务模块的创建和使用,将在后续系列文章中进行介绍,尽请期待。
TARS 可以在考虑到易用性和高性能的同时快速构建系统并自动生成代码,帮助开发人员和企业以微服务的方式快速构建自己稳定可靠的分布式应用,从而令开发人员只关注业务逻辑,提高运营效率。多语言、敏捷研发、高可用和高效运营的特性使 TARS 成为企业级产品。
附文中链接:
DCache的GitHub仓库:
https://github.com/Tencent/DCache
TARS 框架部署文档:
https://tarscloud.github.io/TarsDocs/SUMMARY.html#deploy
点“在看”让TARS小姐姐变好看
本文分享自微信公众号 - TARS星球(TarsCloud)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
-
上一篇
为什么现在是 "开放式创新 "的时代?
原文:Why Now Is the Time for “Open Innovation” 作者:Linus Dahlander,Martin Wallin,编译:御坂弟弟 在 Covid-19 危机最初几个月的阴霾和厄运中,一些令人惊讶而又振奋的事情开始发生:公司开始以前所未有的水平公开合作,把创造价值的能力放在赚钱的机会之前。例如,德国跨国公司 Siemens 向任何在医疗器械设计方面需要帮助的人开放了其附加制造网络。重型卡车制造商 Scania 和卡罗林斯卡大学医院也结成了合作伙伴:Scania 不仅将拖车改装成移动测试站,还指导大约 20 名高技能采购和物流专家定位、采购个人防护设备,并将其交付给卫生保健工作者。类似地,Ford(福特)正在与 United Auto Workers(美国汽车工人联合会)、GE Healthcare(通用电气医疗集团)和 3M 合作,利用 F-150 座椅风扇、便携式电池组和 3D 打印部件在密歇根州制造通风机。 合作显然可以拯救人类的生命,但它也可以为公司带来巨大的利益——尽管在正常情况下常常被忽视。十多年来,我们一直在研究开放式创新,...
-
下一篇
2021年 Istio 大型“入坑”指南
【百度云原生导读】2021年伊始,如果你打算在生产环境中落地 Service Mesh,那么 Istio 必定在你的考虑范围之内。作为目前最流行的 Service Mesh 技术之一,Istio 拥有活跃的社区和众多的落地案例。但如果你想在生产环境大规模落地 Isito,这看似壮观美好的冰山下,却是暗流涌动,潜藏着无数凶险。 本文是笔者深度参与百度百亿量级流量生产环境研发和落地 Istio 两年来的经验总结和一些思考,旨在让正在考虑在自己生产环境引入 Isito 的读者能有所参考和启发,做好更充足的储备,更轻松的“入坑” Istio。 1、使用 Istio 无法做到完全对应用透明 服务通信和治理相关的功能迁移到 Sidecar 进程中之后, 应用中的 SDK 通常需要作出一些对应的改变。 SDK 需要关闭一些功能,例如重试。一个典型的场景是,SDK 重试 m 次,Sidecar 重试 n 次,这会导致 m * n 的重试风暴,从而引发风险。 此外,诸如 trace header 的透传,也需要 SDK 进行升级改造。如果你的 SDK 中还有其它特殊逻辑和功能,这些可能都需要小心...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- SpringBoot2初体验,简单认识spring boot2并且搭建基础工程
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- MySQL8.0.19开启GTID主从同步CentOS8
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装