TiDb和MaxCompute同步数据
一、环境准备
- 保证TiDb集群外网可以访问
- DataWorks
二、TiDb同步数据到MaxCompute上
1、允许TiDb远程连接
- 登录到TiDb执行授权语句
grant all privileges on *.* to 'user'@'%' identified by 'password' with grant option; FLUSH PRIVILEGES;
2、添加测试数据
3、创建结果表
- 登录到DataWorks界面新建数据流程
- 创建数据同步的结果表
4、添加数据源
- 选择MySQL数据源
- 选择连接串联模式
说明:jdbc url 填写TiDb对应的端口和ip
用户名和密码:TiDb允许远程用户连接的用户名和密码
- 点击测试连通性
5、数据集成
- 新建离线同步节点
输入新建节点的名称 - 选择刚才添加的TiDb数据源
- 点击数据预览,进行数据预览
- 点击运行按钮进行测试
- 查看结果,选择临时查询
执行sql语句
select * from tidb_user;
运行结果
三、MaxCompute同步数据到TiDb上
1首先在TiDb创建对应的结果表
2.新建离线同步节点
3.选择数据来源和数据去向
数据来源:odps
数据去向:mysql、选择步骤二中TiDb同步数据到MaxCompute上的数据源,选择刚创建的表(tidb_user)
3.点击运行查看结果
- 进入到TiDb查看结果
select * from tidb_user;
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
#IT明星不是梦#nginx+tomcat集群redis共享session方案实战案例
一、常见的session一致性方案 在web集群系统中,为了使web能适应大规模的访问,需要实现应用的集群部署. 而实现集群部署首先要解决session的统一,即需要实现session的一致性,目前,实现session一致性主要有两个方案,分别是session复制和session共享。 session复制,是指session信息会在集群节点之间复制,每个节点服务器上都会有相同的session信息。 这种方案的优点是即使一个节点服务器宕机了,只要还有服务器存活,session信息就不会丢失,也就不影响用户使用。而缺点是集群节点之间通信频繁,对应用的响应速度有影响,在高并发、高频操作的情况下性能下降会更厉害。 第二种方案是session共享,也就是将session信息保存在内存数据库中,然后多个节点都可以来访问内存中的session信息,最常见的就是基于Memcache/Redis等数据库的session共享。 tomcat自带集群中,提供了session复制功能,session信息会在各个tomcat中同步,session复制对网络要求较高,session内存的消耗对tomcat影响非常...
- 下一篇
在kali2019.4版本上安装w3af的那些事
0x01简介 w3af是一个基于python开发的Web应用程序攻击和审计框架。该项目的目标是创建一个框架,通过发现和利用所有web应用程序漏洞来帮助您保护web应用程序。 官方GitHub 0x02开工 第一步:由于框架是基于python开发的,所以我们首先要安装python的包管理工具——pip,和NPM包管理工具 apt-get install -y python-pip apt-get -y install npm libyaml-dev libsqlite3-dev 第二步:为了防止软件在安装lxml出现gcc编译错误,我们要补全python库。 apt-get install python-dev \ build-essential libssl-dev libffi-dev \ libxml2-dev libxslt1-dev zlib1g-dev \ python-pip 第三步:下载w3af。(由于一些GitHub的服务器在国外,容易下载失败,所以我直接使用码云的源下载)。 cd #官方建议部署到根目录 git clone ht...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS8安装Docker,最新的服务器搭配容器使用
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- CentOS7,8上快速安装Gitea,搭建Git服务器
- SpringBoot2全家桶,快速入门学习开发网站教程
- Docker安装Oracle12C,快速搭建Oracle学习环境
- CentOS8编译安装MySQL8.0.19
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS7安装Docker,走上虚拟化容器引擎之路