Python实现腾讯云CDB备份文件自动上传到COS
一、背景
- 需求:目前遇到的客户需求为将腾讯云CDB备份文件自动上传到腾讯云COS内,在此抛砖引玉,还有很多类似的需求均可以采用此类方法解决,线下IDC数据文件备份至云端COS内,或根据文件下载地址url将文件上传至COS内。
- 思路:首先获取到CDB的备份下载url,通过COS的API上传文件,大佬如有更好的方法欢迎一块讨论。
二、技术细节
- COS:COS有API同时有SDK,这就很方便我们来通过Python对COS进行各类操作,COS SDK for Python
-
CDB:CDB有API但是CDB的查询备份下载没有对应的SDK,此时只能通过API来进行获取,腾讯云API的签名很复杂,要进行:构造参数字典->对dict排序->拼接sign->对sign编码->拼接完成最终url->完成调用,签名方法,查询备份API
- requirements:
cos-python-sdk-v5==1.5.2 requests==2.19.1 tencentcloud-sdk-python==3.0.15 urllib3==1.23
- 文件目录结构
三、代码
3.1 配置文件
# auth:kaliarch # func:将腾讯云cdb备份文件上传至cos制定的bucket内 # python version:python3+ # cos version:v5 # https://console.cloud.tencent.com/cos5/bucket # 腾讯云公共信息配置段 [common] # 腾讯云 secretid secret_id = AKIDMdjegcmoGxxxxxxxxxxxxxxxxxxxx # 腾讯云 secretkey secret_key = d5MRL4VoxyvlQvxxxxxxxxxxxxxx # 腾讯云cos信息配置段 [cosinfo] # cos所在地域 cos_region = ap-chengdu # 腾讯云bucket名字(cos v5 bucket名称组成:bucket+appid) bucket_name = xuel-test-bucket-125396xxxx # 腾讯云cdb信息配置段 [cdbinfo] # cdb实例id cdb_instanceid = cdb-rqaxxxxx # cdb所在地域 cdb_region = ap-shanghai # cdb 日志备份类型,coldbackup(冷备),binlog(二进制日志)和slowlog_day(慢查询日志) cdb_bak_type = coldbackup # 日志文件信息配置段 [loginfo] #日志文件目录名称 logdir_name = rds_to_cos #日志文件名称 logfile_name = rdsbak_to_cos.log
3.2 CDB API核心操作代码
#构建字典 keydict = { 'Action': self.cdb_action, 'Timestamp': str(int(time.time())), 'Nonce': str(int(random.random() * 1000)), 'Region': self.cdb_region, 'SecretId': self.secret_id, # 'SignatureMethod': SignatureMethod, 'cdbInstanceId': self.cdb_instanceid, 'type': self.cdb_bak_type } #字典排序 sorted(zip(keydict.keys(), keydict.values())) #字符串拼接 sign_str_init = '' for value in sortlist: sign_str_init += value[0] + '=' + value[1] + '&' sign_str = 'GET' + self.cdb_api_url + sign_str_init[:-1] return sign_str, sign_str_init #获取签名串并编码 secretkey = self.secret_key signature = bytes(sign_str, encoding='utf-8') secretkey = bytes(secretkey, encoding='utf-8') my_sign = hmac.new(secretkey, signature, hashlib.sha1).digest() my_sign = base64.b64encode(my_sign) parse.quote(my_sign) #获取最终url result_url = 'https://' + self.cdb_api_url + sign_str + '&Signature=' + result_sign
单独运行此模块可以得到以下信息:
3.3 COS SDK核心操作代码
#根据文件大小自动选择简单上传或分块上传,分块上传具备断点续传功能 with open(filename, 'wb') as localfile: localfile.write(requests.request('get', url).content) # 进行上传 response = cos_client.upload_file( Bucket=self.bucket_name, LocalFilePath=filename, Key=filename, PartSize=partsize, MAXThread=maxthread ) # 删除本地文件 if os.path.exists(filename): os.remove(filename)
3.4 日志记录核心代码
#创建目录 def create_dir(self): _LOGDIR = os.path.join(os.path.dirname(__file__), self.logdir_name) _TIME = time.strftime('%Y-%m-%d', time.gmtime()) + '-' _LOGNAME = _TIME + self.logfile_name LOGFILENAME = os.path.join(_LOGDIR, _LOGNAME) if not os.path.exists(_LOGDIR): os.mkdir(_LOGDIR) return LOGFILENAME #定义日志文件 def create_logger(self, logfilename): logger = logging.getLogger() logger.setLevel(logging.INFO) handler = logging.FileHandler(logfilename) handler.setLevel(logging.INFO) formater = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s') handler.setFormatter(formater) logger.addHandler(handler) return logger
四、测试结果
获取CDB下载链接
完成上传查看COS文件
五、总结
- 优化:可以后期通过配合定时任务完成自动化任务
- 扩展:源端:不仅仅局限于CDB备份文件,对于随便下载url,均可以上传到COS内。终端:终端也不仅局限于腾讯云COS,此思路方法也可用于其他云平台如阿里OSS,亚马逊Amazon S3,百度云BOS 等。
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
C++反射机制:可变参数模板实现C++反射
1. 概要 本文描述一个通过C++可变参数模板实现C++反射机制的方法。该方法非常实用,在Nebula高性能网络框架中大量应用,实现了非常强大的动态加载动态创建功能。 C++11的新特性--可变模版参数(variadic templates)是C++11新增的最强大的特性之一,它对参数进行了高度泛化,它能表示0到任意个数、任意类型的参数。关于可变参数模板的原理和应用不是本文重点,不过通过本文中的例子也可充分了解可变参数模板是如何应用的。 熟悉Java或C#的同学应该都知道反射机制,很多有名的框架都用到了反射这种特性,简单的理解就是只根据类的名字(字符串)创建类的实例。 C++并没有直接从语言上提供反射机制给我们用,不过无所不能的C++可以通过一些trick来实现反射。Bwar也是在开发Nebula框架的时候需要用到反射机制,在网上参考了一些资料结合自己对C++11可变参数模板的理解实现了C++反射。 2. C++11之前的模拟反射机制实现 Nebula框架是一个高性能事件驱动通用网络框架,框架本身无任何业务逻辑实现,却为快速实现业务提供了强大的功能、统一的接口。业务逻辑...
- 下一篇
使用Python boto3上传Windows EC2实例中的文件至S3存储桶中
一、创建终端节点 为什么要创建终端节点,把VPC和S3管理起来呢?如果不将VPC和S3通过终端节点管理起来,那么VPC中EC2实例访问S3存储桶是通过公共网络的;一旦关联起来,那么VPC中EC2实例访问S3存储桶走的就是内部网络。好处有两个:1. 走内部网络就不会产生流量费用;2. 走内部网络速度快,不会因为网络原因导致我们的Python脚本产生异常。 VPC->终端节点->创建终端节点->将VPC和S3关联->关联子网 二、在Windows中安装Python3编译器以及boto3库 1. 下载地址:https://www.python.org/ 2. 双击安装,默认安装路径“C:\Users\用户\AppData\Local\Programs\Python\Python36” 3. 配置环境变量 4. 安装boto3开发库(环境变量配好即可使用pip命令) 三、生成AWS IAM用户密钥并配置 1. IAM->用户->选择具有访问S3权限的用户->安全证书->创建访问安全密钥->下载密钥文件到本地 2. 在Windows实例...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS关闭SELinux安全模块
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- CentOS7安装Docker,走上虚拟化容器引擎之路
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- SpringBoot2整合Thymeleaf,官方推荐html解决方案
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- CentOS8编译安装MySQL8.0.19
- CentOS7,8上快速安装Gitea,搭建Git服务器
- Hadoop3单机部署,实现最简伪集群