函数计算对文件进行压缩和解压缩使用总结
前言
函数计算具有弹性伸缩的能力,可以给用户带来免运维和毫秒级扩容的计算能力。 但是它也存在一些限制, 比如一个执行环境最大内存只有3G, 本文旨在进行总结一些函数计算在文件压缩和解压缩的一些实践案例, 希望能给大家抛砖引玉,引出更好的实践案例。
利用函数计算对 OSS 文件做自动解压处理
利用函数计算对oss压缩文件做自动解压处理
支持 .gz .tar .zip 以及 .rar, 但是没有摆脱内存限制
函数计算实现 oss 上传超大 zip 压缩文件的自动解压处理
流式处理, 目前只支持 .zip
利用函数计算对 OSS 文件进行压缩处理
使用函数计算来打包下载OSS文件
流式处理, 目前支持压缩成成 .zip
利用函数计算来打包 ECS 上的超大文件
流式处理, 支持.gz
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
利用函数计算流式 gz 打包 ECS 上的单个 超大文件
背景 在某些业务场景下,生成超大的日志文件或者其他文件, 这些文件需要及时移出并 gz 压缩保存到 OSS,但是压缩文件可能会大于 3G 超出函数计算执行环境的最大内存限制, 本文提供流式解决这个问题的方案 函数计算配置VPC, 内网打通ecs OSS 和 函数计算在相同 region, 内网传输 示例代码 依赖使用第三方库 paramiko, 但是默认的库在传输大文件上有传输速率限制, 需要做如下改造, 同时构造 paramiko.SFTPClient 的时候需要设置好 window_size 和 max_packet_size 这两个参数 import paramiko import gzip import oss2 import logging import os import time logging.getLogger("oss2
- 下一篇
云主机远程协同运维利器,好用的远程协同会诊平台推荐
我们在日常运维过程中,难免会遇到一些自己无法独立解决的问题,尤其是在遇到突发故障时,我们就会寻求协助,借助他人的力量共同解决问题,而多人共同解决问题最好的方式无疑是大家面对同一个场景,协同操作,进行问题分析,因此我们会经常使用到远程协同软件或平台,但是我们在使用市面上各类协同软件或平台的过程中总是会遇到以下一些问题: 协同参与者需要安装协同软件; 要求协同参与者同时在线; 协同过程无授权体系支撑,导致协同操作不安全、不可控; 协同过程无日志记录,无法事后回溯。 那么一个好的协同会诊平台需要具备哪些功能呢? 一键协同:无需安装软件,只需一个分享链接,协作多方即可通过该URL进入到同一会话界面,进行协同会诊; 操作权限可切换:会话操作控制权可以在参与会话的用户之间进行方便的切换; 运维操作受控:系统管理员及会话发起者拥有会话的最高权限,可全程监控会话,一旦发现会话存在危险或违规操作,可随时剥夺操作者的操作权限,甚至将其踢出会话; 会话过程可审:会话的整个过程,包括参与会诊的协同者的所有操作,都将有日志记录与云端录像,可供事后回溯追责,并可形成知识积累。 至于市面上好用的远程协同会诊平台有哪...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
-
Docker使用Oracle官方镜像安装(12C,18C,19C)
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS8编译安装MySQL8.0.19
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS7,8上快速安装Gitea,搭建Git服务器
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
推荐阅读
最新文章
- Linux系统CentOS6、CentOS7手动修改IP地址
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- CentOS6,CentOS7官方镜像安装Oracle11G
- SpringBoot2整合Redis,开启缓存,提高访问速度
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- Hadoop3单机部署,实现最简伪集群