开发必懂的文件加解密-低调大师

开发必懂的文件加解密

2021-08-18 638

背景

最近团队遇到一个小需求，存在两个系统 A、B，系统 A 支持用户在线制作皮肤包，制作后的皮肤包用户可以下载后，导入到另外的系统 B 上。皮肤包本身的其实就是一个 zip 压缩包，系统 B 接收到压缩包后，解压并做一些常规的校验，比如版本、内容合法性校验等，整体功能也比较简单。

但没想到啊，一帮测试人员对我们开发人员一顿输出，首先绕过系统 A 搞了几个视频文件，把后缀改成 zip 就直接想上传，系统 B 每次都是等到上传完后才发现文件不合法，系统 B 在文件没上传完前又无法解压，也不知道文件内容是不是合法的，就这么消耗了大量带宽、大量时间后才提示用户皮肤包有问题。

这里涉及了两个问题，我们来捋一捋：

文件如何做加密，这样用户便无法去逆向，压缩包内部的敏感信息不会泄露出去。
服务端在接收到信息流时，在未传输完时如何去判断压缩包的合法性，提前告知用户。

AES VS RSA

说到加密，自己很多人会想到对称算法 AES 以及非对称算法 RSA。这两种算法按字面意思也较好理解，对称加密技术说白一点就是加密跟解密使用的是同一个密钥，这种加密算法速度极快，安全级别高，加密前后的大小一致；非对称加密技术则有公钥PK、私钥SK，算法的原理在于寻找两个素数，让他们的乘积刚好等于一个约定的数字，非对称算法的安全性是依赖于大数的分解，这个目前没有理论支持可以快速破解，它的安全性完全依赖于这个密钥的长度，一般用 1024 位已经足够使用。但是它的速度相比对称算法慢得多，一般仅用于少量数据的加密，待加密的数据长度不能超过密钥的长度。

使用 AES 对文件加密

结合这两种加密方式的优缺点，我们采用 AES 对文件本身做加解密，使用 AES 的原因主要考虑如下：

加解密性能问题，AES 的速度极快，相比 RSA 有 1000 倍以上提升。
RSA 对源文有长度的要求，最大长度仅有密钥长度。

AES 的加密算法 Node.js 的crypto模块中已经有内置，具体的使用可以参考官方文档。

AES 加密逻辑

const crypto = require('crypto');
const algorithm = 'aes-256-gcm';

/**
 * 对一个buffer进行AES加密
 * @param {Buffer} buffer   待加密的内容
 * @param {String} key      密钥
 * @param {String} iv       初始向量
 * @return {{key: string, iv: string, tag: Buffer, context: Buffer}}
 */
function aesEncrypt (buffer, key, iv) {
    // 初始化加密算法
    const cipher = crypto.createCipheriv(algorithm, key, iv);
    let encrypted = cipher.update(buffer);
    let end = cipher.final();
    // 生成身份验证标签，用于验证密文的来源
    const tag = cipher.getAuthTag();
    return {
        key,
        iv,
        tag,
        buffer: buffer.concat([encrypted, end]);
    };
}
复制代码

AES 解密逻辑

解密整体跟加密一样，只是接口换个名字即可：

const crypto = require('crypto');
const algorithm = 'aes-256-gcm';

/**
 * 对一个buffer进行AES解密
 * @param {{key: string, iv: string, tag: Buffer, buffer: Buffer}} ret   待解密的内容
 * @param {String} key      密钥
 * @param {String} iv       初始向量
 * @return {Buffer}
 */
function aesDecrypt ({key, iv, tag, buffer}) {
    // 初始化解密算法
    const decipher = crypto.createDecipheriv(algorithm, key, iv);
    // 生成身份验证标签，用于验证密文的来源
    decipher.setAuthTag(tag);
    let decrypted = decipher.update(buffer);
    let end = decipher.final();
    return Buffer.concat([decrypted, end]);
}
复制代码

AES 具体使用

有了上述两个接口后，我们便可实现一个简单的对称加密了：

const key = 'abcdefghijklmnopqrstuvwxyz123456'; // 32 共享密钥，长度跟算法需要匹配上
const iv = 'abcdefghijklmnop';  // 16 初始向量，长度跟算法需要匹配上
let fileBuffer = Buffer.from('abc');

// 加密
let encrypted = aesEncrypt(fileBuffer, key, iv);

// 解密
let context = aesDecrypt(encrypted);
console.log(context.toString());
复制代码

一般情况下，这个密钥较为重要，如果发生泄露则加密失去意义，所以key、iv会使用随机数动态生成，比如：

const key = crypto.randomBytes(32);
const iv = crypto.randomBytes(16);
复制代码

通过上述的调整后，加解密文件是比较容易的，回到我们的业务系统上面，系统 A 生成的压缩包，最终是需要给系统 B 使用，两个系统是隔离的，那这样 key、iv 如何传输到系统 B 上面呢，况且还是动态生成的，生成出来 key 系统 B 是不知道的。

读到这聪明的你可能会想到，在把压缩包给到 B 的时候，顺便把 key、iv 一同提交过去不就可以了，但细想了下，这个肯定不能明文把这个密钥发送过去，要不这个加密意义何在。

这时便需要用上 RSA 非对称加密技术了。

使用 RSA 算法对密钥再次进行非对称加密

RSA 的加密算法 Node.js 的 crypto 模块中已经有内置，具体的使用可以参考官方文档。

生成 RSA 的公钥与私钥

使用 openssl 组件可以直接生成 RSA 的公钥私钥对，具体的命令可以参考：www.scottbrady91.com/OpenSSL/Cre…。

# 生成私钥
openssl genrsa -out private.pem 1024

# 提取公钥
openssl rsa -in private.pem -pubout -out public.pem
复制代码

这样生成出来的两个文件 private.pem、public.pem 就可以使用了，下面我们使用 Node.js 实现具体的加解密逻辑。

RSA 加密逻辑

const fs = require('fs');
const crypto = require('crypto');
const PK = fs.readFileSync('./public.pem', 'utf-8');

/**
 * 对一个buffer进行RSA加密
 * @param {Buffer} 待加密的内容
 * @return {Buffer}
 */
function rsaEncrypt (buffer) {
    return crypto.publicEncrypt(PK, buffer);
}
复制代码

RSA 解密逻辑

const fs = require('fs');
const crypto = require('crypto');
const SK = fs.readFileSync('./private.pem', 'utf-8');

/**
 * 对一个buffer进行RSA解密
 * @param {Buffer} 待解密的内容
 * @return {Buffer}
 */
function rsaDecrypt (buffer) {
    return crypto.privateDecrypt(SK, buffer);
}
复制代码

RSA 具体使用

有了上述接口后，便可对 AES 的密钥进行加密后再传输，服务器 B 保存好 RSA 私钥 ，服务器 A 则可以直接用 RSA 公钥 对数据加密后再发送，结合刚 AES 的逻辑后，如下：

/**
 * 加密文件
 * @param {Buffer} fileBuffer
 * @return {{file: Buffer, key: Buffer}}
 */
function encrypt (fileBuffer) {
    const key = crypto.randomBytes(32);
    const iv = crypto.randomBytes(16);
    const { tag, file } = aesEncrypt(fileBuffer, key, iv);
    return {
        file,
        key: rsaEncrypt(Buffer.concat([key, iv, tag]));     // 由于长度是固定的，直接连在一起即可
    };
}

/**
 * 解密文件
 * @param {{file: Buffer, key: Buffer}}
 * @return {Buffer}
 */
function decrypt ({file, key}) {
    const source = rsaDecrypt(key).toString();
    const k = source.slice(0, 32);
    const iv = source.slice(32, 48);
    const tag = source.slice(48);
    return aesDecrypt({
        key: k,
        iv,
        tag,
        buffer: file
    })
}
复制代码

这样结合在一起后，服务器 A 生成的压缩包，只要包含好 {file, key} 这两块内容，服务器 B 便可把文件解密出来了，这样基本上实现了我们第一点的目标：1. 文件如何做加密，这样用户便无法去逆向，压缩包内部的敏感信息不会泄露出去

但还遗留了另外一个问题需要解决：2. 服务端在接收到信息流时，在未传输完时如何去判断压缩包的合法性，提前告知用户

优化加密文件

按上面的加密方式，输出的结果是一个 buffer文件 内容，以及一个 加密过的key，除了这些信息外，一般这个 buffer文件 压缩包还会有一些额外的信息，比如：版本号、压缩包生成时间，描述信息等。这些信息按常规的方式，可能是分成几个文件，然后再打一个压缩包把文件放在一起，比如：

// zip file
- pkg
    manifest.json       // 额外的信息
    key.json            // 保存了加密过的密钥
    file.json           // 加密过的文件
复制代码

但如果用这种方式保存，一般情况下还要对这个 zip文件 做下加密，然后改下后缀名，但是服务器 B 在读取这个文件后仍然是需要全部接收，再解压到临时目录，读取内容后才可以做校验，这样问题仍然解决不了。

除此之外，还有另外一个常见的需求，产品一般希望在浏览器侧在文件上传时就先做初步的解析，把明显不合法的文件提示到用户，这样用户体验更好。

这个问题的解决方案也不难，这些所有额外的信息都是可以把它当成二进制插入到文件的头部上的，比如：

包字段描述：|----插入的额外信息----|----后面才是真正的文件内容----|  
二进制文件：010101010101010101010xxxxxxxxxxxxxxxxxxxxxxxxxxxx
复制代码

文件头字段设计

我们把这些所有信息，按一定的格式，使用二进制的方式全部串连在一起，最终交付的只有一个组合过的文件，比如：

// theme pkg.

0                8                16                 
|------flag------|--extra length--|
|----------extra data...----------|
|-------------data...-------------|
复制代码

flag：

固定标识 THEME，长度：8 byte，说明该压缩包为一个皮肤包，这样可以快速对压缩包进行识别

extra length：

extra data 的真实长度，这是一个 16 进制的数据，长度：8 byte，说明插入的数据长度。比如：长度 35 的数据，转化为 16 进制后为 0x23，那这字段为 00000023

extra data：

使用 RSA 加密过的数据，我们可以把上述需要用 RSA 加密的信息全部放在这里，比如 key 字段、版本号、描述信息等

data：

使用 AES 加密过的数据，可以通过 extra data 里面保存的 key 把真实的数据全部解密出来

生成的新的加密文件

有了上面的理论基础后，马上可以实践起来，代码如下：

/**
 * 加密文件
 * @param {Buffer} fileBuffer
 * @return {Buffer}
 */
function encrypt (fileBuffer) {
    const key = crypto.randomBytes(32);
    const iv = crypto.randomBytes(16);
    const version = 'v1.1';

    // 记录上所有额外的压缩外信息，比如版本号、原始的密钥
    const extraJSON = {
        version,
        key,
        iv
    }
    // 完成文件的AES加密，并输出身份验证标签
    const { tag, file } = aesEncrypt(fileBuffer, key, iv);
    extraJSON.tag = tag;

    // 对 extraJSON 整个进行RSA加密
    const extraData = rsaEncrypt(Buffer.from(JSON.stringify(extraJSON)));
    const extraLength = extraData.length;

    // 最终把所有数据合并在一起
    return Buffer.concat([
        Buffer.from('THEME'),
        Buffer.from(Buffer.from(extraLength.toString(16).padStart(8, '0'))),
        extraData,
        file
    ]);
}
复制代码

通过这种加密方式后，相关的信息都放在文件的头部上，我们可以不用对整个文件进行操作的时候，便可以轻松读取出来，对于解密其实就是一个反向的操作。

对新生成的文件进行解密

/**
 * 解密文件
 * @param {Buffer} fileBuffer
 * @return {Buffer}
 */
function decrypt (fileBuffer) {
    const type = fileBuffer.slice(0, 8);    // THEME
    const extraLength = +('0x' + fileBuffer.slice(8, 16).toString());
    const extraDataEndIndex = 16 + extraLength;

    // 对已经被RSA加密过的数据进行解密操作
    const extraData = rsaDecrypt(fileBuffer.slice(16, extraDataEndIndex));
    const extraJSON = JSON.parse(extraData);
    // 最终使用AES再对剩下文件进行解密操作，即为最终的文件
    return aesDecrypt({
        key: extraJSON.key,
        iv: extraJSON.iv,
        tag: extraJSON.tag,
        buffer: Buffer.slice(extraDataEndIndex)
    });
}
复制代码

使用这种方式处理后，在 RSA 解密出 extraData 的时候，就可以对整个文件进行各种校验，整个过程只要有异常说明文件已经被篡改，用这种方式比用压缩包会好很多，特别是文件体积庞大的时候，可以流式处理，发现不合理时即可马上阻止。

浏览器端如何解析该文件

由于现在整个文件格式都是二进制流，现代的浏览器都是有相应的能力去读取并做处理的，这样也可以在用户上传文件时先做一定的初步处理，体验会有比较大的提升

可以使用 DataView 的方式把二进制数据读取出来，详情可以参考：DataView，初步的实现如下：

/**
 * 把二进制流转成对应ascii字符
 * @param {DataView} dv         二进制数据库
 * @param {Number}   start      起始位置
 * @param {Number}   end        结束位置
 * @return {String}
 */
function buffer2Char (dv, start, end) {
    let ret = [];
    for (let i = start; i < end; i++) {
        let charCode = dv.getUint8(i);
        let code = String.fromCharCode(charCode);
        ret.push(code);
    }
    return ret.join('');
}

function test () {
    let fileDom = document.getElementById('file');
    let file = fileDom.files[0];
    let reader = new FileReader();
    reader.readAsArrayBuffer(file);
    reader.addEventListener("load", function(e) {
        let dv = new DataView(buffer);
        let flag = buffer2Char(dv, 0, 8);   // THEME
        var extraLength = +('0x' + buffer2Char(dv, 8, 16));
        var extraData = buffer2Char(dv, 16, extraLength);

        console.log(flag, extraLength, extraData);
    });
}
复制代码

当然用这种方式有一个前提是需要把一部分非敏感的信息放出来，不要加密，这样便可以实现在浏览器端也对文件进行读取。只需要前后端的格式约定做好，都可以采用这种方式对压缩包进行一定的初步校验，当然后端的校验仍然是需要做好的。

至此，我们完成了对文件的加密、解密以及浏览器解析等操作，希望对你们有帮助

结语

文件的加密、解密在后端其实是一个很常规的操作，除了上面聊到的 AES、RSA，其实还有其它很多加密方案，具体可以看看 Node.js crypto 模块，已经有内置比较多的方案可以直接使用。

当然文件的加解密，也可以直接用 zip、7z 等这些压缩工具，再配合密码的方案，一般情况也是够用的，但是免不了有定制化的需求，一般也都是结合使用，比如上面的 fileBuffer 实际内部就是先用这些工具对文件进行了压缩并加密。还是以场景为重，多种方案结合效果更好。

文件加解密的就讲到这里吧，还有什么其它问题的可以在评论区讨论，谢谢。

开源项目: http://github.crmeb.net/u/defu 原文链接：https://ym.baisou.ltd/post/853.html

微信关注我们

原文链接：https://my.oschina.net/u/5079097/blog/5190106

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

国内 RISC-V 开源芯片企业赛昉科技完成 A+ 轮融资，累积融资金额超 10 亿元

近日，国内 RISC-V 开源芯片企业赛昉科技有限公司（简称“赛昉科技”）宣布完成 A+ 轮融资，本轮融资由深圳市国科瑞华三期股权投资基金合伙企业（简称国科瑞华）和中国互联网投资基金（简称中网投）联合领投。赛昉科技经过种子轮、A 轮、A+ 轮融资，累积融资金额超过 10 亿元人民币。除 A+ 轮领投企业之外，其他投资方有全国政协常委、恒基兆业地产有限公司主席、香港中华煤气有限公司主席李家杰博士，成为资本以及软银亚洲等。赛昉科技 CEO 及联合创始人徐滔表示，赛昉科技此次所获 A+ 轮融资，将用于引进更多优秀行业人才、丰富 RISC-V IP 核产品系列、缩短产品研发周期、加快生态建设、推进垂直领域芯片开发的进程。赛昉科技成立于 2018 年，是国内基于开源 RISC-V 指令架构、提供拥有自主知识产权的商业化处理器核心 IP、开发工具和垂直领域芯片解决方案的高新技术企业。作为 RISC-V 领域技术实力和研发能力领先的芯片企业，赛昉科技从成立至今，已相继推出了全球首款基于RISC-V 的 AI 单板计算机、全球首款基于 RISC-V 的惊鸿 7100 系列人工智能及图像处理平台、...

2021-08-18

556

Midway 是一个适用于构建 Serverless 服务，传统应用、微服务，小程序后端的 Node.js 框架。 Bugfix 1、修复 axios 在 post，put 等接口是丢失 data 参数的问题 2、修复 FaasMiddleware 中间件定义的问题，感谢 @ijntvwh 提供 PR

2021-08-18

656

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。