TICS端到端实践:企业积分查询作业开发
摘要:本次TICS端到端体验,将以一个“小微企业信用评分”的场景为例。
本文分享自华为云社区《基于华为隐私计算产品TICS实现端到端的企业积分查询作业【玩转华为云】》,作者:breakDawn 。
本次TICS端到端体验,将以一个“小微企业信用评分”的场景为例。
社保、水电气和资助金等数据统一存储在某某政务云,由不同的局进行管理,机构想单独申请进行企业相关评分的计算会非常困难。因此可以由某市政数局出面,统一制定隐私规则,审批数据提供方的数据使用申请, 并通过华为Tics可信智能计算平台进行安全计算。
数据准备
企业税收和资助金情况表tax(partner_gov,属于政府信息提供方,部署在用户计算节点agent_gov上)
企业政府资助金数据表support(partner_gov, 属于政府信息提供方,部署在用户计算节点agent_gov上)
企业水电情况表power(partner_power,能源信息提供方,部署在用户计算节点agent_pow上)
注意以上数据和表结构是根据场景进行模拟的数据,并非真实数据。
从业务角度考虑,我安排了五个阶段,来对TICS系统进行验证和测试。
阶段一:数据发布
首先第一步,肯定是要做好数据准备工作。
我们首先进入Tics服务控制台
在计算节点管理中,找到我们购买的计算节点,通过登录地址,进入计算节点控制台
登录计算节点后,在下图所述位置进行连接器的新建
输入正确的连接信息,以建立数据源和计算节点之间的安全连接:
建立完成后,看到连接器显示正常说明连接正常。
接着进入数据管理,进行数据集发布:
数据集发布动作参考如下:
然后我们以同样的方式,发布了 support资助金数据 表和power_data能源表。
这个过程并不会直接从数据源中导出用户数据,仅仅是从数据源处获取了数据集相关的元数据信息,用于任务的解析、验证等。
阶段二:隐私规则防护
数据集发布后, 作为数据提供方,肯定会担心数据是否可能被随意使用。因此第一步应该先确认tics的隐私规则能力是如何保护大家的数据安全的。
我们首先进入联邦分析的作业执行界面,点击作业创建
可看到如下的作业框,我们可按照下文提供的案例和sql语句进行作业测试。
假设有人试图直接查询敏感数据:
select tax_bal, id from league_creator.tax
则可以看到被提示不支持进行敏感数据的SELECT操作。
如果有人试图拿敏感数据加上自己的数据, 从结果倒推敏感数据,如下所示:
Select tax_bal + electric_bal from LEAGUE_CREATOR.tax a join ZZZZZZ.power_data b on a.id = b.id
这个操作等同于求原数据, 这个操作也会被tics识别并提示出来。
阶段三:审批防护
上述隐私规则,都是tics系统提供的默认规则。
但规则的完善总是有一个过程的,在规则未完全完善之前, 作为用户,可能更愿意支持开启审批功能, 来进行更“灵活”的作业合法性确认。
如下图所示,当有人直接查询我的敏感数据时,我可以在审批详情中,看到对方试图让敏感字段在结果可见,那就可以由该提供方进行识别,并进行拒绝操作。
对于两个字段相加的情况,也可以在审批中看到相加的情况, 也能看到id是用来做join碰撞的用途。
通过查看字段是否可见, 以及字段用途,能够确认该字段的应用是否符合自己的安全预期。
阶段四:基本计算能力验证
下面场景是计算各企业在2021年的价值评分, 以用于评估信贷能力,其中的公式并非真实公式,仅仅是一个简单的参考计算式。
其目的是为了确认Tics的基础计算能力、
select c.id as `企业id`, 0.5 * a.tax_bal + 0.8 * b.supp_bal + (0.05 * c.electric_bal + 0.05 * c.water_bal) * 0.1 as `企业评分` from Partner1.TAX a, Partner1SUPPORT b, Partner2.POWER_DATA c where b.id = c.id and a.id = b.id
审批时可以看到如下的情况,涉及关联字段较多,其使用方式都能够在审批界面中展示出来。
执行结果如下:
可以看到基础的sql语法都能够支持。
并且从作业执行页面的提示上来看,已经支持了相当多的常用语法和sql函数。
阶段五:基于MPC算法的高安全级别计算
如果我度过了前期的demo验证阶段, 准备接入更高安全级别的数据, 就可能会希望提升数据保护级别, 以纯密文的状态做计算, 则我可以通过让开启高隐私级别开关,将联盟安全级别默认提升一个等级。
再次点击刚才的作业,审批时可以看到敏感数据被进行了同态加密。
从DAG图上可以看到 psi + 同态的全过程流向, 基本符合业界已公开的PSI算法流程和同态加密流程。
阶段六:统计型作业的差分隐私保护
假设有以下作业,试图统计各行业的企业税收总和 和用电量总和, 进行统计分析
Select industry, sum(tax_bal), sum(electric_bal) from LEAGUE_CREATOR.tax a join dayu002.power_data b on a.id = b.id group by industry
但是这种统计分析型的作业, 有可能被作业执行方通过增删某个碰撞的id, 得到两次作业之间的差值,从而推算出实际taxpay和water_fee。
此时我可以通过开启差分隐私开关来保护自己的敏感数据, 这类作业则都会自动应用差分隐私算法进行加噪保护计算结果, 在一定误差范围内保证数据无法被恶意偷取。
以下是第一次执行作业时得到的结果:
可以从DAG图看到,我们在返回最终统计结果前,增加了一个差分隐私计算的任务节点。
接着再执行一个sql,这个sql中过滤掉了某个企业,试图用差值去计算这个企业的税收值。
Select industry, sum(tax_bal), sum(electric_bal) from LEAGUE_CREATOR.tax a join dayu002.power_data b on a.id = b.id where a.id <> '123400558' group by industry
这个企业的实际tax为274:
得到新的结果如下:
经过计算,66539.583321490225131 - 66078.857559963717677 = -461
可以看到并不会像使用者预期的那样直接得到实际的274差值,因此通过差分隐私算法保护了聚合操作的安全性。
华为伙伴暨开发者大会2022火热来袭,重磅内容不容错过!
【精彩活动】
勇往直前·做全能开发者→12场技术直播前瞻,8大技术宝典高能输出,还有代码密室、知识竞赛等多轮神秘任务等你来挑战。即刻闯关,开启终极大奖!点击踏上全能开发者晋级之路吧!
【技术专题】
未来已来,2022技术探秘→华为各领域的前沿技术、重磅开源项目、创新的应用实践,站在智能世界的入口,探索未来如何照进现实,干货满满点击了解

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
30款提升组织效能 SaaS 工具,我们的宝藏工具箱大公开
熟悉 Juicedata 的小伙伴知道,从2017年成立到第一款产品发布、从寻找PMF(Product Market Fit) 到开源,我们一直保持着一个精简的团队配置,不少人都很好奇我们是如何做到的?今天邀请Juicedata的合伙人苏锐,为大家分享各阶段用到的趁手工具。 大家好,我是 Juicedata 的合伙人苏锐,Juicedata 是一家开源基础软件公司,创立于 2017 年,核心产品 JuiceFS 是一款为云设计的分布式文件存储产品。 开发存储产品需要时间和场景的考验,过往的很多存储公司从创立公司到产品发布,往往要经历三到四年的时间,构建几十甚至上百人的团队。深知这其中的挑战和考验,创立 Juicedata 的时候我们也问自己这样的问题:产品多久能发布?需要多少人? 当时我们也给不出一个准确的答案,但我们确信要实践互联网产品快速迭代的思想,要让公司保持非常精简的团队,非常高的组织效能,这样才能应对在产品研发、市场销售和企业发展与管理中的重重挑战。 先简单介绍 Juicedata 的过去,方便大家理解背后所需的工作。 JuiceFS 的开发始于 2016 年,2017 年底...
- 下一篇
如何使用Superset可无缝对接MRS进行自助分析
摘要:本文主要介绍如何在MRS之上使用Superset进行数据分析。 本文分享自华为云社区《使用商业智能软件Superset分析MRS数据之最佳实践》,作者: 啊喔YeYe 。 1. 概要 Superset Apache Superset是一个现代的数据探索和可视化平台。具有功能强大、支持数据种类多、使用简单、易扩展、可视化能力丰富等诸多优势,在github上也有4.6w+的star. MRS MRS是华为云提供的一站式大数据平台,基本覆盖了Hadoop生态中常用的基本组件,免去我们运维、搭建的烦恼。 本文主要介绍如何在MRS之上使用Superset进行数据分析。 2.环境准备 在华为云购买创建弹性云服务器ECS(公共镜像建议选择CentOS 8.2 64bit),用于安装运行Superset,并绑定弹性公网IP,用于访问公网安装依赖包和Superset服务。 MRS服务开通,选择MRS 3.1.0版本的普通集群模式。注意网络与superset打通 3. superset安装 3.1 登录已购买的Linux弹性云服务器,执行以下命令安装Superset运行依赖包 yum install...
相关文章
文章评论
共有0条评论来说两句吧...