首页 文章 精选 留言 我的

精选列表

搜索[多点触控],共10000篇文章
优秀的个人博客,低调大师

干货:以数据为中心的多层防御,集中管控式大数据安全架构

摘要:大数据已不再是一个单纯的热门词汇了,随着技术的发展大数据已在企业、政府、金融、医疗、电信等领域得到了广泛的部署和应用,并通过持续不断的发展,大数据也已在各领域产生了明显的应用价值。 大数据已不再是一个单纯的热门词汇了,随着技术的发展大数据已在企业、政府、金融、医疗、电信等领域得到了广泛的部署和应用,并通过持续不断的发展,大数据也已在各领域产生了明显的应用价值。 企业已开始热衷于利用大数据技术收集和存储海量数据,并对其进行分析。企业所收集的数据量也呈指数级增长,包括交易数据、位置数据、用户交互数据、物流数据、供应链数据、企业经营数据、硬件监控数据、应用日志数据等。由于这些海量数据中包含大量企业或个人的敏感信息,数据安全和隐私保护的问题逐渐突显出来。而这些问题由于大数据的三大主要特性而被进一步放大:数据量大(Volume)、数据增长快(Velocity)和数据多样化(Variety)。 现在,当我们说“大数据”的时候,已不再是单指海量的数据了,而是基础设施(云服务器)、应用、数据源、分析模型、数据存储和平台的组合,而正是这些使得大数据安全面临着不同寻常的挑战。 与传统数据安全相比,大数据安全有什么不同 传统数据安全技术的概念是基于保护单节点实例的安全,例如一台数据库或服务器,而不是像Hadoop这样的分布式计算环境。传统安全技术在这种大型的分布式环境中不再有效。另外,在大规模的Hadoop集群中,各服务器和组件的安全配置出现不一致的机率将大大增加,这将导致更多的安全漏洞产生。 大数据平台存储着各种各样的数据,每一种数据源都可能需要有其相应的访问限制和安全策略。而当需要整合不同数据源时,就变得更加难以平衡对数据的安全策略的应用。同时,快速增长的海量数据使得大数据平台中的敏感信息和个人隐私信息无处不在,准确发现和定位敏感信息并制定针对性的访问控制策略变得愈加困难,而对敏感信息的访问的实时监控也是保障大数据安全的重要任务之一。 最后,大数据技术很少单独使用Hadoop,而是会结合生态系统中的其它技术组件如HBase,Spark,Impala,Hive,Pig等对数据进行抽取、存储、处理、计算等。这些技术使得大数据可被访问和利用,但基本都缺乏企业级的安全特性。以上从平台、数据、技术视角对大数据安全与传统数据安全进行了简单的分析,传统安全工具没有为数据多样化、数据处理及Hadoop的分布式特性而改进,不再足以能保证大数据的安全。 如何建立完善的大数据安全体系 面对复杂的大数据安全环境,需要从四个层面综合考虑以建立全方位的大数据安全体系:边界安全、访问控制和授权、数据保护、审计和监控。 边界安全:主要包含网络安全和身份认证。防护对系统及其数据和服务的访问,身份认证确保用户的真实性及有效性。Hadoop及其生态系统中的其它组件都支持使用Kerberos进行用户身份验证。 访问控制和授权:通过对用户的授权实现对数据、资源和服务的访问管理及权限控制。Hadoop和HBase都支持ACL,同时也实现了RBAC(基于角色的访问控制)模型,更细粒度的ABAC(Attibute Based Access Control)在HBase较新的版本中也可通过访问控制标签和可见性标签的形式实现。 数据保护:通过数据加密和脱敏两种主要方式从数据层面保护敏感信息不被泄露。数据加密包括在传输过程中的加密和存储加密。传输过程中的加密依赖于网络安全协议而存储加密可通过相关加密算法和密钥对数据进行加密存储。数据脱敏是比加密较为折中的办法,对于大数据时代,该方法将更被更为广泛的采用。因为收集的海量数据需要相对开放的共享给内部不同团队或外部机构使用,才能发挥大数据的价值。对于敏感信息部分可通过脱敏的方式进行处理以保障信息安全。 审计和监控:实时地监控和审计可管理数据安全合规性和安全回溯、安全取证等。 如何设计大数据安全框架 基于以上四层的安全体系,结合大数据平台的特性,企业在实践大数据平台安全化时,需要有更详细的架构设计,四层安全体系对应在实际环境中,应是以数据为中心,建立完善的管理制度,先治理好大数据,再从访问控制和数据保护层面加强对数据使用的安全防护,最后从网络和基础层加固平台的安全部署。因此,大数据安全框架需包含以下5个核心模块: 数据管理、身份和访问管理、数据保护、网络安全、基础安全。 1af50005d1ac1de43d62 (一)数据管理 企业实施数据安全的首要任务是先管理好数据,根据业务要求、合规性、安全策略及数据的敏感性,关键性和关联风险对数据进行分类分级管理,有助于对数据保护的基准安全控制做出合理的决策。 从大数据特性层面对数据进行标记(例如分析类型、处理方式、数据时效性、数据类型、数据格式 、数据源等维度),就知道数据是如何进出大数据平台,将会被如何使用,会被谁使用,数据是如何存储的等等,这些都有助于数据发现的管理和对数据访问控制制定相应的策略。 最后,如果缺乏掌握敏感数据在大数据平台中存在于哪里的意识,这将无疑是把数据暴露于风险之下。所以,掌握敏感数据在大数据平台中分布情况,并能自动地增量式地发现找到敏感数据,并监控其使用情况,是否受到保护是能否做到全面保护数据安全的关键。 (二)身份认证和访问控制 身份认证是防护数据安全的第一道关卡,通过身份认证确保访问大数据平台中的数据、资源和服务的用户是安全的,大数据生态系统中从Hadoop到HBase、Hive、Pig、Impala、Spark等几乎都支持利用Kerberos进行身份认证。 Kerberos也可以和企业的AD/LDAP结合以快速建立密钥分发中心,而无需大数据平台用户重新建立用户组、角色和密钥等。用户通过身份认证后可获得访问大数据平台的资格,为进一步控制用户对资源的访问权限,需要通过授权机制来管理不同用户对不同资源的访问许可。 Hadoop和HBase及其它组件都在一定程度上支持对访问的控制,RBAC和ABAC是两个不同粒度的访问控制模型,前者是基于角色来进行访问控制,后者是更为细粒度的控制,可控制到被访问对象的字段级别。在制定访问控制策略时,应依据合规要求,结合敏感数据保护策略、数据使用场景等针对不同数据、不同业务需求制定相应的访问限制规则,高效利用数据,发挥大数据价值是企业的最终目的。 (三)数据保护 如果说身份认证、授权和访问控制是确保了对数据访问的对象的防护和控制,数据保护技术则是从根源层保护信息安全的最重要和最有效的手段。通过数据保护技术,对大数据的开放共享、发布、最大化利用等都会有着最直接的积极作用。 数据保护技术的作用不仅局限于企业内部,它是确保整个大数据产业快速发展的最重要保证。数据保护技术通过对数据利用脱敏、失真、匿名化限制发布等技术处理后,可让处理后的数据到达安全交易、开放共享的目的。 而对于企业内部,针对脱敏后的数据,不需再设定复杂的访问控制限制,可让更多的分析应用更高效地实施并优化开发项目,让大数据得到更充分的利用同时,也确保遵从行业/监管数据隐私法令和法规。 (四)网络安全 大数据的网络安全通常是指通过客户端访问大数据平台的连接和大数据平台中服务器节点之间的网络通信安全。 为保证数据在传输过程中的安全性,节点之间及客户端与服务器之间的通信都需要进行加密,不同的通信使用不同的加密方式,Hadoop平台支持RPC加密,HDFS数据传输加密和HTTP通信的加密。 除了对网络通信进行加密设置,还可通过使用网关服务器隔离客户端与大数据平台的直接访问来进一步升级网络安全。网关服务器部署在大数据平台和企业用户网络域之间,用户通过登录网关服务器来验证身份,并由网关服务代理用户对大数据平台的访问,同时,该服务器还可用来提供访问控制、策略管理。用户通过登录到网关服务器来执行对大数据平台的操作,所有的客户端包括Hive,Pig,Oozie等都可安装在这台网关服务器上,这样用户就不必登录到大数据平台中的服务器节点,从而保护大数据平台不会受到非法访问。 (五)基础安全 前面我们谈到了通过各种方式来保证大数据平台和安全性,包括身份认证、授权、访问控制、数据保护及网络通信安全。但大数据平台仍然有可能会受到非法访问和特权用户的访问。为确保合规性的需要,我们需要对大数据平台的一切活动进行审计和监控并生成告警信息,也即是安全事故和事件监控(SIEM)系统。SIEM系统负责对大数据平台中任何可疑的活动进行收集,监控,分析和生成各种安全报告。 以下是大数据平台中需要被监控的事件以用来分析识别安全事件:用户登录和身份验证事件、HDFS操作、授权错误、敏感数据操作、MapReduce任务、通过各种客户端的访问如Oozie,HUE等以及异常事件。只有全面的收集在大数据平台中的一切活动,才有机会捕捉可能会发生的安全事故及进行事后分析时有机会进行回溯分析,追踪事故根源。 结束语 本篇围绕大数据平台对大数据安全的体系和架构设计进行了分析概述,完全实践本文中所设计的安全架构是一项艰巨的任务,在实践过程中,需深入掌握Hadoop自身的安全特性支持,广泛了解开源软件及商业软件在数据管理和数据安全上的优势点,并结合企业现阶段对大数据部署的实际情况选择合适的产品从不同角度保护大数据平台的安全。 在下次的分享中,会从实践(In-Action)的角度介绍如何采用合适的开源技术和商业产品来实现大数据平台安全架构。 本文转自d1net(转载)

优秀的个人博客,低调大师

招投标项目中的隐性成本如何通过数字化手段进行有效管控?

招投标作为公共采购、工程建设、企业服务采购的核心交易方式,近年在流程公开化、标准化层面已有显著进步,但行业内隐性成本居高不下的痛点始终未能得到根本解决。不少参与投标的企业都有过类似经历:投入数周时间制作标书,因为一个 unnoticed 的格式疏漏、资质证明漏放直接废标,前期的人力、差旅、资质协调成本全部打了水漂;

优秀的个人博客,低调大师

建筑云协同图纸管控:手动加解密日志实现工程资料全链路审计溯源

随着建筑行业数字化转型持续深入,BIM 模型、CAD 施工图纸、工程量清单、专项方案等工程资料普遍依托云平台开展跨部门、跨参建单位协同。腾讯云文件协作、对象存储等能力为建筑设计院、工程总包单位提供了高效的图纸共享通道,但云协同模式下,图纸外发、资料交付场景增多,数据安全与合规审计压力同步上升。

优秀的个人博客,低调大师

风控开发指南:PHP集成活体识别V步骤1实现精准合规审查

在在线职业资格认证考试、企业内训定级考核及远程技能测评平台中,确保“应试考生确系报名本人且处于真实物理摄像头前”是维护考试公平性与证书公信力的核心前提。传统的远程监考系统多依赖考生在开考前上传静态近期免冠照,或由监考老师通过多人视频会议室逐一人工核对准考证。在数千人同时开考的并发高峰期,人工视频核验不仅耗时长、容易造成考场开考延误,而且静态照片与普通视频流也难以有效识别预录视频重放或虚拟摄像头流注入等非真实应试行为。

优秀的个人博客,低调大师

风控开发指南:Go集成活体识别V步骤1实现精准合规审查

在秀场直播、语音连麦、游戏陪玩及带货公会等泛娱乐直播平台中,每晚黄金档(19:00–22:00)往往有成千上万名签约主播同时发起推流开播或申请高额打赏提现。根据网络视听与直播行业的实名制合规监管要求,平台不仅需要在主播首次签约时完成身份登记,还必须在每次开播推流前确认当前镜头前的主播与实名备案主体一致,防范他人借用高粉账号开播、未成年人冒用亲属账号或利用虚拟摄像头推流等非真实日常账号的履约隐患。传统仅依赖首次上传静态证件照或人工巡查直播间的模式,不仅响应滞后,且难以应对晚高峰瞬时数千 QPS 的开播鉴权并发压力。

优秀的个人博客,低调大师

风控开发指南:Java集成活体识别V步骤1实现精准合规审查

在城商行手机银行 App、微信端 H5 轻网银以及对公移动财资系统的日常交易流转中,客户发起跨行大额转账、单日累计超限额汇款或异地非常用设备动账时,交易发起人真实在场意愿的合规确认是账户资金安全的核心防线。传统的短信验证码(SMS OTP)配合静态交易密码模式,仅能验证介质持有性而无法确认操作者本人的实时生物特征;而早期的柜面视频连线座席人工核身不仅排队耗时长、人力运维成本高,且在夜间或节假日跨行汇款高峰期极易形成服务瓶颈,影响储户与企业财务人员的资金周转体验。

优秀的个人博客,低调大师

风控开发指南:Python集成活体识别V步骤1实现精准合规审查

在远程在线公证、房产委托代办以及电子遗嘱存证平台的司法合规实践中,确认申请人系“本人真实在场且处于实时自然交互状态”是证据链具备法律效力的核心前提。传统的线上公证辅助核验往往要求当事人自行录制手持证件朗读声明的视频并上传后台,再由公证员逐帧人工审阅画面连贯性与口型匹配度。这种作业方式不仅耗费大量司法辅助人力、跨地域签署等待周期漫长,而且异步上传的静态视频文件缺乏实时环境光交互与防重放令牌约束,难以在采集源头排除非实时画面注入等合规隐患,给后续公证文书出具与司法存证带来显著的履约风险。

优秀的个人博客,低调大师

风控开发指南:Go集成人车核验加强版实现精准合规审查

在同城急送、生鲜冷链即时配送以及大件货运等即时物流平台中,海量众包骑手(普通摩托车、轻便摩托车)与带车加盟司机(小型蓝牌面包车、新能源绿牌货运车、黄牌大型货车)的准入合规审查,是保障平台运力安全与履约质量的第一道防线。每逢电商大促或节假日运力招募高峰期,瞬时涌入的司机注册申请往往达到数千 QPS。传统依赖运营人员肉眼比对驾驶员身份证与机动车行驶证 OCR 照片的作业模式,不仅审核链路冗长、人力成本高昂,而且难以在毫秒级时间内识别人车权属脱节、车辆过户未更新或信息不匹配资质等潜在履约隐患。

优秀的个人博客,低调大师

风控开发指南:Java集成人车核验加强版实现精准合规审查

在财产险核心承保系统(特别是干线物流重卡、城配冷链车队、牵引挂车等商用车险种)的日常运转中,投保人或被保险人与机动车行驶证登记所有人的一致性确认,是履行保险利益原则与承保合规审查的核心前提。长期以来,承保前端依赖业务员上传行驶证正副本照片,再结合 OCR 识别与核保作业中心人工复核。然而,商用车作业环境复杂,行驶证塑封反光、油污遮挡或字迹磨损极易导致 OCR 字段提取偏差;而在车辆过户挂靠、车队批量续保等高峰场景下,离线人工审单不仅拉长了出单时效,也难以实时察觉车辆所有权登记状态的最新变更,容易引发后续理赔阶段的权属争议与履约隐患。

优秀的个人博客,低调大师

风控开发指南:PHP集成人车核验加强版实现精准合规审查

在高端商业综合体与写字楼配建住宅的智慧停车管理系统中,业主专属包月停车卡(月卡/产权车位绑定)与临停商业车位往往存在显著的资费差异与潮汐调度优先级。为了保障业主停车权益、防范非业主社会车辆违规占用住宅包月配额,物业管理后台(Property CMS)在开通月卡时必须确认申请人姓名与申报车牌号的真实所有权归属关系。传统的物业审核流程通常依赖车主在小程序端上传纸质行驶证照片与房产证明,再由物业客服人员在后台逐一人工肉眼比对。这种模式不仅在月底集中续费或新盘交付高峰期造成工单积压,还会因照片反光、翻拍模糊或信息滞后带来审核偏差。

优秀的个人博客,低调大师

风控开发指南:Python集成人车核验加强版实现精准合规审查

在干线物流与数字货运撮合平台的日常运营中,个体货车司机携车入驻是运力池构建的核心环节。受限于货运车辆跨省流转频繁、挂靠经营与个体自营并存等行业特性,平台在承运人注册、大宗高价值货物派单以及运费结算签约阶段,均需对司机身份信息与承运车辆所有权的一致性进行严格核查。传统的运力准入流程往往依赖司机上传纸质行驶证照片与驾驶证影像,再由运营审核团队通过 OCR 识别结合人工肉眼比对车主姓名与车牌号码。这种方式不仅审核链路冗长、高峰期运力积压严重,而且静态图片难以实时反映车辆过户变更、号牌种类误报等动态信息偏差,容易在后续运输履约与税务合规开票环节埋下履约隐患。

优秀的个人博客,低调大师

风控开发指南:PHP集成全能入职背调实现精准合规审查

在当今 O2O 灵活用工和共享经济高速发展的背景下,平台每天都会涌入海量的自由职业者、外卖骑手与家政服务人员。确认这些劳动者的真实身份与资质履历,成为了平台信用合规的核心诉求。传统的线下人工收集身份证件复印件、学历证明不仅流程极其繁琐,且存在极大的信息不匹配资质和履约隐患。面对庞大的人员流动基数,仅靠人力早已无法满足平台的实时评估需求,甚至可能导致非存续异常主体或边缘号码混入,给企业带来不可估量的合规风险。

优秀的个人博客,低调大师

风控开发指南:Go集成全能入职背调实现精准合规审查

在大型集团企业、外包服务提供商以及共享经济平台的高速扩张期,人力资源部门面临着海量求职者涌入的挑战。确保候选人身份真实性、学历有效性及社会履历的履约合规性是构建企业安全防线的基石。然而,传统人工核对纸质证书、学历复印件或线下背景调查的方式不仅流程极为繁琐,且在面对高并发的大规模招聘季时,往往成为效率瓶颈,难以实时防范信息偏差与资信评估风险。这就迫切需要一种能承载瞬时高吞吐量的综合核验网关,以满足业务高速运转的诉求。

优秀的个人博客,低调大师

风控开发指南:Python集成全能入职背调实现精准合规审查

在现代灵活用工平台与企业规模化招聘场景中,构建一条基于 Python 和大数据的 AI 驱动入职前合规审查流水线变得至关重要。传统的背景调查流程往往依赖 HR 人工手动核对候选人的身份证复印件、学历学位证书,甚至通过线下问询来确认关键资质。这种“重人力”的模式不仅流程繁琐、效率低下,难以应对海量候选人的极速入职需求,且面对各种高仿造假的纸质材料时,极易产生信息核对偏差,给企业带来严重的履约隐患与用工风险。

资源下载

更多资源
Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册