首页 文章 精选 留言 我的
优秀的个人博客,低调大师

微信关注我们

原文链接:https://my.oschina.net/postgresqlchina/blog/5519463

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

安全业务全链路数据仓库在58的实践与应用

1 背景 “全链路”指的是全业务、全场景、全方向,那么全链路数据仓库指的是这个数仓中的数据是包罗万象的数据,因为在信息安全业务领域,会有大量的特征、策略、用户行为需要进行数据分析和验证,因此挖掘数据关系的关联性俨然成为了一个趋势,这些数据的链路关系是面向全方位的,两点之间的数据也可以存在多条链路关系,安全业务全链路数据即数据网格化应用, 网格越密集,那么数据就越完善,集成度更高。 只有构建高度集成化的数据链路才能让数据成为安全生产力,让安全业务变得更主动。 在58信安承担着全集团各个业务线安全治理治理工作,信安业务系统会生产人工审核、机器检测、举报、申诉、维权、处罚、处理、取证等一些列风控系统的数据,但是安全治理工作除了使用到这些风控侧数据之外还需要使用业务侧数据,那么这些业务侧数据的生产维护散落在各个业务线,各个业务线对数据的管理维护标准也会有很大的差异,因此会有 各种结构化、半结构化、非结构化数据,同时账号、帖子id等体系不统一,那么如何能够以一个低成本的方式进行数据分析,如何快速有效的组织和转化数据与黑产对抗,是整个风控环节面临的巨大挑战,因此信息安全需要构建各个业务场景数据与风...

Shuttle:高可用 高性能 Spark Remote Shuffle Service

01 开篇 大数据计算的兴起,源于Google的MapReduce论文,MapReduce的原理很简单,其流程核心则是Map和Reduce两阶段数据交换,也即Shuffle。 Shuffle对大数据计算影响很大,从公开的资料:Facebook[1]、LinkedIn[2]、阿里[3] 等公司的数据看,Shuffle影响的任务和任务计算时间上都有较高占比。从OPPO的线上任务看,68%的Spark任务都有Shuffle计算。 大数据计算引擎的技术演进,一直离不开对Shuffle的优化,无论是从执行计划方面优化,尽量避免Shuffle算子还是各种Shuffle机制的演进,都是为了尽量缩短Shuffle的耗时。 Shuffle不仅影响作业运行效率,对计算稳定性也有较大影响,大数据开发的同学一般都有这样的经历:莫名的 Shuffle Fetch Fail 错误,甚至任务会因此频繁失败,不得不优化任务计算逻辑。 02 背景 Shuffle成为大数据计算效率和稳定性的关键因素的原因是什么? 我们认为主要有两点: 1、磁盘的碎片读写,Spill多次写磁盘和Reduce只拉取部分Partition数据...

相关文章

发表评论

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册