云HBase全面支持金融云可用区-支持实时安全风控\金融时序\大数据量存储及高并发访问-低调大师

云HBase全面支持金融云可用区-支持实时安全风控\金融时序\大数据量存储及高并发访问

2017-10-08 623

前言

HBase已经全面支持金融云的业务，包括华东1、华东2、华南区域。HBase是一个通用的数据库，在金融云场景下有较多的需求，本文主要分析hbase解决哪些金融场景的需求

金融云实时风控

在安全风控的场景下，我们往往需求存储大量的结构化数据，主要因为越多的数据，画像风控越精准，阿里蚂蚁金融实时风控流程图如下：

1、数据源会产生在各个地方，以事件为中心，事件有很多的属性，比如：人物、行为、环境、时间等，会高并发的入库操作。
2、离线分析，我们往往会对历史数据进行较高的并发分析，分析完成后。要么在线直接写入集群，要么离线导入集群中。
3、在线的风控平台在交易发生时，会实时查询交易相关的数据，并且实时判断此笔交易的安全系数，如果有较高风险，则直接干预交易，阻止交易发生

在此场景，我们需要存储大量的风控相关的信息，并且需要离线分析数据后，再高并

微信关注我们

原文链接：https://yq.aliyun.com/articles/222526

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

一脸懵逼学习基于CentOs的Hadoop集群安装与配置（三台机器跑集群）

1：Hadoop分布式计算平台是由Apache软件基金会开发的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。注意：HADOOP的核心组件有： 1）HDFS（分布式文件系统） 2）YARN（运算资源调度系统） 3）MAPREDUCE（分布式运算编程框架） Hadoop 中的分布式文件系统 HDFS 由一个管理结点 ( NameNode )和N个数据结点 ( DataNode )组成，每个结点均是一台普通的计算机。在使用上同我们熟悉的单机上的文件系统非常类似，一样可以建目录，创建，复制，删除文件，查看文件内容等。但其底层实现上是把文件切割成 Block，然后这些 Block 分散地存储于不同的 DataNode 上，每个 Block 还可以复制数份存储于不同的 DataNode 上，达到容错容灾之目的。NameNode 则是整个 HDFS 的核心，它通过维护一些数据结构，记录了每一个文件被切割成了多少个 Block，这些 Block 可以从...

2017-10-09

460

在Spark中，GBT（Gradient Boost Trees，提升树）函数用于实现机器学习中的提升树算法，目前仅支持二分类算法。笔者在实际工作中需要获得其预测的概率值，无奈该函数没有相应的方法。经过笔者几天的奋斗，终于找到了解决之道。下面将分享在Spark中如何获取GBT二分类函数的概率值的思路。首先，查看GBT函数的Scala源代码，其中的predict函数如下：其中的prediction值是我们计算概率值所需要的，prediction的值为_treePredictions(向量)与_treeWeights(向量)的点积，numTrees为GBTClassifier所使用的树的数量。_treePredictions为每棵决策树的预测值组成的向量，_treeWeights为每颗树的权重组成的向量。那么该如何计算_treePredictions与_treeWeights呢？ _treeWeights的计算可直接调用GBTClassifier中的treeWeights方法，输出的数据类型为list。以下为例子：（该例子的数据集和GBT测试代码见附录）接下来讲述_treeP...

2017-10-09

608

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。