走好数据中台最后一公里，为什么说数据服务API是数据中台的标配？

2022-06-22 556

一、数据服务API建设背景

在数字化转型的时代背景下，新需求的大量增长、新技术的不断迭代，“互联网化、数字化”进程的不断深入，越来越多的业务被迁移到互联网上，产生大量的业务交互和对外服务需求，对API接口的需求与日俱增，如何快速提升企业数据开放共享能力，是企业面临数字化转型的关键命题。

传统的方式如后端开发人员通过 Java 或 Python 等语言进行编写来生成 API 接口，开发周期过长，运维成本太高，已经不能满足企业的需求。企业在数字化转型过程往往面临诸多难题：

为了更多的解决这些问题，我们在企业开放、共享数据过程中需要确定以下目标：

快速构建 API
系统稳定、数据安全
易于集成使用
授权交付
低成本运维

二、数据服务平台建设方法论

在分享数据服务平台建设方法论之前，我们先了解一下常见的数据中台应用架构：

数据服务层作为数据中台整体应用架构中处于中间地位，将数据计算层的结果通过数据API的形式对外共享给数据应用层。数据服务层主要有3个作用：

1、当数据已被整合和计算好之后，需要提供给产品和应用进行数据消费；

2、为了有更好的性能和体验，构建数据服务层，通过接口服务化方式对外提供数据服务；

3、满足应用各种复杂的数据服务需求（简单数据查询服务、复杂数据查询服务、实时数据推送）

而在数据服务层对外提供服务的过程中，经历了从**“DWSOA”到“OneService”**的演变过程。

从“OneService”数据服务本身来说，主要是解决异构数据源、重复建设、审计运维困难、理解困难这4个问题，通过“OneService”服务，实现主题式数据服务、统一且多样化数据服务、跨源数据服务的服务目标。

因此，若想构建一个完整的数据服务平台，需要具备以下6个要素：

便捷开发，具备低代码化的开发能力
易于管理，API管理操作可视化查询API
易于使用，具备规范化的文档描述信息
安全稳定，服务调用追踪监控、服务使用审计、鉴权等
易于运维，测试、纠查、问题规则配置
性能，负载均衡、高并发

三、基于OneService构建数据体系

了解完“OneService”理论，接下来为大家分享如何基于OneService构建数据体系，主要遵循以下步骤：

● 第一步：API定义

API的定义包括：快速配置参数、选择排序字段、API类型多样性、数据预览、复制字段等方面。

API的类型又包括生成API、注册API、服务分组及服务编排这4个方面。

● 第二步：API发布

API的发布包括测试、提交至API网关、发布至API市场、版本管理这几个方面。

● 第三步：API调用

API调用包括数据预览、API申请、审批、下载接口文档、正式调用这几个方面。

● 第四步：调用监控

业务上：对API调用的统计数据进行深入的分析，进而得出关键信息；

技术上：通过API调用的统计图表进行分析可以发现，哪些API最受欢迎；而哪些几乎无人问津，应该被淘汰；

安全上：对调用IP、调用次数进行监控，对调用者进行溯源。

● 第五步：数据安全

数据安全包括：统一认证鉴权、传输加密、安全组、角色分配、行级权限、调用审批等。

上述的数据服务API的建设过程，其实正是袋鼠云自研的数栈数据服务EasyAPI产品的落地实践过程。

数据服务（EasyAPI），高效的企业级数据服务产品，通过双模式可视化配置生成与注册API，快速构建OneService数据共享服务，形成企业级的API市场和API服务管理平台，提高数据开放与共享效率。

同时产品具备以下特点:

快速构建

配置即开发，支持0代码、低代码快速构建API

安全性高

用户认证、监控、传输加密、API级别安全策略、行级权限、角色分配、调用申请审批、调用周期次数的限制、黑白名单

灵活度高

“服务编排“可对不同的API进行组合，支持集成python进行数据处理、支持“条件判断”节点，选择符合条件的分支

配置灵活

横向拓展API网关、缓存

低成本运维

采用Serverless架构，只需关注API本身的业务逻辑，很少考虑运行环境等基础设施

四、API实施落地案例

接下来我们分享三个使用客户的实际案例，为大家介绍EasyAPI如何切实的帮助客户解决问题。

● 金融：某证券公司应用数据服务

● 学校：某大学应用数据服务

● 零售：某网络公司应用数据服务

袋鼠云开源框架钉钉技术交流群（30537511），欢迎对大数据开源项目有兴趣的同学加入交流最新技术信息，开源项目库地址：https://github.com/DTStack

微信关注我们

原文链接：https://my.oschina.net/u/3869098/blog/5543955

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

RocketMQ 消息发送设计和原理详解源码剖析

1. 背景发送消息是 MQ 最基础的操作之一。RocketMQ 官方提供了多语言客户端支持消息的发送和消费操作。当然，消息发送并不仅仅牵扯到客户端操作。客户端做的是向 Broker 发送请求，请求中包含了消息的全部信息。而 Broker 需要处理客户端发送来的生产请求，将消息存储起来。在这篇文章中我将将解析消息发送流程中生产者和 Broker 的处理流程，揭秘 RocketMQ 消息发送高性能、高可靠的原理。 2. 概述 RocketMQ 的 Java 客户端提供了丰富的消息发送 API，支持多种消息发送的方式和特殊消息的发送。包括 3 种发送方式（同步、异步、单向）和多种特殊消息（顺序消息、延时消息、批量消息、过滤消息、事务消息）。对于客户端消息发送 API 的具体使用方式，可以参考官方文档：https://github.com/apache/rocketmq/blob/develop/docs/cn/RocketMQ_Example.md。 2.1 消息发送方式和特殊消息 2.1.1 三种消息发送方式 RocketMQ 支持 3 种消息发送方式：同步、异步和单向。同步（...

2022-06-22

564

前言短视频模板，是快捷创作短视频的一种方式，一般由专业设计师或模板创作人制作，用户只需替换视频模板中的部分素材，便可生成一支与模板一样的创意视频。这种省时省力、无需“烧脑”构思创意的“套模板”视频创作方法，深受用户喜爱。应用场景短视频模板在短视频APP、视频剪辑工具、拍摄美化工具、旅游出行、电商、新闻等垂域应用广泛。例如：在视频剪辑工具、拍摄美化工具垂域，短视频模板功能可以降低视频剪辑门槛、激发用户创作，进而提升应用的用户活跃度；在旅游出行应用中，用户可以通过“套模板”的方式用视频记录旅途中的风土人情；在电商应用中，商家可通过套用商品展示模板的方式，快速制作商品展示视频；在新闻资讯应用中，用户可套用新闻模板，快速发布新闻讯息。华为HMS Core视频编辑服务模板能力 HMS Core视频编辑服务近期开放了模板功能，并预置了一些不同场景的视频模板供开发者测试使用，后续还将陆续丰富模板品类和数量。接入简单、省时省力 HMS Core视频编辑服务提供了涵盖模板栏目列表、模板详情、模板工程、导入导出等详细的开发接口、接口说明和接入步骤，代码简单、清晰，开发省时省力。云端管理...

2022-06-23

562

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。