云原生+微服务,实现「DataFlux」快速交付!
DataFlux 是由驻云最新重磅打造一款实时大数据分析平台,可以通过对任何来源、类型、规模的实时数据进行监控、分析和处理,释放数据价值。
为什么说是“实时”?
因为是实时的数据采集,通过自研的数据网关,实时打入 InfluxDB 时序数据库,依托于 InfluxDB 时序数据库的强大查询分析能力,实时数据分析展示。
为什么说是“统一”?
万物皆数据,数据皆可被采集。企业内,从员工考勤数据到 IT 设备数据,从客户关系数据到销售数据,从市场外部大环境数据到企业内部管理数据等,皆可汇聚,进行统一综合分析,提升数据价值。
五大硬核组件
- 数据采集器:目前支持200多种数据的采集,还在大量开发扩充中。
- 数据网关:数据的核心功能模块,采用 golang 语言开发,高效处理数据,并且有消息队列保障数据的可靠性与一致性。
- DataFlux Studio:强大的场景构建能力,丰富的图表组件,随心所欲展示数据。
- 函数开发平台:赋予用户无限扩展能力,可基于 Python 编写数据处理函数,简便易入手。与 DataFlux Studio紧密结合,进行数据预测分析,并且内置大量官方函数,也可以配合其他应用,作为其他应用的数据来源。
- 强大的实时预警能力:可配置多指标实时检测,支持多种预警行为输出途径。
如何实现快速交付
DataFlux 强大的功能背后是运行着的几十个应用服务,这些应用服务如何稳定且高效有序运行,并且能够快速部署与持续交付,原因之一是 DataFlux 完全基于云原生的微服务架构。
PS:云原生是一种理念和应用交付模式,是一套技术体系和方法论,它充分发挥和利用云计算模型的优势构建和运行可弹性扩展的应用。云原生的三大特征:微服务化、容器化、动态管理。
容器技术为基础,发挥资源最大力量
整个DataFlux 核心后面是运行着的几十个微服务,实现了使用不同开发语言开发、不同环境要求的应用服务在一个服务器上运行;搭配Kubernetes技术,动态资源编排与调度,最大化利用服务器资源。
但是如果只有 Kubernetes,我们还是无法快速的完成一套产品的交付,因为几十个应用服务需要手工创建和配置,也是一个巨大的工作量,那么如何解决这一个问题对于快速交付来说就至关重要。
自研工具,实现1+1>2
Kubernetes 可以使用 YAML语言去描述所有类型的资源,如 pvc、deployment、service、ingress、confiogmap等,再利用 kubectl (kubernetes 的命令行客户端工具)执行这些 YAML 文件的应用,去创建或修改资源。
正是利用这一点,我们开发了一个DataFlux 的安装配置工具 Launcher,在准备好硬件资源的情况下,可以做到10分钟完成整个应用的部署与配置。整个安装过程变得非常简单,根据 Launcher 的引导步骤,完成MySQL数据库、Redis、InfluxDB 等信息的输入,Launcher 根据用户输入的信息,自动完成数据库表结构的初始化有及数据的初始化,并且根据准备好的模板自动生成Kubernetes 的 YAML资源描述文件,以及 DataFlux 的服务应用配置文件,然后利用 kubectl 命令行工具执行 YAML 文件的导入。
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
那些总是写“烂代码”的同学,强烈推荐你使用这款IDEA插件!
云栖号资讯:【点击查看更多行业资讯】在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! 1、目标 idea集成sonar的代码检查,实现可以在提交代码前就检查你的代码,而不是将代码提交之后,之后再去检查。 Sonar可以从以下七个维度检测代码质量,而作为开发人员至少需要处理前5种代码质量问题 不遵循代码标准 sonar可以通过PMD,CheckStyle,Findbugs等等代码规则检测工具规范代码编写 潜在的缺陷 sonar可以通过PMD,CheckStyle,Findbugs等等代码规则检测工具检测出潜在的缺陷 糟糕的复杂度分布 文件、类、方法等,如果复杂度过高将难以改变,这会使得开发人员难以理解它们 且如果没有自动化的单元测试,对于程序中的任何组件的改变都将可能导致需要全面的回归测试 重复 显然程序中包含大量复制粘贴的代码是质量低下的,sonar可以展示源码中重复严重的地方 注释不足或者过多 没有注释将使代码可读性变差,特别是当不可避免地出现人员变动时,程序的可读性将大幅下降 而过多的注释又会使得开发人员将精力过多地花费在阅读注释上,亦违背初衷 缺乏单元测试 sona...
- 下一篇
一文读懂阿里云通信的产品体系、技术架构与智能化应用场景实践
云通信作为通信基础设施,具有很强的行业普适性和刚需性,其业务场景涵盖了用户整个生命周期。然而,在企业使用云通信的过程中,依旧会面临到技术门槛高、系统维护治理难、业务场景适配挑战大等问题,阿里云通信是如何围绕用户需求,打造场景化产品服务体系,面向用户构建安全、易用、稳定、智能的技术系统,用AI能力赋能企业降本提效?在5月13日的阿里云通信“加油行动”在线沙龙中,阿里云通信资深运营专家孔繁盛、高级产品经理李海波和高级技术专家刘强奇为我们带来了答案。 阿里云通信产品体系 阿里云通信起步于2017年,在2018年推出短信、小号、语音等基础产品,并且推出了国际短信、号码认证、网络加速服务等创新产品,完善了产品矩阵。在2019迎来规模化发展,这一年中服务了60多万家中小客户,完美支撑了阿里经济体天猫双11活动,在当天实现了20亿条短信到达,5000万次呼叫,5500万次号码隐私服务,国际短信覆盖了200多个国家。 阿里云通信高级产品专家李海波表示:“我们认为整个云通信的趋势,第一是通信技术与互联网技术融合,方便业务灵活快速调用。第二是通信行业典型应用,从内容生产、内容管理、内容个人性化分发等方便,...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS8编译安装MySQL8.0.19
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- SpringBoot2整合Redis,开启缓存,提高访问速度
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- Hadoop3单机部署,实现最简伪集群
- CentOS7,CentOS8安装Elasticsearch6.8.6
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果