首页 文章 精选 留言 我的

精选列表

搜索[直播],共5188篇文章
优秀的个人博客,低调大师

实时开发平台建设实践,深入释放实时数据价值丨04期直播回顾

原文链接:实时开发平台建设实践,深入释放实时数据价值 视频回顾:点击这里 课件获取:点击这里 一、实时数仓建设背景 随着整体行业的数字化转型不断深入以及技术能力的不断提高,传统的 T+1 式(隔日)的离线大数据模式越来越无法满足新兴业务的发展需求,开展实时化的大数据业务,是企业深入挖掘数据价值的一条必经之路。 面对数字化转型下的数据快速产生、“小步快跑”的精细化运营及实时化和自动化的决策需求,如何提高实时数据处理能力将成为企业提升竞争力的一大因素。 而企业在建设实时数据应用时,又往往面临诸多困难: 实时开发技术门槛高,学习难度大,开发过程依赖各种引擎,链路复杂 开发数据效率低,代码调试复杂 建设成本、使用成本高 数据建模及开发规范不统一,问题难监控,管理困难 为了解决这些问题,我们在实时建设过程中需要确定建设方式和建设目标,帮助企业更好的实现实时数仓建设。 二、实时数仓建设方法论 如何帮助企业建设实时数仓,我们主要从以下四个步骤入手: 1、明确需求 企业进行实时数仓建设的第一步是明确需求,需求需要业务需求和技术需求想结合。 1)业务需求方面: 详细梳理各类实时计算应用场景 详细梳理每个实时指标的具体需求 2)技术需求方面: 详细梳理每个实时指标的数据来源信息 2、技术选型 第二步技术选型阶段,技术选型包括四个方面的选型: a、整体技术路线 b、采集工具 c、消息中间件+计算引擎及 d、维表、结果表的存储数据库 3、数仓设计与开发 第三步是数仓设计与开发,包含一下三个方面: a、实时数仓分层设计 b、开发规范 c、代码开发与调试 4、管理与监控 第四步是管理与监控,可以从任务发布、运行监控与告警、实时数据治理这3个部分入手。 三、基于数栈实时开发平台建设实时数仓 分享完实时数仓的建设方法论,接下来来为大家分享实时数仓的建设流程。 第一步:实时采集 基于Chunjun(原FlinkX)对数据库进行CDC采集,实现采集工具化,可对主流数据源进行CDC(日志数据)和通过JDBC(间隔轮询)两种实时采集方式。 1、CDC读取 读取数据库日志的方式,对源库无压力 2、JDBC读取 面向不开放数据库日志的场景,通过高频率的JDBC轮询读取数据,要求有自增字段 第二步:数据开发 1、数据开发基础功能 现在展示的是数据开发的一些基础功能,包括:WEB SQL IDE、可视化建表、维表缓存策略及系统&自定义函数,丰富的底层组件封装,界面化操作,降低开发门槛,使开发人员专注于业务逻辑处理。 2、数据开发高阶功能 除了数据开发的基础功能之外,还有面向特定行业或场景的高阶配置,包括自动重试、自动启停、脏数据管理。 第三步:发布上线 开发完毕之后就是任务的发布上线,发布上线包括任务调试和任务导入导出两个方面。 第四步:任务运维 任务运维就是全局掌控任务的运行,对于一些异常或紧急情况进行处理的过程。 上述的实时数仓建设过程,其实正是袋鼠云自研的数栈实时开发StreamWorks产品的落地实践过程。 云原生一站式大数实时开发平台(StreamWorks),面向实时数仓构建的云原生一站式大数据实时开发平台,实现从实时数据采集、实时数据处理、任务监控运维的全链路覆盖。支持Flink多版本引擎、Kubernetes资源调度,提供丰富的运维监控曲线,助力企业实时化转型。 图片 同时产品具备以下特点: 采集+计算+运维一体化 内含实时开发全链路工具,采集、计算、运维一体,降低客户使用成本,降低实时计算门槛。 统一元数据管理 支持输出自研Hadoop集群,同时可对接CDH、HDP、TDH等多集群及Oracle、TiDB等多引擎;节点资源可根据计算存储需求快速弹性伸缩,业务需求稳定响应。 批流一体 支持Flink批流一体式采集+开发, 集成Iceberg,赋能一体式湖仓建设模式。 功能丰富 平台提供任务跨环境发布、代码调试、SQL校验、提交检查、自动启停、批量连接现存任务等丰富功能 云原生支持 在支持YARN+HDFS的基础上,同时支持Kubernetes资源调度、MinIO、OSS等对象存储 同时产品具备3大价值: 降低开发门槛 兼容了多版本引擎、适配多种数据源,封装集成为可视化操作界面。基于Web IDE,图像化配置表信息并使用SQL语言进行开发,降低整体上手门槛 全面运维保障 提供任务全生命周期的可视化运维。全链路拓扑、丰富Metirc曲线展示、多方式多渠道任务告警,帮助用户搭建全面运维体系,提高运维保障。 促进数据规范 协助企业构建实时数仓,建设实时数据标准及规范。搭建一套实时任务调度、任务运行监控及实时任务可靠恢复机制于一体的实时数据平台,保障数据质量,提供统一标准的数据出口。 四、实时数仓建设案例 接下来我们分享两个使用客户的实际案例,为大家介绍实时开发平台如何切实的帮助客户解决问题。 某国有专业经济信息服务机构 某证券客户 五、数栈批流一体架构解析 最后我们为大家介绍一段拓展资料,关于数栈批流一体架构的解析。 批流一体整体架构 批流一体核心价值 批流一体数据建设链路 批流一体采集技术架构 原文来源:VX公众号“数栈研习社” 袋鼠云开源框架钉钉技术交流群(30537511),欢迎对大数据开源项目有兴趣的同学加入交流最新技术信息,开源项目库地址:https://github.com/DTStack

优秀的个人博客,低调大师

直播回放:快速上手,使用 Kotlin 把支付宝小程序装进自己的 App

写一个 Android App 或许不难,但企业对于移动应用的要求愈来愈高,不只要求开发速度、稳定度、质量等,甚至希望能具备动态扩展的架构设计、在 App 中自启动小程序。面向这些需求,若是有好的开发工具及平台的支持,将可以大大降低开发及运维的成本。本次网络研讨会特别邀请到支付宝高级无线开发工程师温盛章为大家演示用 Kotlin 开发移动应用,并集成 mPaaS 让 App 具备小程序能力。 ▶点击观看全程回放 主题分享 本次分享共有三个关键字:Kotlin 、 小程序 、 mPaaS 。温盛章首先从用户、开发、技术、平台等四大视角,向大家说明小程序是什么?简单来说,小程序就是一种拥有完整生命周期、应用间相互隔离、独立运行于宿主应用内的应用。而小程序从工作型 App、平台型 App、超级 App 到新阶段一路的演化历程,目前已经可以有接近 Native 的体验和顺畅、也可以有 H5 的快捷发布的优势。 对小程序有概念后,温盛章就以 Android Studio 演示如何在一个 Mobile App 里,以 Kotlin 撰写 Mobile App 的代码,并接上 mPaaS 平台,让 App 有自启动小程序的能力。要接入 mPaaS,首先需在 Android Studio 里安装 mPaaS 插件,并到阿里云的 mPaaS 后台创建一个新建用。接着,在 Android Studio 里通过插件介入 mPaaS 后下载设置文件及基线。再来,依照项目的需求,下载所需的 mPaaS 组件。完成这些设置后,在 Native 部份,仅需 App、Activity、Plugin 三个文件,就可以做出一个接上小程序的简单应用。 小程序的部份,可以通过 mPaaS 的 IDE 撰写 HTML、CSS、JS 完成小程序端的开发,上传至 mPaaS 后台后,就可在 App 里启动。不仅如此,mPaaS 的 SDK 还可以将 Native 端与小程序间打通,两者可以交互传递信息,只要照着文档示例操作,一个具备小程序能力的移动应用,就在不到 1 小时内完成! 听完这场分享后,相信大家都能体验小程序在开发及部署的好处、Kotlin 语法的简洁及 mPaaS 服务的完整性。通过这样的工作流,可帮助您实现“代码仅需撰写一次,便可多端投放”,从而深度提升研发效率。 Q&A Q. 学习 Kotlin 可以完全不用懂 Java 吗?或者了解下 Java 的一些基本知识就够了? 温盛章:Kotlin 在设计上有许多语法糖,像是 Extension 可以轻松的依据需要做扩展、Lambda 表达式可以构成 DSL 的能力、Coroutine 把线程封装后更好使用,加上现在 Google 的 Android 团队采用 Kotlin 做为官方语言,所以我觉得可以先以 Kotlin 为主去学习 Android 开发。不过,别忘了 Kotlin 最终还是编译成 JVM 的字节码,所以要搞清楚底层的话,一些基本功还是不能落下。 范圣佑补充:学习 Android 时,可以到 Google 的 Code Lab 上学习,非常适合初学者。 Q. 我的理解是 Kotlin 是负责数据的处理,而像获取安卓手机信息这个功能只需要调用安卓的一些组件就能实现了是吗? 温盛章:这个东西需要隔离开来看,我们可以先把 Kotlin 理解成一个槌子,调用安卓组件我们可以简单的理解成钉子。怎么把钉子打到墙里面,你可以用槌子、也可以用剪刀,只要能完成任务就行。但很明显的,用剪刀把钉子打到墙里估计要比槌子难,所以 Kotlin 在这里就是扮演着槌子的角色。就我自己使用的经验来说,Kotlin 在提升效率这方面带来非常大的帮助。原本用 Java 得写又臭又长的代码,改用 Kotlin 后就变得非常的简洁。 我这边要特别强调一下 Kotlin 里 Null Safety 的特性,以前在 Java 里一个变量是否为 Null 需要在逻辑层里自行解决,但在 Kotlin 里可以用问号,通过编译器就可以预先做好对空值的处理。这部份的强化和提升是我非常喜欢的。 Q. 用 Kotlin 开发安卓,用 Andriod Studio 比较好还是用 IntelliJ IDEA 更方便些,有哪些好用的插件了可以推荐下? 范圣佑:Android Studio 和 IntelliJ IDEA 是使用相同的 IntelliJ Platform 打造出来的,所以在 UI、快捷键操作上其实都很雷同,许多插件也是可以互通的。若你只需要开发 Android 的话,用 Android Studio 其实就可以满足你的需求;但若你不仅需要开发 Android,还需要开发像 Web、数据库的工作,那会推荐使用 IntelliJ IDEA Ultimate 版才能满足各方面的需求。 温盛章:单纯开发 Android 或 Android 与其他工程混在一起的项目,我会推荐用 Android Studio;但假如是纯 Java 或 Kotlin 的项目,我就会推荐用 IntelliJ IDEA,而且非常推荐使用 Ultimate 版,因为 Ultimate 版相比 Community 版提供了更多的功能,非常的好用。 两位推荐的插件包括: 1)在演示过程中可以显示快捷键提示的 Presentation Assistant 插件 2)让 IntelliJ IDEA 可以有像 Vim 一样操作模式的 IdeaVim 插件 3)本次演示的主角 mPaaS 插件(目前仅支持 Android Studio) 4)用 Annotation 让 Java 有一些类似 Kotlin 特性的 Lombok 插件 Q. 有办法可以 Android 模拟器调试吗? 温盛章:以开发 mPaaS 应用来说,因为没有提供 x86 及 x64 的 Native 支援,所以很遗憾的目前没有办法以 Android 模拟器调试,只真机调试。对于 Android 开发者来说,因为 Google 及许多平台的 SDK 对 x86 的支持也不是那么的好,加上考虑自己的电脑是不是够快,所以 Android 开发我还是强调建议真机调试。 Q. 请问手机投屏的软件是? 温盛章:付费版的 Vysor。 Q. 请问小程序怎么不选择 Flutter 作为引擎? 温盛章:小程序的好处是上层使用的语言(也就是使用 HTML、CSS、JS)及下层搭配用 Web View 显示已经固定且稳定,所以 mPaaS 优先支持这样的架构。而 Flutter 在下层使用的引擎不同,我们其实已经有在做尝试,但现阶段还不适合商业公开。等到技术上够成熟后,会再公开 mPaaS 与 Flutter 的版本。 END

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

用户登录
用户注册