【直播预告】计算中间件Linkis开源技术的应用和实践
摘要:一站式开源大数据平台套件WeDataSphere第2期线上 Meetup
7月9日 第2期WeDataSphere线上 Meetup将与大家见面,Linkis项目负责人暨微众银行大数据平台负责人,以及三位社区committer天翼云大数据平台负责人、艾佳生活架构师、MobTech大数据平台专家将做客直播间,同大家分享计算中间件Linkis 在各家公司的精彩应用案例与生产实践,以及Linkis 1.0.0最新版本的Roadmap和架构设计思路,并带来WeDataSphere大数据平台套件的最新开源进展和相关规划。
欢迎大家一起参与到WeDataSphere开源项目中来,我们欢迎在github、gitee以及社群里任何形式的互动与贡献,期待你的加入!
欢迎扫码入群交流,直播地址也将在开播前发送到WeDataSphere社区用户群,敬请关注。
议程
19:00-19:25 Linkis 1.0.0架构设计思路和WeDataSphere后继开源规划介绍
19:30-19:55 Linkis在中国电信的实践与展望
20:00-20:25 Linkis on K8S
20:30-20:55 借力 Linkis 完善 MobTech 大数据开发平台
20:55-21:10 WeDataSphere社区用户问答
嘉宾及议题介绍
Linkis 1.0.0架构设计思路和WeDataSphere后继开源规划介绍
邸帅 微众银行大数据平台负责人
Linkis在中国电信的实践与展望
议题介绍:首先将回顾,复杂分布式架构环境下,上层应用和底层计算存储引擎紧耦合直连模式所带来的计算治理问题,及计算中间件Linkis 0.X版本如何应对解决;
然后解析基于对计算治理问题的深挖思考,和广大社区用户使用实践反馈,Linkis 1.0对核心处理流程和模块的梳理优化,及对更丰富强大计算治理功能需求的设计实现思路;
最后展望基于全新的1.0架构,Linkis未来对更全品类计算存储场景的支持覆盖能力建设,及对路由、高可用、HTAP、跨引擎混算等复杂痛点问题的解决思路。
王小刚 中国电信天翼云大数据平台负责人
议题介绍:电信拥有海量的数据宝藏,如何管理好这些宝藏,保证系统和安全性和易用性,并发挥好它的价值,是一个值得挑战的难题。我们选择了开放优秀的Linkis,基于Linkis构建大数据开发与服务平台,做相应配和加强。本次简述电信对Linkis的使用,基于Hadoop3的适配,一些组件的整合,正在做的引擎启动慢优化思路,以及未来展望。希望能跟Linkis一起成长,积极响应国家新基建战略号召,为国家新基建的建设尽一份力量。
Linkis on K8S
张荣 艾佳生活架构师
议题介绍:艾佳生活基于云原生12要素,在linkis基础上发布linkis on k8s,分支dev-0.13.0。Linkis docker镜像作为制品发布,可以省去每个人排包,编译过程基于cgroup隔离可以保证每个linkis微服务不会由于超卖而影响其他linkis微服务,做到cpu,mem,io,disk的隔离。
k8s会自动去监控linkis微服务,然后重启、新建;总之,让linkis每个微服务一直提供服务。k8s提供滚动发布,弹性伸缩,故障迁移,保证linkis高SLA,满足业务7*24使用。
借力 Linkis 完善 MobTech 大数据开发平台
王震 MobTech大数据平台专家工程师
议题介绍:数据开发流程繁琐,现有平台各个系统相对独立,加大了大数据任务的开发和维护的成本。如何打造一个一站式数据开发平台,打通现有系统,简化数据开发流程?本次演讲将分享 MobTech 团队如何基于 Scriptis 和 Linkis 搭建数据开发平台,打通大数据任务的开发、发布调度的流程。在使用 Linkis 的过程中 MobTech 团队也成为了社区重要的合作伙伴之一,主导了 0.11.0 版本的发布,这次分享将会介绍 0.11.0 版本添加的主要功能。

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
Java并发编程(06):Lock机制下API用法详解
本文源码:GitHub·点这里 || GitEE·点这里 一、Lock体系结构 1、基础接口简介 Lock加锁相关结构中涉及两个使用广泛的基础API:ReentrantLock类和Condition接口,基本关系如下: Lock接口 Java并发编程中资源加锁的根接口之一,规定了资源锁使用的几个基础方法。 ReentrantLock类 实现Lock接口的可重入锁,即线程如果获得当前实例的锁,并进入任务方法,在线程没有释放锁的状态下,可以再次进入任务方法,特点:互斥排它性,即同一个时刻只有一个线程进入任务。 Condition接口 Condition接口描述可能会与锁有关联的条件变量,提供了更强大的功能,例如在线程的等待/通知机制上,Conditon可以实现多路通知和选择性通知。 2、使用案例 生产消费模式 写线程向容器中添加数据,读线程从容器获取数据,如果容器为空时,读线程等待。 public class LockAPI01 { private static Lock lock = new ReentrantLock() ; private static Condition condi...
- 下一篇
smart-doc 1.8.9 发布,Java 零注解文档生成工具
smart-doc是一款同时支持java restful api和apache dubbo rpc接口文档生成的工具,smart-doc颠覆了传统类似swagger这种大量采用注解侵入来生成文档的实现方法。 smart-doc完全基于接口源码分析来生成接口文档,完全做到零注解侵入,你只需要按照java标准注释编写,smart-doc就能帮你生成一个简易明了的markdown 或是一个像GitBook样式的静态html文档。如果你已经厌倦了swagger等文档工具的无数注解和强侵入污染,那请拥抱smart-doc吧! 功能特性 零注解、零学习成本、只需要写标准java注释。 基于源代码接口定义自动推导,强大的返回结构推导。 支持Spring MVC,Spring Boot,Spring Boot Web Flux(controller书写方式)。 支持Callable,Future,CompletableFuture等异步接口返回的推导。 支持JavaBean上的JSR303参数校验规范,支持分组验证。 对json请求参数的接口能够自动生成模拟json参数。 对一些常用字段定义能够生成有...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS7安装Docker,走上虚拟化容器引擎之路
- CentOS7设置SWAP分区,小内存服务器的救世主
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- CentOS7,8上快速安装Gitea,搭建Git服务器
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2全家桶,快速入门学习开发网站教程
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装