初探百度大数据分析挖掘平台Jarvis
在人工智能时代,企业既想通过大数据分析、挖掘技术提升效率,又被大数据量分析、机器学习挖掘等相关技术门槛阻扰,需要一款数据分析挖掘产品跨越这个鸿沟。Jarvis在这个背景下应运而生。Jarvis是支撑大数据分析挖掘应用开发的工具和平台,定位在企业开发者和大数据分析挖掘技术之间,提供可视化交互方面的支持,使得大数据分析、挖掘技术能快速转化为满足企业应用场景的具体产品。
据了解,Jarvis技术实施栈纵向分层、横向分级确保可全流程解决数据分析挖掘过程中的数据处理、计算资源、算子算法支持、环境部署等各环节问题,同时针对用户进行功能分级、并最大限度保持可扩展,为真正成为一款造福数据科学家、业务开发者、数据分析师、产品经理、决策分析者等各类开发用户的产品而努力。
一个经典的数据挖掘分析应用过程包括,数据获取、数据预期处理、特征提取、建模开发、预测部署、投入应用。Jarvis充分调研分析开发实施人员在各环节面临的处理场景、可能的高效、方便的工作方式,进行了抽象设计实现:
数据连接,支持结构化、非结构化多类型数据接入,支持私有数据接入、支持云Bos、分布式HDFS、关系型数据库等等多类型数据源读取及灵活挂载。
数据准备,提供支持文本、图像类型的交互式的数据清洗、预处理工具,方便进行数据高效准备。
数据分析,支持PB级别的SQL交互式查询分析、Spark处理;同时提供丰富的可视化数据探查工具,方便开发者获取高价值有效样本。
挖掘建模,内置了丰富的基础算子算法供开发者高效进行建模开发;同时预置了经典的垂类行业解决方案,可以低成本在匹配场景进行高效实施。
模型部署,生成模型可直接发布、部署,并支持动态热加载。提供了常用模型评价指标的效果监控功能供一键选择监控、支持自由扩展。
流程监控,开发者进行的全工作流实现自动Track,新数据可自动触发重跑全流程。
云原生服务
在数据分析挖掘全流程及服务过程中,不同的场景、不同的数据、不同的处理阶段、不同的开发者对于环境的需求、对于资源的需求多种多样,这就需要数据分析挖掘平台的资源(包含开发环境资源)管理要能灵活接入、弹性拉伸、扩展方便,确保稳定及资源利用高效。Jarvis采用了云原生服务架构的方式实现。
自动机器学习AutoML
策略模型研发人员大量的时间花费在选取不同的特征数据、进行不同的算法选择尝试、参数调优中,最终获得一个高效的模型。AutoML理论上可通过设置自动尝试多数据特征、多算法、测试完全不同的模型架构,然后与目标相匹配,给出最终解决问题的方案。
行业解决方案
同行业的不同企业往往存在共性的数据分析挖掘场景,例如:电力行业,用电量预测;工业物理网类,设备故障检测、故障预测等。这些同类场景要解决的问题类似、要分析的数据类似,因此可以抽象通用的行业解决方案在同类场景下复用、快速投入应用。对于深层次的数据挖掘开发者,同样有大量通用的算法、算子库可以相互复用,提升开发效率。Jarvis从基础算法、通用模型、垂类解决方案分层内置能力并不断扩展集成,为不同场景需求的开发者用户提供了高效复用能力。
百度开发者大会期间,Jarvis通过点石-大数据众智平台(dianshi.baidu.com, DataLab板块)邀测了第一批用户进行增强版基础开发环境的使用(内置了丰富的算子算法库及百度AI开放接口),受到用户的一致好评。
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
https的优缺点
网站安全问题主要表现在: 1. 首页被篡改、非法跳抓 2. 网站被灌入广告,但收入不归自己网站所有 https是公认可以有效的防止网站被黑客篡改的认证协议 https的优点: 安全方面: 在目前的技术背景下,https是现行架构下最安全的解决方案。 1. 使用https协议可认证用户和服务器,确保数据发送到正确的客户机和服务器; 2. https协议是有ssl和http协议构建的可 进行加密传输、身份认证的网络协议,要比http协议安全,可防止数据在传输过程中不被窃取、改变,确保数据的完整性 3. https是现行架构下最安全的解决方案,虽然不是绝对的安全,但它大幅度增加了中间人的攻击成本 网站收益: 1. 网站更安全,对应网站的评价会相对高些 2. 网站更安全,对应网站落地体验也是更加的优质 3. 在宿舍展示端,做https改造的网站,在搜索改造下会出现https的展现样式 https的缺点: 1. ssl的专业证书可能要花费一定的费用,功能越强大的证书费用越高 2. 需要站点投入人力成本,技术改造视站点情况而定
- 下一篇
ONAP Casablanca版本关键技术研讨会在西安举行
2018年8月9日至10日,由中国移动主办,华为公司协办的ONAP Casablanca版本关键技术研讨会在中国西安成功举办。来自中国移动、中国电信、中国联通等电信运营商和华为、中兴、VMware、风河、爱立信、亿阳、联想、烽火等厂商的专家和开发者参加了此次大会,针对计划于今年11月发布的ONAP Casablanca版本研发中的关键技术和合作策略展开讨论,重点包括5G、Edge等业务场景和SO、VF-C、Modeling、Multi-Cloud等核心模块设计实现、以及提升安全性和可部署性等问题。 部分参会代表合影 中国移动作为LFN和ONAP主导创始会员,一直致力于ONAP项目研发、推广与应用,Casablanca版本是实现ONAP规模商用的关键版本,目前中国移动除了在ONAP社区中投入力量主导业务场景设计、核心模块实现和集成测试验证之外,还在积极组织定制产品的试验网测试与核心网试点。 华为一直致力于推动ONAP平台成为运营商数字化转型的通用平台,在ONAP社区中持续投入。在此次研讨会上华为专家结合华为多年业务实践,主要针对ONAP安全性,Modeling,5G场景等话题与业界专家展...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- CentOS8编译安装MySQL8.0.19
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- SpringBoot2整合Redis,开启缓存,提高访问速度
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- Hadoop3单机部署,实现最简伪集群
- CentOS7,CentOS8安装Elasticsearch6.8.6
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果