阿里关涛谈大规模计算—从数字化阿里到数字化城市的进化
在刚刚结束的2018杭州云栖大会上,阿里巴巴通用计算平台负责人,阿里巴巴计算平台资深技术专家关涛从计算力,联合计算,智能化,企业级服务能力四个方面详细介绍阿里巴巴统一的超大规模数据计算平台MaxCompute的探索与实践。从数字化阿里巴巴,到数字化企业,再到数字化城市,MaxCompute快速进化,加速科技普惠, 驱动数字中国。
飞天2.0 MaxCompute是阿里巴巴在9年前做飞天系统的三大件之分布式计算部分。9年后的今天,MaxCompute已经是可以承载EB级的数据存储能力,百PB级的单日计算能力,公共云覆盖国内外十几个国家和地区,专有云包含城市大脑在内部署超过100+套的阿里巴巴的统一计算平台。
阿里巴巴集团副总裁周靖人在本次云栖大会接受采访时称,阿里巴巴从2008年就开始做大数据
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
基于 ElasticSearch 搜索服务的简易 API 调用
Search项目是基于ElasticSearch搜索服务提供的简易API调用,支持以下功能 数据索引 添加索引数据 更新索引数据(UpdateById/UpdateByQuery) 数据批量操作(批量添加/删除/修改) 路由(routing) 建议查询(Suggest) Mustache模板查询 索引数据删除(DeleteById/DeleteByQuery/DeleteByType) 检索功能 检索功能,支持基本逻辑查询: “& | ! ” 查询 “ 嵌套 & | ! ”查询 EQL查询(自定义SQL) 聚合查询方式 每个简单数据类型查询单元支持 {term:中国西域} --- 精确查询 {match:中国西域} --- 匹配(支持分词) {prefix:中国西域} --- 前缀 {wildcard:W?F*HW} --- 通配符 {regexp:W[0-9].+} --- 正则 类SQL查询规则 概念: 搜索单元 概念:用于搜索的“一个”逻辑单元,小括号括起,并且每个括号是一个field的比较 书写形式:(field:value) Note:(a:1)、(1<...
- 下一篇
DataWorks如何将shell任务运行在自定义资源组上
在进行数据开发中,有很多时候需要使用shell 来调用其他语言。但是在DataWorks上,底层的机器运行任务时都会有沙箱限制,沙箱会限制网络访问和禁止本地IO读写等等,会带来诸多不便。那么我们如何将这部分任务运行在非沙箱环境(自己的机器上)呢。 我们可以将任务的运行环境预先在某台机器上准备好,然后将任务指定在这台机器上运行。 注:目前只有华东2支持将shell任务运行在自定义资源组上。 新增自定义资源组,这部分可以直接查看DataWorks的官网文档新增资源组,本文不多做赘述。 准备任务运行环境,用户自行准备。 编写任务代码。 将任务指定在新增的资源组上运行。
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS8安装Docker,最新的服务器搭配容器使用
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- CentOS8编译安装MySQL8.0.19
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- SpringBoot2整合Redis,开启缓存,提高访问速度
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- Hadoop3单机部署,实现最简伪集群
- CentOS7,CentOS8安装Elasticsearch6.8.6
- CentOS6,7,8上安装Nginx,支持https2.0的开启