首页 文章 精选 留言 我的
优秀的个人博客,低调大师

微信关注我们

原文链接:https://yq.aliyun.com/articles/580878

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

MaxCompute的任务状态和多任务执行

本文作者:龙利民 企业介绍: ofo 小黄车是一个无桩共享单车出行平台,缔造了“无桩单车共享”模式,致力于解决城市出行问题。用户只需在微信服务号或App输入车牌号,即可获得密码解锁用车,随取随用,随时随地,也可以共享自己的单车到 ofo 共享平台,获得所有 ofo 小黄车的终身免费使用权,以1换N。 我们在使用MaxCompute的时候,我们其实非常期望知道当前有多少任务在跑,哪些任务耗时长,哪些任务已经完成,并且能通过任务的logview来分析任务耗时长的原因。 任务状态监控 MaxCompute的任务状态分Running和Terminated, 其中Running是包含:正在运行和等待运行的两种状态,Terminated包含:完成、失败、cancel的任务三个状态。阿里云提供了获取上述2种状态的SDK函数,odps.list_instances(status=Running|Terminated, start_time=开始时间,结束时间)。为了实现秒级别更新任务状态我们可以用以下思路来实现。 1、对于已经running的任务,我们需要快速更新它的状态,有可能已经完成了; 2、不断...

初创企业的选择——MaxCompute

前不久刚加入了一家初创公司,公司立足于已有数据资产,计划全力打造自有数据平台。对于刚起步的初创企业,节省的一分钟,无疑都能提高企业在众多竞争对手中的存活率。而自建大数据计算平台对于一个初创团队无论实在时间,人手,技术上无疑是难以实现的,而团队应该专注于业务逻辑的开发。上云成了创业团队踏入大数据大门的唯一选择。 在选择产品之前,我们先对自己的需求进行了梳理。 首先,日常的业务数据需要存储在关系型数据库中,用以保证事务的一致性。然后,需要在业务数据的基础上,周期性计算指标值,周期一般为日、周、每月。此外,为了实现数字化营销,还需要做大量的数据分析和部分数据挖掘。通过预估发现,业务数据中将有超过3张以上的核心表数据量达到千万以上,当需要进行指标计算时,无法在关系型数据库中完成关联查询。为了得到结果,必须选择另外一种数据计算和存储方式来完成清洗转换以及逻辑处理。同时要满足从关系型数据库到数据仓库的快速数据同步。 经过多番对比选择,发现阿里的MaxCompute是一个具有良好生态,以及周边服务套件的大数据开发平台。从数据的采集,清洗到数据的处理,数据挖掘,数据的应用展现,数据流转的生命周期...

相关文章

发表评论

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

用户登录
用户注册