首页 文章 精选 留言 我的

精选列表

搜索[阿里达摩院Paraformer],共10000篇文章
优秀的个人博客,低调大师

阿里云 MaxCompute 2021-1 月刊

1、【价格调整】MaxCompute 存储服务单价调整MaxCompute 按量付费存储单价由梯度定价统一下调整为月固定单价,中小规模企业数据仓库存储成本最高降四成。 价格调整内容2021/1/10日起,MaxCompute 数据存储服务由阶梯定价调整为固定定价,新定价将降低中小数据规模客户的MaxCompute存储成本:MaxCompute存储由梯度定价(小于等于10TB单价:0.0072元/GB/天、大于10TB小于等于100TB单价:0.006元/GB/天、大于100TB单价:0.004元/GB/天)调整为统一定价:0.12元/GB/月(即,0.004元/GB/天) 新定价将降低中小数据规模客户的MaxCompute存储成本,其中存储10TB的MaxCompute项目,可节省44%存储成本;大于10TB小于等于100TB,最高节省34%。 示例说明 A客户当前 MaxCompute 项目P1存储数据大小为5TB,2021/1/10前每月存储成本为 510240.216=1106元,2021/1/10后每月存储成本为 510240.12=614元, 少44%存储成本; B客户当前MaxCompute项目P2存储数据大小为80TB,2021/1/10前每月存储成本为 (1010240.216+7010240.18)=15114元,2021/1/10后每月存储成本为 8010240.12=9830元,减少35%存储成本; C客户当前MaxCompute项目P3存储数据大小为150TB,2021/1/10前每月存储成本为 (1010240.216+9010240.18+5010240.12)=24944元,2021/1/10后每月存储成本为 15010240.12=18432元,减少26%存储成本; 2、【新功能】 MaxCompute管家支持子账号权限管理MaxCompute管家支持对子账号进行权限管理以便子账号进行配额组和作业管理。 适用客户适用 MaxCompute 用户的管理者对子账号进行权限管理。 发布功能MaxCompute 管家支持对子账号进行权限管理,以便支持子账号进行资源配额组和作业管理。MaxCompute 管家按日常管理业务划分几种角色和权限: 超级管理员:支持查看并操作MaxCompute管家界面的所有对象。 项目管理员:支持查看MaxCompute管家界面的所有对象,但只能终止对应项目正在运行的作业。 配额组管理员:支持查看MaxCompute管家界面的所有对象,但只能终止对应配额组正在运行的作业。 访客:默认所有RAM用户可以访问MaxCompute管家,无需额外授权,可以查看MaxCompute管家界面的所有对象,只能终止自己提交的正在运行的作业。 查看文档 >>3、【新功能】 MaxCompute 全量作业管理MaxCompute管家推出作业管理功能,提供开发人员和管理人员对全量作业按时间段、状态以及更多细粒度条件进行查找并做相应管理。 适用客户 基于MaxCompute的大数据开发人员,进行作业日常运维管理。 使用MaxCompute用户的相关管理人员,进行日常资源/作业负载监控。 发布功能通过 MaxCompute 管家提供的作业管理功能,可以按作业提交时间段、作业状态、项目、配额组以及instance id、提交人这些精准条件进行作业查找,查看作业基础信息以及对应Logview,为正在运行状态的作业提供杀作业功能,支持查找所有状态的全量作业,显示的作业状态为终态。 通过作业管理,数据开发人员对自己提交或管理的作业进行日常运维时,可方便的通过各种筛选条件进行搜索,可按时间段、可跨项目查看作业列表;支持检查当天的失败作业并进行检查处理,支持通过时间段和状态筛选作业,方便查看作业基础信息、Logview;支持对running状态作业kill job,大大提升了作业日常运维效率。对于管理人员,可通过作业管理查看过去/当前作业整体资源负载情况,也可以查看各时间段作业运行情况以便对资源进行更好的规划;当审计需要精准查看某个作业信息时可以快速进行查找。 查看文档 >>MaxCompute 产品官网 >> 阅读往期月刊 >> 更多关于大数据计算、云数仓技术交流,可扫码加入 “MaxCompute开发者社区” 钉钉群

优秀的个人博客,低调大师

阿里云 MaxCompute 2020-12 月刊

【12月新发布功能】 1、MaxCompute 查询编辑器支持查询加速提升数据分析能力 MaxCompute 数据分析支持查询加速,当分析师通过SQL查询数据时,速度可提升至秒级,为数据分析师提供更优的数据分析体验。 适用客户及场景 数据分析师,尤其适用于数据分析师对离线数仓的数据进行取数,再通过Excel进行二次分析的场景。 发布功能 MaxCompute 数据分析查询模式支持 MaxCompute 查询加速,对于中、小数据量查询作业将执行时间从分钟级缩减至秒级。 通过 MaxCompute 查询编辑器发起查询 SQL 会优先通过查询加速进行查询,若满足则秒级返回结果,若不满足查询加速条件,则会回退离线查询,保障查询作业正常执行。 结合查询编辑器丰富的web-excel分析功能,数据分析师可通过MaxCompute数据分析快速的进行一站式数据查询、结果二次分析及结果分享。 MaxCompute查询加速功能当前支持按量计费资源,若您的项目使用包年包月资源,暂时还无法满足查询加速。 查看文档 >>2、MaxCompute 流式数据写入服务(Streaming Tunnel)公测发布 MaxCompute Streaming Tunnel 服务,支持 API 方式实现流式数据无感知高 QPS 写入 MaxCompute。 适用客户 有实时计算Flink、数据通道DataHub、数据传输服务DTS、消息服务kafka、实时数据同步等场景的企业、机构。 发布功能 流式语义API:全新的API,简化分布式服务开发操作。 自动创建分区:支持分布式服务并发创建分区。 支持数据异步 zorder by 排序功能。 查看文档 >>3、MaxCompute 按量计费 SQL 支持日累计消费限制 MaxCompute 发布按量计费 SQL 日累计消费限制功能,该功能可以实时监控并阻止按量计费 project 的 SQL 消费超出预算。 适用客户及场景 • 数据开发人员在数据开发过程中,通过开发项目进行数据探查、SQL测试等操作时,容易发起大输入量SQL且不能及时感知的,可通过该功能进行日累计总消费的限制。 • 数据分析师通过SQL查询取数时,容易发起大输入量的查询SQL,此时可单独划分项目给分析师取数,并通过该功能进行日累计总消费限制。 发布功能 MaxCompute 发布按量计费 SQL 日累计消费限制功能,提供对整个 Project 标准 SQL 日累计消费进行限制。 Project 内当日标准 SQL 发生的计量累计消费与正在发起的标准 SQL 预估消费总和大于设定的值,则正发起 SQL 会被限制执行,返回失败状态并给出失败信息,通过该功能阻止标准 SQ L日累计消费超出预算。 在设置前,需要充分评估日常消费量,设置合理值,避免累计消费超过设定值后导致 SQL 作业无法执行而耽误业务产出。如发现设置不合理,Project owner 或拥有 SuperAdministrator 的管理员可以随时进行调整。 查看文档 >>4、MaxCompute 运行中作业快照 Information_Schema.Tasks 内测发布 Information_Schema.Tasks 视图提供运行中作业的详细信息,支持通过该数据接口进行实时作业监控。 适用客户 需要实时监控作业并优化资源使用的客户 发布功能 以 Information_Schema.Tasks 视图方式,提供当前运行中作业的详细信息,包括作业列表以及各作业 cpu/内存使用大小和资源占比、运行时长等信息。通过该视图,使用人员可以快速定位运行时间较长的慢作业、资源消耗高的大作业,从而有针对性地进行作业优化或资源容量规划。 查看文档 >>5、MaxCompute 新建 Project 默认提供 Information_Schema 服务(中国区)发布 新建的Project,无需管理员手动安装,默认自动提供 Information_Schema 元数据服务,便于用户查看使用。 优化功能 创建新的 MaxCompute Project,系统将自动提供该 Project 的元数据视图,不需要管理员通过安装 Package 方式获取,Information_Schema 成为 MaxCompute 默认提供的服务内容。MaxCompute 产品官网 >>阅读往期月刊 >> 更多关于大数据计算产品技术交流,可扫码加入 “MaxCompute开发者社区” 钉钉群

优秀的个人博客,低调大师

阿里云 MaxCompute 2020-10 月刊

【10月新功能发布】 1、MaxCompute 支持 sort by 不带 distribute by MaxCompute 支持 sort by 不带 distribute by,提供数据重排的解决方案,提高SQL执行的过滤性能。 适用客户开发者 发布功能MaxCompute 支持不带 distribute by 的sort by,提供数据重排的解决方案,提高谓词下推的过滤性能。当 sort by 语句前没有 distribute by 时能够增加 存储压缩率,同时读取的时候如果有过滤,能够利用这个信息减少真正从磁盘读取的数据量,提高后面进行的全局排序的效率。 查看文档 >>2、SEMI JOIN 支持 MAPJOIN Hint SEMI JOIN支持MAPJOIN Hint,提高 LEFT SEMI/ANTI JOIN的性能,为数据倾斜问题提供解决方案。 适用客户开发者,分析师 发布功能当一个大表和一个或多个小表JOIN时,用户可以在SELECT语句中显式指定MAPJOIN Hint以提升查询性能。目前MAPJOIN Hint进一步支持 LEFT SEMI JOIN和LEFT ANTI JOIN, 可以提高SEMI JOIN的性能,同时也为数据倾斜问题提供解决方案。 查看文档 >>3、OSS外部表CSV/TSV文件支持GBK编码格式 OSS外部表CSV/TSV文件支持GBK编码格式。 适用客户开发者 发布功能OSS 外部表 odps.text.option.encoding 原先支持三种格式:UTF-8/UTF-16/US-ASCII,在新版本中增加了对GBK编码格式的支持。 查看文档 >>4、批量 Drop Partition 支持条件筛选 使用条件表达式匹配选中的分区进行批量删除,满足用户希望一次删除符合某个规则的一个或多个分区的需求。 适用客户开发者、数据仓库管理员 发布功能支持条件筛选方式删除分区。如果用户希望一次性删除符合某个规则条件的一个或多个分区,可以使条件表达式匹配选中的分区进行批量删除。 查看文档 >>5、MaxCompute 新增支持更多内置函数 新增 WIDTH_BUCKET 函数,时间函数 year/quarter/month 等对 DateTime 输入数据类型的支持。 适用客户开发者、数据分析师 发布功能WIDTH_BUCKET函数:获取某个字段值落入的分组编号,设定分组范围的最小值和最大值,以及分组个数,构建指定个数的大小相同的分组,返回字段值落 入的分组编号。时间函数 year/quarter/month/day/hour/minute/second 增加对DateTime输入数据类型的支持 - 增加如下内建函数接口:• INT year(datetime date)• INT quarter(datetime date)• INT month(datetime date)• INT day(datetime date)• INT hour(datetime date)• INT minute(datetime date)• INT second(datetime date) 查看文档 >> 查看文档 >>6、MaxCompute 写表支持Zorder by语句 增加 SQL DML的 zorder by 语句,支持把数据相近的行排列在一起,提升查询时的过滤性能,一定程度上降低存储成本。 适用客户开发者、数据分析师 发布功能增加 SQL DML 的 zorder by 语句,支持DML语句的方式把数据相近的行排列在一起,提升查询时的过滤性能,一定程度上降低存储成本。 查看文档 >>阅读往期月刊 >> MaxCompute 产品官网 >> 免费下载《SaaS模式云数据仓库手册》>> 更多关于大数据计算产品技术交流,可扫码加入 “MaxCompute开发者社区” 钉钉群

优秀的个人博客,低调大师

阿里云 MaxCompute 2020-7 月刊

2020年8月5日 “MaxCompute企业级安全新能力发布”,解读SaaS模式云数据仓库MaxCompute数据的持续保护。了解发布详情>> 【7月新发布功能】 1.MaxCompute使用包年包月计算资源作业支持优先级功能 MaxCompute支持作业优先级的功能可以更合理分配使用包年包月计算资源,给高优先级业务加一道保障。 适用客户适用于MaxCompute使用包年包月计算资源的用户。 发布功能使用MaxCompute包年包月计算资源时,资源池为独享同时也是有限的,而业务优先级不同,对应的任务也有不同优先级,当任务都处在资源等待状态时,通过优先级功能,可以让优先级高的任务优先获取到资源执行,从而更合理分配使用有限的计算资源。 此功能同时支持关联DataWorks调度任务基线优先级,若通过DataWorks使用MaxCompute,且有调度任务,可以根据业务划分调度任务优先级,当调度任务发起MaxCompute job时,对应的优先级会传到MaxCompute转化成MaxCompute的优先级。 开启使用优先级功能前,务必要先梳理好各任务/流程优先级,避免滥用高优先级从而达不到预定的效果。 查看文档 >>2.MaxCompute管家支持对包年包月配额组分时管理 MaxCompute管家支持对包年包月配额组分时管理,满足对不同工作负载能力的项目时段进行资源隔离,避免相互干扰,提高资源使用率。 适用客户MaxCompute包年包月计算资源用户 发布功能MaxCompute包年包月资源可以通过MaxCompute管家进行配额管理,新支持的配额组分时功能,可以实现因不同项目(开发、生产)1天之内对资源使用的时段不同而需要对配额组按照时段来分配大小的需求,从而满足时段的差异化资源需求,更大化提高资源使用效率。 分时配额功能主要是支持包年包月的预留型计算资源的分时设置,可以根据业务需求,对配额进行分时,然后划分N个包年包月资源配额组,每个配额组每个时段设置具体的预留CU最大和最小值,并关联对应的project。如生产项目关联的配额组在夜间时段可分配多些预留资源,而开发项目管理的配额组可在白天开发高峰期分配多些预留资源,由此隔离生产/开发/不同工作负载的能力,更大化提高资源使用率。 查看文档 >>3.MaxCompute 使用包年包月计算资源的Project支持指定SQL任务使用按量付费计算资源 MaxCompute支持包年包月项目中的SQL使用按量计费资源,突破了独享资源的局限,从而更灵活更合理的使用包年包月资源。 适用客户MaxCompute包年包月计算资源用户 发布功能MaxCompute使用包年包月的项目支持指定SQL提交到关联的按量付费计算资源池执行。在使用此功能前,需要先开通对应区域的按量付费服务,还要评估哪些使用包年包月资源的项目有SQL任务需要指定使用按量付费计算资源。确认好后,通过MaxCompute 管家将包年包月的项目增加按量付费配额组,再在对应包年包月项目指定SQL作业使用按量付费资源运行,指定好后此SQL每次执行会直接提交到按量付费资源池中执行,执行成功则按量付费。 在该功能之前,同个项目同个业务需求有任务需求使用按量付费资源池时,需要单独创建按量付费项目并在项目中创建任务进行执行,还需要打通项目之间的权限,跨项目任务依赖等额外的管理工作,使用起来便捷性和体验都比较差,而“包年包月的项目支持指定SQL使用按量付费计算资源”功能将带来更好的使用体验从而提升工作效率。 查看文档 >>4.MaxCompute新增项目的默认数据类型版本从1.0变更为2.0 MaxCompute通过DataWorks控制台新增项目时,项目的默认数据类型版本从1.0变更为2.0。 适用客户MaxCompute公共云用户 发布功能MaxCompute通过DataWorks控制台新增项目时,项目的默认数据类型版本从1.0变更为2.0。该变更已于2020年7月13日到2020年7月22日陆续对中国站各个区域进行了升级,并将于2020年7月29日到2020年8月6日陆续对国际站各个区域进行升级。如果您之前创建过存量项目,新建项目时需要选择合适的数据类型版本。不同数据类型版本的项目进行数据交互时可能会引起兼容性问题。 MaxCompute有3个数据类型版本,不同数据类型版本在定义和行为上有一定的差异。MaxCompute将数据类型相关属性组成3个组合,分别对应1.0数据类型版本、2.0数据类型版本和Hive兼容数据类型版本。详情请参见数据类型版本说明。 数据类型版本说明 >>创建项目空间说明 >>5.Python UDF支持更多数据类型 Python 2 UDF 和Python 3 UDF 支持更多数据类型。 适用客户MaxCompute公共云用户。 发布功能Python 2 和Python 3 的UDF/UDTF/UDAF 新增支持 DECIMAL、数据类型2.0的DECIMAL、复杂类型ARRAY、MAP、STRUCT和复杂类型嵌套。目前Python UDF 支持数据类型包括BIGINT、STRING、DOUBLE、BOOLEAN、DATETIME、DECIMAL、数据类型2.0的DECIMAL、复杂数据类型(ARRAY、MAP和STRUCT)和复杂数据类型嵌套。目前Python 3 UDF 读资源表,即get_cache_table读取引用资源表的内容支持 BIGINT、STRING、DOUBLE、BOOLEAN、DATETIME、DECIMAL、数据类型2.0的DECIMAL、FLOAT、CHAR、VARCHAR、BINARY、DATE、ARRAY、MAP和STRUCT数据类型。 Python 2 UDF >>Python 3 UDF >>6.MaxCompute新增APPROX_DISTINCT等内建聚合函数 MaxCompute新增内建聚合函数,包括APPROX_DISTINCT、ANY_VALUE、ARG_MAX、ARG_MIN等。 适用客户MaxCompute公共云用户。 发布功能MaxCompute新增内建聚合函数,包括APPROX_DISTINCT、ANY_VALUE、ARG_MAX、ARG_MIN等。APPROX_DISTINCT(value) 返回输入的非重复值的近似数目。ANY_VALUE(value) 实现在取值范围内任选一个值返回。ARG_MAX(valueToMaximize, valueToReturn) 返回指定判断列最大值的行对应的指定返回列的值。ARG_MIN(valueToMaximize, valueToReturn) 返回指定判断列最小值的行对应的指定返回列的值。 查看文档 >>7.MaxCompute支持代码嵌入式UDF MaxCompute的代码嵌入式UDF允许在SQL脚本中直接书写Java或Python代码。 适用客户MaxCompute公共云用户。 发布功能代码嵌入式UDF功能支持把Java或Python代码嵌入到SQL脚本中,即将SQL脚本和第三方代码放入同一个源码文件,减少了使用UDT或UDF的操作步骤,给日常开发和维护带来了便利。 在脚本编译的时候,编译器把嵌入代码识别并提取出来,做必要的编译(Java 代码),动态生成资源,然后结合创建临时函数(Temporary Function)的能力来注册函数。这样,您可以在一个SQL脚本中完成代码编译(Java)、添加资源、创建函数这一系列的操作。代码嵌入式UDF功能还能够解决维护人员阅读他人SQL代码时,无法查看含有UDF的代码内部实现逻辑,甚至有些jar包找不到源码的问题。 查看文档 >>8.MaxCompute支持SQL语言定义函数 SQL语言定义函数允许在SQL中使用SQL定义的UDF并调用。 适用客户MaxCompute公共云用户。 发布功能MaxCompute UDF支持java或者Python定义,很多时候需要实现一些比较简单的的功能,而这些功能有的可以直接通过SQL来描述出来,因此MaxCompute支持SQL语言定义函数(SQL Function),避免编译(Java UDF),添加资源,创建函数等复杂操作,提高代码易读性和代码复用率。SQL Function 能够在SQL中使用SQL定义的UDF并调用。SQL Function可以接受 Function类型的参数。调用时传入的可以是内置函数、UDF 或者 Sql Functions。SQL Function 支持匿名函数,即接受 Function类型参数的SQL Function,调用时传入匿名函数。 SQL Function 作为一种用户自定义函数,弥补了之前系统只能用Java/Python写UDF的不足。此外还扩展了Function Type和匿名函数等特性,让您表达业务逻辑具有了更多的灵活性。 查看文档 >> MaxCompute 产品官网 https://www.aliyun.com/product/odps阅读往期月刊 https://yq.aliyun.com/publication/49更多关于大数据计算产品技术交流,可扫码加入“MaxCompute开发者社区”钉钉群

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册