MaxCompute 费用暴涨之新增SQL分区裁剪失败-低调大师

MaxCompute 费用暴涨之新增SQL分区裁剪失败

2019-06-25 809

现象：因业务需求新增了SQL任务，这SQL扫描的表为分区表，且SQL条件里表只指定了一个分区，按指定的分区来看数据量并不大，但是SQL的费用非常高。费用比预想的结果相差几倍甚至10倍以上。

若只知道总体费用暴涨，但是没明确是什么任务暴涨，可以可以参考查看账单详情-使用记录文档，找出费用异常的记录。

分析：我们先明确MaxCompute SQL后付费的计费公式：一条SQL执行的费用=扫描输入量 ️ SQL复杂度 ️ 0.3(￥/GB)。

变量主要是输入量和复杂度，但实际上复杂度最高也就为4，由复杂度引起的费用暴涨是比较罕见，我们不妨先把排查重点放在输入量上。

排查：
查看Logview的inputs信息

如上图会发现input的分区量是14个，这个与预想的（SQL条件中只指定一个分区）不一致。问题就出在这里，此时基本可以判断这个SQL的分区

微信关注我们

原文链接：https://yq.aliyun.com/articles/706542

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Elasticsearch搜索调优权威指南（2/3）

英文原文：https://qbox.io/blog/elasticsearch-search-tuning-part-2 作者：Adam Vanderbush 译者：杨振涛目录预索引数据映射避免使用脚本强制合并只读索引 Elasticsearch搜索调优权威指南，是QBOX在其博客上发布的系列文章之一，本文是该系列的第二篇，主要介绍了索引预处理、mapping建立、避免脚本的使用、索引段合并等搜索性能相关的调优方法。本文是Elasticsearch搜索调优系列文章3篇中的第2篇，第1篇参考这里（点击）。本系列教程旨在更进一步讨论针对Elasticsearch 5.0及以上版本的搜索调优技术、策略及建议。 1.预索引数据为了优化数据的索引方式，应当在查询中预置一些模式。比如，如果所有文档都有一个叫 price 的价格字段，并且大部分查询在一个固定范围列表上执行 range 聚合，那么就可以通过预索引范围到索引中并使用一个 terms 聚合，来加速该聚合。比如有如下文档： curl -XPUT 'ES_HOST:ES_PORT/index/type/1 ?pretty' -...

2019-06-25

689

今天来和大家聊一下如何使用Spark SQL进行流式数据的机器学习处理。本文主要分为以下几个章节：什么是流式机器学习机器学习模型获取途径系统演示 1. 什么是流式机器学习通常，当我们听到有人提到实时数据机器学习时，其实他们是讨论：他们希望有一个模型，这个模型利用最近历史信息来进行预测分析。举一个天气的例子，如果最近几天都是晴天，那么未来几天极小概率会出现雨雪和低温天气这个模型还需要是可更新的。当数据流经系统时，模型是可以随之进化升级。举个例子，随着业务规模的扩大，我们希望零售销售模型仍然保持准确。第一个例子我们可以将它归为时序预测。第二个例子中，模型需要更新或者重新训练，这是一个non-stationarity问题。时序预测和non-stationarity数据分布是两类不同的问题。本文主要关注第二类问题，对于这类问题，一般的解决方

2019-06-25

770

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。