首页 文章 精选 留言 我的
优秀的个人博客,低调大师

微信关注我们

原文链接:https://yq.aliyun.com/articles/708180

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

maxCompute(ODPS)问题排查思路

1.如果自己不小心手动删除数据无法提供恢复,如果是普通表,是没法恢复数据的。外部表可以配置到OSS上面,数据不会删除。2.用户删除行为,所有的副本也会删除的。如果是产品故障导致丢失,一般所有副本丢失的可能性并不大(可以提工单咨询)。 3.UDF由于沙箱限制,不支持请求外部链接4.不能实现的函数全部建议UDF5.客户端乱码的换考虑将use_instance_tunnel改为false6.pyodps查询最多10000条。SDK和API请求的话可设置:options.tunnel.use_instance_tunnel = True,并且设置options.tunnel.limit_instance_tunnel = false 7.自定义UDF的时候,类名必须写正确,要不然会报解析错误8.UDF的找不到参数、函数名问题参考:https://yq.aliyun.com/articles/684417?spm=a2c4e.11155435.0.0.192a3312uElBdJ9.使用like 如果like字段包含下划线_ ,不会生效,建议使用rlike + 正则的方式。10.Tunnel命令...

千亿级的数据难题,优酷工程师怎么解决?

阿里妹导读:优酷一天的日志量会达到千亿级别,面对如此大的数据样本,2017年5月,优酷完成了从Hadoop迁移到阿里云MaxCompute,实现计算消耗和储存的消耗呈下降趋势,得到了非常大的收益。今天,阿里数据技术专家门德亮给大家做个分享,从为什么要用MaxCompute,到优酷的业务场景下典型的方案及应用分析,聊聊迁移后对业务及平台的具体价值。本文内容根据演讲视频以及PPT整理而成,希望对你有所助益。 大家好,我是门德亮,很荣幸,我正好见证了优酷从没有MaxCompute到有的,这样一个历程,我们正好是在快到5年的时候,做了从Hadoop到MaxCompute的这样一个升级。 2016年5月到2019年5月优酷的发展历程。整个用户数,还有表的数据,实际上是呈指数式增长的。但是在2017年5月,当优酷完成了整个Hadoop迁移MaxCompute后,优酷的计算消耗,还有储存的消耗实际上是呈下降趋势的,整个迁移得到了非常大的收益。 下面说一下优酷的业务特点。 第一个特点是大数据平台整个的用户复杂度,不止是数据的同学和技术的同学在使用,还会包括一些BI同学,测试同学,甚至产品运营都可能去使...

相关文章

发表评论

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Oracle

Oracle

Oracle Database,又名Oracle RDBMS,或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统,系统可移植性好、使用方便、功能强,适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

JDK

JDK

JDK是 Java 语言的软件开发工具包,主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心,它包含了JAVA的运行环境(JVM+Java系统类库)和JAVA工具。