maxCompute(ODPS)问题排查思路
1.如果自己不小心手动删除数据无法提供恢复,如果是普通表,是没法恢复数据的。外部表可以配置到OSS上面,数据不会删除。
2.用户删除行为,所有的副本也会删除的。如果是产品故障导致丢失,一般所有副本丢失的可能性并不大(可以提工单咨询)。
3.UDF由于沙箱限制,不支持请求外部链接
4.不能实现的函数全部建议UDF
5.客户端乱码的换考虑将use_instance_tunnel改为false
6.pyodps查询最多10000条。
SDK和API请求的话可设置:options.tunnel.use_instance_tunnel = True,并且设置options.tunnel.limit_instance_tunnel = false
7.自定义UDF的时候,类名必须写正确,要不然会报解析错误
8.UDF的找不到参数、函数名问题参考:https://yq.aliyun.com/articles/684417?spm=a2c4e.11155435.0.0.192a3312uElBdJ
9.使用like 如果like字段包含下划线_ ,不会生效,建议使用rlike + 正则的方式。
10.Tunnel命令不支持上传下载Array、Map和Struct类型的数据。推荐使用insert into table xxx select xxx
11.2147483647是int型最大的数,id到顶了,不适合有自增id
12.如果没有输入表,map 及 reduce任务实际上不执行的,输入可以为空,但是底层的map 及 reduce实际是不会执行的。没有数据正常不会分配map/reduce task的,通常是一个block分配一个map任务去处理。这个并没有什么方式可以解决的。实际上也没人这么使用,没有数据运行MR任务本身就是一种浪费。
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
dataworks2.0问题排查思路
1.数据同步不支持数据包含换行符n2.PAI节点可以支持TenSorFlow。3.遇到连通性通过,但是配置同步作业或运行时会有超时情况。这种情况通常自定义资源组来做同步。4.正常调用正常但重跑报错报错ODPS-0130071,重新打开窗口重跑流程。5.与其他关联产品比如ODPS、PAI是和项目空间确认绑定关系的。必须创建dataworks时来配置。6.赋值节点中是不支持使用python代码执行SQL的7.提交任务成功后10分钟之前生成的实例都是空跑设置为成功的。之后生成的实例应该是可以正常运行的,如果还是无法正常运行,可以重新发布一下任务。8.不支持节点任务完成数据的保存之后,通知本地系统做出响应。9.要使用dataworks的Stream Studio必须开通实时计算10.sqlscript:一次编译,odpssql:是逐条编译11.目前没有组合节点的概念(dataworks1.0的),想要依赖多个节点组成的模块,直接依赖其最后一个节点就可以。12.pyodps 节点不要通过迭代的方式来处理数据,再上传,这个是单机,没有利用到 MaxCompute 的能力,应当用 PyODPS Da...
- 下一篇
大数据产品日志服务问题排查思路
1.使用Nginx配置要和服务器的的Nginx的配置一致。2.数据投递到maxCompute丢失,考虑下日志服务中是否包含了/,会被maxCompute丢弃3.需要把group by order by的字段设置成索引。4.默认查询的时候,分钟级别数据一定是严格有序的。但是一分钟内,多个s级别数据不一定有序。如果有严格要求,可以使用排序语句5.分词符包含的符号不允许再查询时整体查找(并且不建议使用中文符号作为分词符,如【】)。6.count_if(x)/count()出来是整型的,需要0.1变成double7.通过rsync复制的日志可能会采集重复。8.K8S集群采集日志阿里云的NAS文件系统管理 挂载到容器需要将logtail也挂载到这个nas9.where ip = "192.168.0.1"报错,需改成单引号10.json格式的数据key必须是英文,gbk的话搜索中文时也有可能返回不符合条件的数据11.同一时刻运行的SQL并发最大为1512.logstore和RDS关联查询仅支持,北京、青岛、杭州。可以把日志服务迁移到青岛,RDS可以在上海13.想要查询必须添加字段为索引字段或者开...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- CentOS8编译安装MySQL8.0.19
- CentOS7,CentOS8安装Elasticsearch6.8.6
- CentOS7安装Docker,走上虚拟化容器引擎之路
- Eclipse初始化配置,告别卡顿、闪退、编译时间过长
- Mario游戏-低调大师作品
- 2048小游戏-低调大师作品
- SpringBoot2初体验,简单认识spring boot2并且搭建基础工程
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作