PyOdps 0.4版本发布，从一个故事说起-低调大师

PyOdps 0.4版本发布，从一个故事说起

2016-04-05 661

有这么个故事（如有雷同，纯属巧合）。有一天，某运营同学给某开发同学一个excel文件，里面是个客户清单。

“帮我查下这些用户的消耗呢”。

开发同学扫了一眼，几百个用户。这个事肯定是可以办的，但是想到麻烦程度，开发同学心里肯定是有不少羊驼经过的啦。

“有点麻烦啊”，开发同学轻轻抱怨。

“我懂的，把这个表和ODPS里的表join下就好了嘛。”运营同学努努嘴。

“……”。于是，开发同学把excel数据导出成文本格式，然后dship上传到ODPS，ODPS上编写SQL，dship下载，大功告成。

这里说得很轻松，但其实整个过程真的挺麻烦呢。要是这个过程中还要对excel中的数据进行过滤，最终结果还要绘个图，还是需要不少时间。

但是，如果这个开发同学使用PyOdps 0.4+版本新特性，一切就都轻松写意了。

为了模拟这个过程，我们拿movielens 10

微信关注我们

原文链接：https://yq.aliyun.com/articles/20366

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

CDH5之Exhausted available authentication methods

1.机器环境: 前几天,要在阿里环境装两套CDH的产品环境,其中一套CDH5在安装过程就抛错" Exhausted available authentication methods " 其中的抛错的机器是运维从stage环境机器上,copy的镜像做的新的机器。 2.在哪步出错: 在安装CDH5过程中，输完hadoop用户和密码的下一步(集群安装)，web开始刷新数据源抛错: Exhausted available authentication methods #由于当时没有截图,事后在某贴上找的图片 3.解决方案: a.检查hadoop用户是否配置sudo无密码权限成功？？？点击(此处)折叠或打开 [root@alish1-xxx-01 ~]# adduser hadoop [root@alish1-xxx-01 ~]# passwd hadoop Changing password for user hadoop. New password: BAD PASSWORD: it is too short BAD PASSWORD: is too simple Retype new p...

2016-04-05

973

scp全称为secure copy，即安全拷贝，是Linux下进行远程拷贝文件的命令。与其相似的命令是cp和rsync，cp只是在本机进行拷贝不能跨服务器，rsync比较占用资源，虽然会比scp快，但是在小文件众多的情况下，rsync会导致磁盘I/O非常高，而scp则可以进行跨服务器传输，并且传输时加密的，同时不会消耗多少系统资源。语法 scp [参数] [原路径] [目标路径] 参数解释 -1 强制使用协议ssh1 -2 强制使用协议ssh2 -4 强制只使用IPv4寻址 -6 强制只使用IPv6寻址 -B 使用批处理模式（传输过程中不询问传输口令或短语） -C 允许压缩。（将-C标志传递给ssh，从而打开压缩功能） -p 保留原文件的修改时间，访问时间和访问权限。 -q 不显示传输进度条。 -r 递归复制整个目录。 -v 详细方式显示输出。scp和ssh(1)会显示出整个过程的调试信息。这些信息用于调试连接，验证和配置问题。 -c cipher 以cipher将数据...

2016-04-06

738

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。