开源大数据周刊-第79期-低调大师

开源大数据周刊-第79期

2018-01-18 594

资讯

警惕大数据成了互联网的“PX项目”
新年伊始 BAT 三家关于数据安全的新闻就成功的吸引了公众的目光，也引发了公众对于大公司收集并使用用户数据的担忧。这篇文章比较客观的分析了公众的忧虑，以及互联网公司如何使用这些数据，可以说是一个很好数据安全的科普。
李飞飞发文发布谷歌云AutoML Vision平台，订制化的企业级机器学习模型不再是难题
一直以来机器学习或深度学习都存在这比较高的入门门槛，比如要有一定的算法功底，数学水平也不能太差，至少能看清楚 loss function 的意义等等。AutoML Vision 平台的推出让普通人也能够通过在页面上点击几下就能创建自己的模型并调参训练成为了可能。这样，对深度学习不怎么了解的普通企业也可以构建自己的人工智能系统了。这对于普及人工智能技术来说意义重大。
微软和阿里开发的人工智能在阅读测试

微信关注我们

原文链接：https://yq.aliyun.com/articles/380149

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

列式存储

在大数据的HBase中与Hive中都有用到列（族）式存储，列式存储被广泛应用，有关于HBase讲解，请访问我的 https://yq.aliyun.com/articles/376750?spm=a2c4e.11155435.0.0.62bc19c8kgVjfV。今天来说一下什么是列式存储。首先行式存储大家都知道，就是一行一行的存储，传统的关系型数据库都是这样存储的，列式存储简单的理解就是将一列数据单独存储在一个文件中，但是正真的存储并不是这样子。假如说有一张表，两个列 column1，column2，我们想象的可能会如下图所示但是在分布式多线程，对进程访问数据的时候，是不会产生这种形式，因为在大数据的MapReduce或Spark中的任务中，每一个子任务都会读取一部分的数据，假如我们现在有很多Map来并行读取，所有的Map task在逻辑上都必须是一样的，假如现在两个Map，要分别读取两个文件，而在图中column1与column2数据类型都不一样，压缩算法也不一样，读取方法不一样，所以没有办法将文件分配哪个Map task处理。列式存储到底是怎么存储的呢，再看下面的...

2018-01-19

683

MaxCompute有两种计费模式，预付费和按量付费，其中预付费是包月计算资源CU，MR和SQL作业的用户不用单独支付费用。按量付费的SQL是按照参与运算的数据量（3-5倍压缩）及SQL复杂度后结算，MR是根据任务消耗的计算时后结算，具体参考官方文档：https://help.aliyun.com/document_detail/27989.html 最近有一些海外企业，在做MaxCompute技术选型，海外客户非常关心收费细节，小编会经常被问到哪些命令是收费的。比如删除命令收不收费，更新数据收不收费。小编整理了一个表格，方便大家查阅MaxCompute 计算收费的命令；语法表达式用途是否收费样例 Tunnel Download 下载数据（经典网络）否 tunnel download Table_name e:/Table_n

2018-01-20

670

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。