【译】Spark-Alchemy：HyperLogLog的使用介绍-低调大师

【译】Spark-Alchemy：HyperLogLog的使用介绍

2019-06-30 775

原文链接: [https://databricks.com/blog/2019/05/08/advanced-analytics-with-apache-spark.html]

译者：辰石，阿里巴巴计算平台事业部EMR团队技术专家，目前从事大数据存储以及Spark相关方面的工作。

预先聚合是一种常用高性能分析的手段，通过该方法处理数据的规模可以下降1000倍，例如网站访问记录可以产生100亿条记录，通过预先聚合可以减少到1000万条记录，因此数据的处理成本以及处理时间都会相应的减少，此外用户还可以通过更高层次的聚合达到进一步的提升，例如在时间维度上按天进行聚合，或者按照网站维度上进行聚合而非按照URL来进行聚合。

本篇文章主要介绍开源库spark-alchemy中的HyperLogLog功能以及他是如何解决数据聚合过程中遇到挑战

微信关注我们

原文链接：https://yq.aliyun.com/articles/706965

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

【译】Spark NLP使用入门

原文链接: [https://www.kdnuggets.com/2019/06/spark-nlp-getting-started-with-worlds-most-widely-used-nlp-library-enterprise.html) 译者：辰石，阿里巴巴计算平台事业部EMR团队技术专家，目前从事大数据存储以及Spark相关方面的工作。 AI在企业中的应用关于AI在企业中应用的年度O‘Reilly报告已经在2019年2月发布，该报告针对多个垂直行业的1300多从业人员进行调查，该调查包含受访者所在企业中生产环境的AI项目，这些AI项目是如何在企业中应用，以及AI如何快速的扩展到深度学习，人机互助系统，知识图谱，强化学习中。该调查包含了受访者企业主要使用ML以及AI的框架以及工具情况，下图为使用情况总结的展示图：其中

2019-07-01

671

摘要：elasticsearch是使用比较广泛的分布式搜索引擎，es提供了一个的单字分词工具，还有一个分词插件ik使用比较广泛，hanlp是一个自然语言处理包，能更好的根据上下文的语义，人名，地名，组织机构名等来切分词Elasticsearch默认分词输出： IK分词输出： hanlp分词输出： ik分词没有根据句子的含义来分词，hanlp能根据语义正确的切分出词安装步骤： 1、进入https://github.com/pengcong90/elasticsearch-analysis-hanlp，下载插件并解压到es的plugins目录下，修改analysis-hanlp目录下的hanlp.properties文件，修改root的属性，值为analysis－hanlp下的data 目录的地址2、修改es config目录下的jvm.options文件，最后一行添加 -Djava.security.policy=../plugins/analysis-hanlp/plugin-security.policy 重启esGET /_analyze?analyzer=hanlp-ind...

2019-07-01

600

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。