【译】Spark-Alchemy：HyperLogLog的使用介绍-低调大师

【译】Spark-Alchemy：HyperLogLog的使用介绍

2019-06-30 800

原文链接: [https://databricks.com/blog/2019/05/08/advanced-analytics-with-apache-spark.html]

译者：辰石，阿里巴巴计算平台事业部EMR团队技术专家，目前从事大数据存储以及Spark相关方面的工作。

预先聚合是一种常用高性能分析的手段，通过该方法处理数据的规模可以下降1000倍，例如网站访问记录可以产生100亿条记录，通过预先聚合可以减少到1000万条记录，因此数据的处理成本以及处理时间都会相应的减少，此外用户还可以通过更高层次的聚合达到进一步的提升，例如在时间维度上按天进行聚合，或者按照网站维度上进行聚合而非按照URL来进行聚合。

本篇文章主要介绍开源库spark-alchemy中的HyperLogLog功能以及他是如何解决数据聚合过程中遇到挑战

微信关注我们

原文链接：https://yq.aliyun.com/articles/706965

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

【译】Spark NLP使用入门

原文链接: [https://www.kdnuggets.com/2019/06/spark-nlp-getting-started-with-worlds-most-widely-used-nlp-library-enterprise.html) 译者：辰石，阿里巴巴计算平台事业部EMR团队技术专家，目前从事大数据存储以及Spark相关方面的工作。 AI在企业中的应用关于AI在企业中应用的年度O‘Reilly报告已经在2019年2月发布，该报告针对多个垂直行业的1300多从业人员进行调查，该调查包含受访者所在企业中生产环境的AI项目，这些AI项目是如何在企业中应用，以及AI如何快速的扩展到深度学习，人机互助系统，知识图谱，强化学习中。该调查包含了受访者企业主要使用ML以及AI的框架以及工具情况，下图为使用情况总结的展示图：其中

2019-07-01

696

摘要：elasticsearch是使用比较广泛的分布式搜索引擎，es提供了一个的单字分词工具，还有一个分词插件ik使用比较广泛，hanlp是一个自然语言处理包，能更好的根据上下文的语义，人名，地名，组织机构名等来切分词Elasticsearch默认分词输出： IK分词输出： hanlp分词输出： ik分词没有根据句子的含义来分词，hanlp能根据语义正确的切分出词安装步骤： 1、进入https://github.com/pengcong90/elasticsearch-analysis-hanlp，下载插件并解压到es的plugins目录下，修改analysis-hanlp目录下的hanlp.properties文件，修改root的属性，值为analysis－hanlp下的data 目录的地址2、修改es config目录下的jvm.options文件，最后一行添加 -Djava.security.policy=../plugins/analysis-hanlp/plugin-security.policy 重启esGET /_analyze?analyzer=hanlp-ind...

2019-07-01

620

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。