分布式scrapy_redis源码总结，及其架构-低调大师

大数据标准化背景面对目前数量、速度和多样性日益增长的信息资产，大数据技术通过各种解决方案、体系、结构、工具和平台集合，能有效应对大数据场景。因为数据是大数据的基础，对于大数据标准化，除了继承数据标准化的内容外，有其特别关注的方面。比如：定义大数据专业词汇，增加不同类型的数据结构如何标准化，解决海量多样化数据集的存储计算架构，定义并标识敏感数据，研究海量数据脱敏及数据隐私等。在大数据领域，标准研制机构也陆续研制和发布了一系列标准，如何有效将这些标准梳理并串接起来，需要构建一套框架。 2017年11月发布的《金融业标准化体系建设发展规划（2016-2020年）》就明确提出要构建金融大数据标准体系。以下通过大数据技术参考模型角度来梳理大数据系列标准。大数据技术参考模型《信息技术大数据技术参考模型》是2018年7月实施的国家标准。此标准规范了大数据的基础通用模型，包括大数据角色、活动和功能组件以及它们之间的关系。大数据参考模型总体上可以概括为“一个概念体系、二个价值链维度”。 “一个概念体系”是指它为大数据参考模型中使用的概念提供了一个构件层级分类体系，即“角色—活动—功能组件”...

2019-03-19

592

1、hanlp简介 HanLP是一系列模型与算法组成的NLP工具包，由大快搜索主导并完全开源，目标是普及自然语言处理在生产环境中的应用。HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点。开源网址：HanLP: Han Language Processing 但由于hanlp是用java来实现的，要在python中使用hanlp，只能通过调用pyhanlp这个包来。但是pyhanlp里面有一些功能仍然不支持python直接调用，比如汉字转拼音，这时候就需要从python中启动jvm并指定Hanlp的jar路径来使用其他功能了。 2、下载并配置文件（1）从开源网址中下载jar、data、hanlp.properties并修改配置文件： 1、下载：data.zip 下载后解压到任意目录，接下来通过配置文件hanlp.properties告诉HanLP数据包的位置。 data │ ├─dictionary └─model 用户可以自行增删替换，如果不需要句法分析等功能的话，随时可以删除model文件夹。 3、下载jar和配置文件：hanlp-release.zip （...

2019-03-20

526

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Apache Tomcat

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

Eclipse

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。