搜索[数据脱敏]结果-低调大师优秀个人博客

精选列表

搜索[数据脱敏]，共10000篇文章

开源大数据周刊-第13期

混合部署支持深圳、上海机房 1.4版本（正在研发）: 用户执行计划及集群运行状态自定义报警 1.4.1版本集群整体运行情况的仪表盘集群状态监控报警资讯从Hadoop Summit 2016看大数据行业与

2016-07-10

python 实现汽车之家车型数据爬虫

爬虫保存数据库的样子: 详细数据在json_text字段里面安装使用方法： gitclonehttps://github.com/shancang/spider.git pipinstall-rrequirements.txt

2016-07-08

开源大数据周刊-第12期

Hbase混合部署支持深圳、上海机房 1.4版本（正在研发）: 用户执行计划及集群运行状态自定义报警 1.4.1版本集群整体运行情况的仪表盘集群状态监控报警资讯 5W1H(六何分析法)全景洞察大数据我们从大数据的特征说起

2016-07-03

开源大数据周刊-第11期

集群整体运行情况的仪表盘集群状态监控报警资讯专访阿里云资深总监李津：论开源战略、安全服务和运维行业的变化阿里云资深总监李津表示，开源有四个阶段：拥抱开源、回馈开源、融合开源、回报开源对业务和用户的理解，是数据挖掘

2016-06-26

阿里云E-Mapreduce动态 E-Mapreduce团队1.3.2版本（已经发布）： Master HA功能 1.3.3版本 (已经发布) 商业化发布，用户无需申请即可使用E-MapReduce服务 1.3.4版本 (正在研发) 升级jdk到1.8 升级Hadoop到2.7.2 添加python2.7.1及python3.4版本添加numpy库支持Presto、phoenix、jstorm、oozie 支持Hadoop跟Hbase混合部署支持深圳、上海机房 1.4版本（正在研发）: 用户执行计划及集群运行状态自定义报警 1.4.1版本集群整体运行情况的仪表盘集群状态监控报警资讯云上Hadoop之最佳实践本篇是实践篇，主要讲述hadoop的一些处理场景，特别是在云上的一些最佳实践。李开复清华演讲：为什么今天是人工智能的黄金时代？6月8日，应清华大学交叉

2016-06-19

开源大数据周刊-第9期

1.3.3版本（即将发布）商业化 1.4版本（正在研发）: 用户执行计划及集群运行状态自定义报警集群整体运行情况的仪表盘集群的一些专家建议，例如：扩容提醒集群一键重启资讯菜鸟“闹”江湖：物流+大数据

2016-06-12

开源大数据周刊-第7期

用户执行计划及集群运行状态自定义报警集群整体运行情况的仪表盘集群的一些专家建议，例如：扩容提醒集群一键重启资讯数博会巅峰对话：涂子沛、周涛VS舍恩伯格就关于隐私、国家安全、因果性进行一系列讨论运行于云端的Hadoop——数据即服务的论证将

2016-05-29

Spark-ML-数据获取/处理/准备

获取公开数据集 UCL机器学习知识库：包括近300个不同大小和类型的数据集，可用于分类、回归、聚类和推荐系统任务。数据集列表位于：http://archive.ics.uci.edu/ml/。

2016-05-17

MapReduce的数据流程、执行流程

MapReduce的数据流程：预先加载本地的输入文件经过MAP处理产生中间结果经过shuffle程序将相同key的中间结果分发到同一节点上处理 Recude处理产生结果输出将结果输出保存在hdfs

2016-05-12

大数据日志分析logstash\elasticsearch\kibana

elk是指logstash,elasticsearch,kibana三件套，这三件套可以组成日志分析和监控工具注意：关于安装文档，网络上有很多，可以参考，不可以全信，而且三件套各自的版本很多，差别也不一样，需要版本匹配上才能使用。推荐直接使用官网的这一套：elkdownloads。比如我这里下载的一套是logstash 1.4.2 + elasticsearch 1.4.2 + kibana 3.1.2 安装elasticsearch 下载elasticsearch 1.4.2 tar -xf elasticsearch-1.4.2.tar.gz mv elasticsearch-1.4.2 /usr/local/ ln -s /usr/local/elasticsearch-1.4.2 /usr/local/elasticsearch 测试elasticsearch [root@localhost service]# curl -X GET http://localhost:9200/ { "status" : 200, "name" : "Fury", "cluster_name" : "elasticsearch", "version" : { "number" : "1.4.2", "build_hash" : "927caff6f05403e936c20bf4529f144f0c89fd8c", "build_timestamp" : "2014-12-16T14:11:12Z", "build_snapshot" : false, "lucene_version" : "4.10.2" }, "tagline" : "You Know, for Search" } 安装到自启动项下载解压到/usr/local/elasticsearch/bin文件夹下 /usr/local/elasticsearch/bin/service/elasticsearch install 安装logstash 下载logstash 1.4.2 tar -xf logstash-1.4.2 mv logstash-1.4.2 /usr/local/ ln -s /usr/local/logstash-1.4.2 /usr/local/logstash 测试logstash bin/logstash -e 'input { stdin { } } output { stdout {} }' 配置logstash 创建配置文件目录： mkdir -p /usr/local/logstash/etc vim /usr/local/logstash/etc/hello_search.conf 输入下面： input { stdin { type => "human" } } output { stdout { codec => rubydebug } elasticsearch { host => "192.168.33.10" port => 9200 } } 启动： /usr/local/logstash/bin/logstash -f /usr/local/logstash/etc/hello_search.conf 安装kibana 注：logstash 1.4.2中也自带了kabana，但是你如果使用自带的kibana安装完之后会发现有提示“Upgrade Required Your version of Elasticsearch is too old. Kibana requires Elasticsearch 0.90.9 or above.”。根据这个帖子这个是自带的Kibana 3.0.1的问题。所以还是自己安装kibana靠谱。下载kibana 3.1.2 注：现在kibanna可以自带了web服务，bin/kibana就可以直接启动了，建议不用nginx进行配合启动了。具体可以参考： http://kibana.logstash.es/content/kibana/v4/setup.html

2016-05-02

开源大数据周刊-第2期

资讯播报阿里云启动公益云计划李连杰也喊话要拥抱大数据云栖大会·深圳峰会4月20日在深圳举行。大会上，阿里云正式启动了公益云计划，壹基金创始李连杰也参与此次启动仪式。

2016-04-23

开源大数据周刊-第1期

E-Mapreduce提供包年包月服务（比按需便宜约60%）用户可通过引导操作自定义安装软件、自定义配置同时还能创建使用Hbase集群通过open-API进行创建集群、提交作业等各种操作资讯播报大数据领域投融资总金额超

2016-04-17

hadoop 集群跨版本数据迁移

忙着做hadoop 1.x 到 2.x 的数据迁移. hadoop 系统提供了一个命令 distcp 可以跨版本迁移数据. 具体的命令格式: 在新的hadoop 版本上执行 .

2016-03-21

大数据平台生产环境部署指南

数据存放的目录和配置文件分离一般我们在自己的虚拟机上搭建集群的时候这个可以忽略不计，但是生产机器上需要注意一下。

2016-03-17

数据驱动的多策略聊天引擎

1. 聊天引擎做什么聊天引擎是一款模拟人类对话或聊天的陪伴产品。接受用户的自然语言输入，返回可解释、承上启下、顺畅的自然语言句子。与问答引擎、专家系统等不同，聊天引擎重点在“侃”，不太关注如何解决用户的实际问题或者执行任务，而是关注如何能与用户进行天南地北的聊天，涉及的话题会很广，但并不需要有精准的答案，重在互动的有效性和可持续性。聊天系统在对儿童和老人的陪伴方面可以起到非常重要的作用，即便在一个以帮助用户解决实际问题或寻找精准答案的个人助手类产品中，具有开放式聊天能力也是至关重要的。这样的聊天能力，可以成为各种信息查询、任务完成等能力之间的润滑剂，很好的改善人机交互过程中的用户体验，增强助理型机器人的人性化和用户粘性。苹果公司于2011年10月随iphone4s一起发布了Siri，轰动一时，重新点燃了人们对语音助理的期望

2016-03-15

关于hive数据导入方式的总结

从本地导入数据到hive： loaddatalocalinpath'/home/hive/tb_dw_cu_three_type_list_dtal/*.dat'overwriteintotablecsap.tb_dw_cu_three_type_list_dtalpartition

2016-02-15

云上游戏数据分析实践

作者：上海驻云高级架构师李俊涛从游戏发展的角度来看，不管是端游、页游，还是现在发展迅猛的手游，其生命周期与盈利情况都与数据分析能力息息相关。同时数据分析对游戏的运维也起到了至关重要的作用。

2016-02-15

hive (基于hadoop的数据仓库)

1.简介 hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能。与传统关系数据库相比的优势是：能够处理海量数据。

2016-01-20

Oracle数据迁移至HBase操作记录

数据库中的十几张表T级别的数据迁移至HBase中，过程中遇到了许多苦难和疑惑，在此记录一下希望能帮到一些有同样需求的兄弟。

2016-01-11

MapReduce编程实例之数据去重

任务描述：让原始数据中出现次数超过一次的数据在输出文件中只出现一次。

2015-11-23

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。

精选列表

开源大数据周刊-第13期

python 实现汽车之家车型数据爬虫

开源大数据周刊-第12期

开源大数据周刊-第11期

开源大数据周刊-第10期

开源大数据周刊-第9期

开源大数据周刊-第7期

Spark-ML-数据获取/处理/准备

MapReduce的数据流程、执行流程

大数据日志分析logstash\elasticsearch\kibana

开源大数据周刊-第2期

开源大数据周刊-第1期

hadoop 集群跨版本数据迁移

大数据平台生产环境部署指南

数据驱动的多策略聊天引擎

关于hive数据导入方式的总结

云上游戏数据分析实践

hive (基于hadoop的数据仓库)

Oracle数据迁移至HBase操作记录

MapReduce编程实例之数据去重

资源下载

Mario

Rocky Linux

Sublime Text

WebStorm

欢迎您来访！

精选列表

开源大数据周刊-第13期

python 实现汽车之家车型数据爬虫

开源大数据周刊-第12期

开源大数据周刊-第11期

开源大数据周刊-第10期

开源大数据周刊-第9期

开源大数据周刊-第7期

Spark-ML-数据获取/处理/准备

MapReduce的数据流程、执行流程

大数据日志分析logstash\elasticsearch\kibana

开源大数据周刊-第2期

开源大数据周刊-第1期

hadoop 集群 跨 版本数据迁移

大数据平台生产环境部署指南

数据驱动的多策略聊天引擎

关于hive数据导入方式的总结

云上游戏数据分析实践

hive (基于hadoop的数据仓库)

Oracle数据迁移至HBase操作记录

MapReduce编程实例之数据去重

资源下载

Mario

Rocky Linux

Sublime Text

WebStorm

欢迎您来访！

hadoop 集群跨版本数据迁移