笔记列表-低调大师优秀个人博客

文章列表

共 97898 篇

2019-10-19

Hive SQL去重a,b和b,a类型

昨天开发找到我们DBA，要我们写一条Hive SQL。需求：有一个t表，主要有机场名称airport，机场的经纬度distance这两个列组成，想得到所有距离小于100的两个机场名。其实写这个SQL的逻辑并不是很困难，难点是如何去重复值，我用MySQL模拟的一个表，其实Hive语法和SQL差不多，插入了三条数据，a, b, c 分别代表三个机场名称，...

755

阅读约7分钟

2019-10-19

开源框架Mahout配置

开源框架Mahout配置机器学习这两年特别火，ATB使劲开百万到几百万年薪招美国牛校的机器学习方向博士，作为一个技术控，也得折腾下，就这样来初步折腾下Mahout这个机器学习的主流开源框架。一、Mahout简介 Mahout的中文意思：驭象的人，再看看Mahout的logo，骑在象头上的那个Mahout。机器学习是人工智能的一个分支，它涉及通过一些技术来...

715

阅读约8分钟

2019-10-19

2017金砖会议之spark

前言 2017年金砖国家工商论坛组委会2日召开新闻发布会，介绍有关情况。论坛预期取得四方面成果：一是增强工商界加强互利合作的信心，二是增进工商界之间的交流合作，三是提出有价值的政策建议，四是拓展工商界参与全球经济治理的深度和广度。 spark简介 Spark（注意不要同Apache Spark混淆）的设计初衷是，可以简单容易地创建REST API或Web应用...

729

阅读约28分钟

2019-10-19

僵尸网络的最新消息与发展趋势

对于当前的形势我一直有一个疑问，为何世界经济持续低迷，但网络犯罪活动却欣欣向荣。难道互联网真的是犯罪分子的天堂么?是否是高昂的投资回报率，使得恶意软件制作者们不断改进如Storm这样的蠕虫?貌似如此。 Storm卷土重来首先要提到的重大事件是由Storm 蠕虫创建的僵尸网络再度出现。2007年，Storm蠕虫曾经建立起了一个空前庞大的僵尸网络。不过在200...

688

阅读约7分钟

2019-10-19

HBase工具之监控Region的可用和读写延时状况

1、介绍 HBase集群上region数目由于业务驱动而越来越多，由于服务器本身，网络以及hbase内部的一些不确定性bug等因素使得这些region可能面临着不可用或响应延时情况。通过对region的监控，也可以反映出hdfs集群的状况 2、工具 org.apache.hadoop.hbase.tool.Canary 监控Region的可用和读写状况 Us...

670

阅读约4分钟

2019-10-19

Hive 简单SQL

1.创建表（1）内部表和外部表的区别默认创建的是内部表，可以指定目录，如果不指定则会创建默认目录，一旦drop,该目录和数据都会被删除创建external table 的时候需要指定存放目录，并且drop表的时候，不会删除该目录和目录下的数据，只会删除元信息 #创建一个外部表 0: jdbc:hive2://192.168.163.102:10000&...

677

阅读约15分钟

2019-10-19

腾讯大规模Hadoop集群实践

腾讯大规模Hadoop集群实践转自：http://www.csdn.net/article/2014-02-19/2818473-Tencent-Hadoop ID lishilong404740787 TDW是腾讯最大的离线数据处理平台。本文主要从需求、挑战、方案和未来计划等方面，介绍了TDW在建设单个大规模集群中采取的JobTracker分散化和Nam...

797

阅读约23分钟

2019-10-19

mysql管理工具Maatkit介绍

Maatkit是不错的mysql管理工具，已经成为Percona的一部分。包含以下主要工具： 1、mk-table-checksum 检查主从表是否一致的有效工具 2、mk-table-sync 有效保证表一致的工具，不必重载从表而能够保证一致。 3、mk-visual-explain exlpain解释工具 4、mk-heartbeat 主从同步的监视工具...

859

阅读约2分钟

2019-10-19

Spark 大规模机器学习官方文档 - 中文翻译

Spark官方文档 - 中文翻译 Spark版本：1.6.0 转载请注明出处：http://www.cnblogs.com/BYRans/ 1 概述(Overview) 2 引入Spark(Linking with Spark) 3 初始化Spark(Initializing Spark) 3.1 使用Spark Shell(Using the Shell)...

596

阅读约2小时

2019-10-19

揭秘全球最大网站 Facebook 背后应用软件

2010年6月，Google公布全球Top1000网站。Facebook独占鳌头。以Facebook现在的经营规模，诸多传统服务器的技术均将崩溃或根本无法支撑。那么面对5亿的活跃用户，Facebook的工程师们又将如何让网站平稳运转呢？这篇文章将展示Facebook的工程师完成这个艰巨任务所用到的一系列软件。Facebook级别规模的挑战在我们深入细节之...

689

阅读约11分钟

2019-10-19

Hadoop集群选择合适的硬件配置

为Hadoop集群选择合适的硬件配置随着Apache Hadoop的起步，云客户的增多面临的首要问题就是如何为他们新的的Hadoop集群选择合适的硬件。尽管Hadoop被设计为运行在行业标准的硬件上，提出一个理想的集群配置不想提供硬件规格列表那么简单。选择硬件，为给定的负载在性能和经济性提供最佳平衡是需要测试和验证其有效性。（比如，IO密集型工作负载的...

688

阅读约20分钟

2019-10-19

阿里云CentOS 7.2 MySQL服务启动失败的解决思路

阿里云 CentOS 7.2 MySQL服务启动失败的解决思路前言：昨天刚刚搭建好的MySQL让老大看了一下，经过测试已经完成任务。但是今天早晨来的时候发现服务器被关了，此时我的心情崩溃的，但是我非常冷静的解决了MySQL问题。如下： [root@spark01~]#journalctl-xe 但，可惜的时，这些信息并不能提供服务启动失败的真正原因。 ...

739

阅读约4分钟

2019-10-19

教你搭建elasticsearch与实现zabbix对接

一. 搭建elasticsearch 上传jdk-8u181-linux-x64.tar.gz和elasticsearch-6.1.4.tar.gz文件到系统任意目录，安装java解压jdk-8u181-linux-x64.tar.gz文件tar -zxvf jdk-8u181-linux-x64.tar.gz 编辑profile文件，添加jdk环境变量v...

661

阅读约15分钟

2019-10-19

Google的十个核心技术，互联网营销

曾任职于IBM中国研究院，从事与云计算相关研究的CSDN博客专家吴朱华曾写过一篇文章《探索Google App Engine背后的奥秘(1)--Google的核心技术》，对Google的核心技术和其整体架构进行详细的分析。本篇将主要介绍Google的十个核心技术，而且可以分为四大类： 1.分布式基础设施：GFS，Chubby和Protocol Buffer...

584

阅读约18分钟

2019-10-19

Hadoop集群部署实战

Hadoop 集群搭建目录集群简介服务器准备环境和服务器设置 JDK环境安装 Hadoop安装部署启动集群测试集群简介在进行集群搭建前，我们需要大概知道搭建的集群都是些啥玩意。 HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者在逻辑上分离，但物理上常在一起（啥意思？就是说：HDFS集群和YARN集群，他们俩是两个不同的玩...

612

阅读约16分钟

2019-10-19

Hadoop分布式文件系统设计要点与架构

Hadoop分布式文件系统设计要点与架构 Hadoop简介：一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署...

690

阅读约21分钟

2019-10-19

Docker在windows下的使用【二】

可参考学习地址：极客学院docker教程，还不错，可以参考 1.Dockerhub下载镜像下载地址：Dockerhub地址有两种方式可以获得新的镜像直接从dockerhub下载编译好的image（该编译过程在docker hub的云端完成）（见3.1）下载docekrfile文件，在本机进行build 直接在dockerhub上pull pre-bu...

934

阅读约12分钟

2019-10-19

Docker在windows下的使用【一】

1.windows按照docker的基本要求（1）64为操作系统，win7或者更高（2）支持“ Hardware Virtualization Technology”，并且，“virtualization ”可用 2.具体安装步骤即安装Docker Toolbox，同时还附加安装 Docker Client for Windows Docker Tool...

992

阅读约9分钟

2019-10-19

Spark官方文档: Spark Configuration（Spark配置）

Spark官方文档: Spark Configuration（Spark配置） Spark主要提供三种位置配置系统：环境变量：用来启动Spark workers，可以设置在你的驱动程序或者conf/spark-env.sh 脚本中； java系统性能：可以控制内部的配置参数，两种设置方法：编程的方式（程序中在创建SparkContext之前，使用Syst...

1117

阅读约13分钟

2019-10-19

Zabbix 的 Docker 映像

在Docker中使用zabbix进行监控Container 容器提供了以下* Zabbix服务*，请参阅[ Zabbix文件]（http://www.zabbix.com/）附加信息。 Zabbix Server端口号10051. Zabbix Java Gateway端口号 10052. Zabbix Web UI端口号 80 (例子 http://$co...

890

阅读约9分钟

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。

文章列表

Hive SQL去重a,b和b,a类型

开源框架Mahout配置

2017金砖会议之spark

僵尸网络的最新消息与发展趋势

HBase工具之监控Region的可用和读写延时状况

Hive 简单SQL

腾讯大规模Hadoop集群实践

mysql管理工具Maatkit介绍

Spark 大规模机器学习官方文档 - 中文翻译

揭秘全球最大网站 Facebook 背后应用软件

Hadoop集群选择合适的硬件配置

阿里云CentOS 7.2 MySQL服务启动失败的解决思路

教你搭建elasticsearch与实现zabbix对接

Google的十个核心技术，互联网营销

Hadoop集群部署实战

Hadoop分布式文件系统设计要点与架构

Docker在windows下的使用【二】

Docker在windows下的使用【一】

Spark官方文档: Spark Configuration（Spark配置）

Zabbix 的 Docker 映像

资源下载

腾讯云软件源

Spring

Sublime Text

WebStorm

欢迎您来访！