文章列表-低调大师优秀的个人博客

您现在的位置是：首页>文章列表

文章列表

Spark 安装与实战

折腾了几天，终于把Spark 集群安装成功了，其实比hadoop要简单很多，由于网上搜索到的博客大部分都还停留在需要依赖mesos的版本，走了不少弯路。 1. 安装 JDK 1.7 yumsearchopenjdk-devel sudoyuminstalljava-1.7.0-openjdk-devel.x86_64 /usr/sbin/alternativ...
2019-10-19 14热度收藏
搭建Spark集群服务器

tidb1.0开始支持spark，有个组件tiSpark，不过目前只支持spark2.1版本。所以为了启用tiSpark，还需搭建spark集群。在官网下载地址http://spark.apache.org/downloads.html上，我找到了with hadoop的版本。如下图：下载地址：https://d3kbcqa49mib13.cloudfr...
2019-10-19 24热度收藏
Flex 4 和 Flash Builder 4 正式版发布采用全新的Spark组件架构

Flex 4 正式版于昨天正式对外发布。Flex 4采用全新的Spark组件架构，支持Flash Catalyst和Flash Builder4的设计开发工作流，以及其他许许多多的新特性。 * 下载 Flex 4 SDK 一起发布的还有Flash Builder 4，有90多个新特性，大大提升了开发者的生产效率。 * 下载Flash Builder 4正式版...
2019-10-19 14热度收藏
安装hadoop伪分布式模式(Single Node Cluster)

目的本文档介绍如何去安装单节点hadoop集群，以便你可以的了解和使用hadoop的HDFS和MapReduce. 环境： os: CentOS release 6.5 (Final) ip: 172.16.101.58 user：root hadoop-2.9.0.tar.gz SSH无密码登录配置因为本文档使用root用户安装，所以需要配置好root...
2019-10-19 26热度收藏
史上最恶毒10大病毒 Conficker排名第八

5月3日消息，据vnunet.com网站报道，美国旧金山的专栏作家伊恩·汤姆森（Iain Thomson）和肖恩·尼古拉斯(Shaun Nichols)发表了他们认为迄今为止最恶毒的10个计算机病毒排行榜。史上最恶毒10大病毒 1.Creeper Creeper可能是第一个计算机病毒，尽管这种说法还有争议。这个病毒是在1971年由Bob Thomas使用T...
2019-10-19 7热度收藏
安装hadoop集群(Multi Cluster)

配置环境本文档安装hadoop集群环境，一个master作为namenode节点，一个slave作为datanode节点： (1) master： os: CentOS release 6.5 (Final) ip: 172.16.101.58 user：root hadoop-2.9.0.tar.gz (2) slave： os: CentOS rele...
2019-10-19 29热度收藏
Hive SQL去重a,b和b,a类型

昨天开发找到我们DBA，要我们写一条Hive SQL。需求：有一个t表，主要有机场名称airport，机场的经纬度distance这两个列组成，想得到所有距离小于100的两个机场名。其实写这个SQL的逻辑并不是很困难，难点是如何去重复值，我用MySQL模拟的一个表，其实Hive语法和SQL差不多，插入了三条数据，a, b, c 分别代表三个机场名称，...
2019-10-19 14热度收藏
开源框架Mahout配置

开源框架Mahout配置机器学习这两年特别火，ATB使劲开百万到几百万年薪招美国牛校的机器学习方向博士，作为一个技术控，也得折腾下，就这样来初步折腾下Mahout这个机器学习的主流开源框架。一、Mahout简介 Mahout的中文意思：驭象的人，再看看Mahout的logo，骑在象头上的那个Mahout。机器学习是人工智能的一个分支，它涉及通过一些技术来...
2019-10-19 8热度收藏
Hadoop简介

Hadoop简介 Hadoop是使用Java编写，允许分布在集群，使用简单的编程模型的计算机大型数据集处理的Apache的开源框架。 Hadoop框架应用工程提供跨计算机集群的分布式存储和计算的环境。 Hadoop是专为从单一服务器到上千台机器扩展，每个机器都可以提供本地计算和存储。 hadoop2.9.0暂时是个不成熟的版本，建议使用先前的稳定版本hado...
2019-10-19 10热度收藏
2017金砖会议之spark

前言 2017年金砖国家工商论坛组委会2日召开新闻发布会，介绍有关情况。论坛预期取得四方面成果：一是增强工商界加强互利合作的信心，二是增进工商界之间的交流合作，三是提出有价值的政策建议，四是拓展工商界参与全球经济治理的深度和广度。 spark简介 Spark（注意不要同Apache Spark混淆）的设计初衷是，可以简单容易地创建REST API或Web应用...
2019-10-19 20热度收藏
僵尸网络的最新消息与发展趋势

对于当前的形势我一直有一个疑问，为何世界经济持续低迷，但网络犯罪活动却欣欣向荣。难道互联网真的是犯罪分子的天堂么?是否是高昂的投资回报率，使得恶意软件制作者们不断改进如Storm这样的蠕虫?貌似如此。 Storm卷土重来首先要提到的重大事件是由Storm 蠕虫创建的僵尸网络再度出现。2007年，Storm蠕虫曾经建立起了一个空前庞大的僵尸网络。不过在200...
2019-10-19 20热度收藏
HBase工具之监控Region的可用和读写延时状况

1、介绍 HBase集群上region数目由于业务驱动而越来越多，由于服务器本身，网络以及hbase内部的一些不确定性bug等因素使得这些region可能面临着不可用或响应延时情况。通过对region的监控，也可以反映出hdfs集群的状况 2、工具 org.apache.hadoop.hbase.tool.Canary 监控Region的可用和读写状况 Us...
2019-10-19 12热度收藏
Hive 简单SQL

1.创建表（1）内部表和外部表的区别默认创建的是内部表，可以指定目录，如果不指定则会创建默认目录，一旦drop,该目录和数据都会被删除创建external table 的时候需要指定存放目录，并且drop表的时候，不会删除该目录和目录下的数据，只会删除元信息 #创建一个外部表 0: jdbc:hive2://192.168.163.102:10000&...
2019-10-19 13热度收藏
腾讯大规模Hadoop集群实践

腾讯大规模Hadoop集群实践转自：http://www.csdn.net/article/2014-02-19/2818473-Tencent-Hadoop ID lishilong404740787 TDW是腾讯最大的离线数据处理平台。本文主要从需求、挑战、方案和未来计划等方面，介绍了TDW在建设单个大规模集群中采取的JobTracker分散化和Nam...
2019-10-19 111热度收藏
mysql管理工具Maatkit介绍

Maatkit是不错的mysql管理工具，已经成为Percona的一部分。包含以下主要工具： 1、mk-table-checksum 检查主从表是否一致的有效工具 2、mk-table-sync 有效保证表一致的工具，不必重载从表而能够保证一致。 3、mk-visual-explain exlpain解释工具 4、mk-heartbeat 主从同步的监视工具...
2019-10-19 9热度收藏
Spark 大规模机器学习官方文档 - 中文翻译

Spark官方文档 - 中文翻译 Spark版本：1.6.0 转载请注明出处：http://www.cnblogs.com/BYRans/ 1 概述(Overview) 2 引入Spark(Linking with Spark) 3 初始化Spark(Initializing Spark) 3.1 使用Spark Shell(Using the Shell)...
2019-10-19 9热度收藏
揭秘全球最大网站 Facebook 背后应用软件

2010年6月，Google公布全球Top1000网站。Facebook独占鳌头。以Facebook现在的经营规模，诸多传统服务器的技术均将崩溃或根本无法支撑。那么面对5亿的活跃用户，Facebook的工程师们又将如何让网站平稳运转呢？这篇文章将展示Facebook的工程师完成这个艰巨任务所用到的一系列软件。Facebook级别规模的挑战在我们深入细节之...
2019-10-19 34热度收藏
Hadoop集群选择合适的硬件配置

为Hadoop集群选择合适的硬件配置随着Apache Hadoop的起步，云客户的增多面临的首要问题就是如何为他们新的的Hadoop集群选择合适的硬件。尽管Hadoop被设计为运行在行业标准的硬件上，提出一个理想的集群配置不想提供硬件规格列表那么简单。选择硬件，为给定的负载在性能和经济性提供最佳平衡是需要测试和验证其有效性。（比如，IO密集型工作负载的...
2019-10-19 6热度收藏
阿里云CentOS 7.2 MySQL服务启动失败的解决思路

阿里云 CentOS 7.2 MySQL服务启动失败的解决思路前言：昨天刚刚搭建好的MySQL让老大看了一下，经过测试已经完成任务。但是今天早晨来的时候发现服务器被关了，此时我的心情崩溃的，但是我非常冷静的解决了MySQL问题。如下： [root@spark01~]#journalctl-xe 但，可惜的时，这些信息并不能提供服务启动失败的真正原因。 ...
2019-10-19 10热度收藏
教你搭建elasticsearch与实现zabbix对接

一. 搭建elasticsearch 上传jdk-8u181-linux-x64.tar.gz和elasticsearch-6.1.4.tar.gz文件到系统任意目录，安装java解压jdk-8u181-linux-x64.tar.gz文件tar -zxvf jdk-8u181-linux-x64.tar.gz 编辑profile文件，添加jdk环境变量v...
2019-10-19 42热度收藏

« 上页 243/5295 下页 »

文章筛选

文章列表