搜索[基础搭建]结果-低调大师优秀个人博客

精选列表

搜索[基础搭建]，共10000篇文章

Elasticsearch、Logstash、Kibana搭建统一日志分析平

elasticsearch redis kibana logstash(agent indexer) 服务器B:192.168.0.2 java logstash(agent) 首先安装服务器A相关软件一、安装基础软件

2017-01-03

weex sdk集成到Android工程三. weex服务项目搭建

2.服务项目搭建步骤前提需要安装好weex环境，具体参见前面文章：环境搭建地址接下来讲解如何使用weex-toolkit构建项目： 1）创建项目：命令行到任意文件夹，输入如下指令 weex init

2016-12-15

基于阿里云搭建微信小程序服务器(HTTPS)

本来是想写基于腾讯云搭建微信小程序服务器的，可惜腾讯云让我有点不好的体验，所以就先放弃使用腾讯云了。所以转而在阿里云上注册了域名和购买了云服务器ECS。

2016-11-08

使用阿里云开放搜索服务快速搭建资源搜索网站

随手百度一下BT搜索、磁链搜索关键词，就会出来很多类似的搜索网站，比如以下这些而今天，我们也来搭建一个类似的网站，只不过借助新技术，不仅搭建过程更加简化，建设思路也能有所革新，所以今天文章的主题就是

2016-10-28

Heartbeat-Gui V2 实现HA LAMP 搭建wordpress博客

0:off 1:off 2:off 3:off 4:off 5:off 6:off httpd 0:off 1:off 2:off 3:off 4:off 5:off 6:off NFS Server搭建

2016-10-27

利用Docker和阿里云容器服务轻松搭建TensorFlow Serving集群

本系列将利用Docker和阿里云容器服务，帮助您上手TensorFlow的机器学习方案第一篇：打造TensorFlow的实验环境第二篇：轻松搭建TensorFlow Serving集群 - 本文第三篇

2016-09-23

hadoop-2.6.4集群编译搭建-阿里云和腾讯云

腾讯云阿里云 hadoop集群编译搭建环境准备阿里云配置： [hadoop@lizer_ali ~]$ uname -a Linux lizer_ali 2.6.32-573.22.1.el6.x86

2016-07-31

VM+CentOS+hadoop2.7搭建hadoop完全分布式集群

写在前边的话：最近找了一个云计算开发的工作，本以为来了会直接做一些敲代码，处理数据的活，没想到师父给了我一个课题“基于质量数据的大数据分析”，那么问题来了首先要做的就是搭建这样一个平台，毫无疑问

2016-07-25

今天给大家带来的是开源实时日志分析 ELK , ELK 由 ElasticSearch 、 Logstash 和 Kiabana 三个开源工具组成。官方网站：https://www.elastic.co 其中的3个软件是： Elasticsearch 是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制， restful 风格接口，多数据源，自动搜索负载等。 Logstash 是一个完全开源的工具，他可以对你的日志进行收集、分析，并将其存储供以后使用（如，搜索）。 kibana 也是一个开源和免费的工具，他 Kibana 可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志系统系统需要安装的软件 ip 描述 centos6.4 Elasticsearch/test5 192.168.48.133 搜索存储日志 centos6.4 Elasticsearch/test4 192.168.48.131 搜索存储日志 centos6.4 Logstash/nginx/test1 192.168.48.129 用来收集日志给上面 centos6.4 kibana,nginx/test2 192.168.48.130 用来后端的展示软件下载：链接：链接：http://share.weiyun.com/3b6c27e33cbf4d0acc0ccfa14877bd05 （密码：IWLe）架构原理图：一、先安装elasticsearch集群，并测试通过再进行其他软件安装。在test5，test4上安装分别安装elasticsearch-2.3.3.rpm 前提要安装java1.8 步骤如下： yumremovejava-1.7.0-openjdk rpm-ivhjdk-8u91-linux-x64.rpm yumlocalinstallelasticsearch-2.3.3.rpm 配置elasticsearch 在目录/etc/elasticsearch目录下面 lasticsearch.yml elasticsearch.yml.bak logging.yml scripts 编辑lasticsearch.yml 修改如下配置 cluster.name: myelk #设置集群的名称,在一个集群里面都是这个名称，必须相同 node.name: test5 #设置每一个节点的名，每个节点的名称必须不一样。 path.data: /path/to/data #指定数据的存放位置，线上的机器这个要放到单一的大分区里面。 path.logs: /path/to/logs #日志的目录 bootstrap.mlockall: true #启动最优内存配置，启动就分配了足够的内存，性能会好很多，测试我就不启动了。 network.host: 0.0.0.0 #监听的ip地址，这个表示所有的地址。 http.port: 9200 #监听的端口号 discovery.zen.ping.unicast.hosts: ["192.168.48.133", "192.168.48.131"] #知道集群的ip有那些，没有集群就会出现就一台工作建立目录 mkdir-pv/pach/to/{data,logs} chownelasticsearch.elasticsearch/path-R 启动服务器 service elasticsearch start 并查看监控端口启动访问9200端口查看服务两台的配置都一样就是上面的IP和note名称要配置不一样就行安装插件 head和kopf 之后访问ip:9200/_plugin/head 和ip:9200/_plugin/kopf （插件可以图形查看elasticsearch的状态和删除创建索引） /usr/share/elasticsearch/bin/plugininstalllmenezes/elasticsearch-kopf /usr/share/elasticsearch/bin/plugininstallmobz/elasticsearch-head 二、安装nginx和logstash软件在test1上安装好nginx服务就是收集它的日志呢 yum-yinstallzlibzlib-developensslopenssl--develpcrepcre-devel ./configure--prefix=/usr/local/nginx--with-pcre--with-openssl=--with-zlib= make&&makeinstall 日志在/usr/local/nginx/logs/access.log 然后在test1上安装logstash-2.3.3-1.noarch.rpm yumremovejava-1.7.0-openjdk rpm-ivhjdk-8u91-linux-x64.rpm rpm-ivhlogstash-2.3.3-1.noarch.rpm /etc/init.d/logstashstart#启动服务 /opt/logstash/bin/logstash-e"input{stdin{}}output{stdout{codec=>"rubydebug"}}"#检测环境执行这个命令检测环境正常否，启动完成后直接输入东西就会出现之后输入/opt/logstash/bin/logstash -e 'input {stdin{}} output{ elasticsearch { hosts => ["192.168.48.131:9200"] index => "test"}}' 就是输入东西到48.131的elasticsearch上会在/path/to/data/myelk/nodes/0/indices 生成你名称test索引文件目录可以多输入几个到48.131的目录看看有没有文件有就证明正常。之后在/etc/logstash/conf.d 建立以.conf结尾的配置文件，我收集nginx就叫nginx.conf了内容如下； ########################################################################################### input { file { type => "accesslog" path => "/usr/local/nginx/logs/access.log" #日志的位置 start_position => "beginning" #日志收集文件，默认end } } output { if [type] == "accesslog" { elasticsearch { hosts => ["192.168.0.87"] ###elasticearch的地址 index => "nginx-access-%{+YYYY.MM.dd}" #生成的索引和刚才的test一样会在那里生成后面的是日期变量。 } } } ########################################################################################## 一定要仔细，之后运行/etc/init.d/logstash configtest检测配置是否正常。查看进程是否启动之后在elasticearch查看有没有索引生成。多访问下nginx服务如果没有就修改这个文件 vi /etc/init.d/logstash ###################################################################################################### LS_USER=root ###把这里换成root或者把访问的日志加个权限可以让logstash可以读取它重启服务就会生成索引了 LS_GROUP=root LS_HOME=/var/lib/logstash LS_HEAP_SIZE="1g" LS_LOG_DIR=/var/log/logstash LS_LOG_FILE="${LS_LOG_DIR}/$name.log" LS_CONF_DIR=/etc/logstash/conf.d LS_OPEN_FILES=16384 LS_NICE=19 KILL_ON_STOP_TIMEOUT=${KILL_ON_STOP_TIMEOUT-0} #default value is zero to this variable but could be updated by user request LS_OPTS="" ####################################################################################################### 看logstash的日志有下面的信息就成功了三、安装kibana软件上面的都安装完成后在test2上面安装kibana rpm-ivhkibana-4.5.1-1.x86_64.rpm 编辑配置文件在这里/opt/kibana/config/kibana.yml 就修改下面几项就行 ####################################################################################################### server.port: 5601 端口 server.host: "0.0.0.0" 监听 elasticsearch.url: "http://192.168.48.131:9200"elasticsearch地址 ###################################################################################################### /etc/init.d/kibana start 启动服务访问kibana http://ip:5601 添加展示的索引，就是在上面定义的 nginx-access-2016.07.03 四、其他的一些配置。 kibana是直接访问的比较不安全，我们需要用nginx访问代理，并设置权限用户名和密码访问先在kibana服务器上安装nginx 不介绍了在nginx里面配置 ################################################################################# server { listen 80; server_name localhost; auth_basic "Restricted Access"; auth_basic_user_file /usr/local/nginx/conf/htpasswd.users; #密码和用户 location / { proxy_pass http://localhost:5601; #代理kibana的5601之后就可以直接80访问了 proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header REMOTE-HOST $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; } } #################################################################################### 创建密码和用户文件：htpasswd.users 需要安装httpd-tool包先安装它 htpasswd -bc /usr/local/nginx/conf/htpasswd.users admin paswdadmin #前面是用户后面是密码 ################################################################################## 之后通过访问需要密码和用户并且是80端口了到这里就完成了，谢谢你的阅读。

2016-07-03

kvm虚拟化学习笔记(十九)之convirt集中管理平台搭建

原创作品，允许转载，转载时请务必以超链接形式标明文章原始出处、作者信息和本声明。否则将追究法律责任。 http://koumm.blog.51cto.com/703525/1305553 kvm虚拟化学习笔记(二十)之convirt安装linux系统 http://koumm.blog.51cto.com/703525/1306526 情况说明： (1)本文采用OEL6.3x64操作系统，需要有KVM安装环境。(2)convirt2.1.1采用源码方式安装，convirt环境分别两部分，一部分是cms,用于管理kvm/xen虚拟主机上的虚拟机，一部分做为客户端安装到kvm/xen虚拟主机上。(3)convirt2.1.1是开源的管理xen/kvm虚拟化管理工具，是众多开源工具中的一种。 1.安装convirt环境 (1)安装KVM环境 kvm虚拟化学习笔记(一)之kvm虚拟化环境安装：http://koumm.blog.51cto.com/703525/1288795 (2)准备convirt安装源 1 2 # cd /etc/yum.repos.d # wget --no-cache http: //www.convirture.com/repos/definitions/rhel/6.x/convirt.repo (3)下载convirt与cms安装包 1 2 3 # cd /root/ # wget --no-cache http: //www.convirture.com/downloads/convirt/2.1.1/convirt-2.1.1.tar.gz # wget --no-cache http: //www.convirture.com/downloads/convirt/2.1.1/convirt-install-2.1.1.tar.gz (4)安装convirt安装包 1 2 # tar -xzvf convirt-install- 2.1 . 1 .tar.gz # cd convirt-install/install/cms/scripts/ && ./install_dependencies 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 … 初始化 MySQL 数据库： Installing MySQL system tables... OK Filling help tables... OK To start mysqld at boot time you have to copy support-files/mysql.server to the right place for your system PLEASE REMEMBER TO SET A PASSWORD FOR THE MySQL root USER ! To do so, start the server, then issue the following commands: /usr/bin/mysqladmin -u root password 'new-password' /usr/bin/mysqladmin -u root -h vmnode1 password 'new-password' Alternatively you can run: /usr/bin/mysql_secure_installation which will also give you the option of removing the test databases and anonymous user created by default . This is strongly recommended for production servers. See the manual for more instructions. You can start the MySQL daemon with : cd /usr ; /usr/bin/mysqld_safe & You can test the MySQL daemon with mysql-test-run.pl cd /usr/mysql-test ; perl mysql-test-run.pl Please report any problems with the /usr/bin/mysqlbug script! [确定] 正在启动 mysqld： [确定] Running mysql_secure_installation. Current root password for fresh installation is blank. So simple press enter. NOTE: RUNNING ALL PARTS OF THIS SCRIPT IS RECOMMENDED FOR ALL MySQL SERVERS IN PRODUCTION USE! PLEASE READ EACH STEP CAREFULLY! In order to log into MySQL to secure it, we'll need the current password for the root user. If you've just installed MySQL, and you haven't set the root password yet, the password will be blank, so you should just press enter here. Enter current password for root (enter for none): OK, successfully used password, moving on... Setting the root password ensures that nobody can log into the MySQL root user without the proper authorisation. Set root password? [Y/n] y New password: Re-enter new password: Password updated successfully! Reloading privilege tables.. ... Success! By default , a MySQL installation has an anonymous user, allowing anyone to log into MySQL without having to have a user account created for them. This is intended only for testing, and to make the installation go a bit smoother. You should remove them before moving into a production environment. Remove anonymous users? [Y/n] y ... Success! Normally, root should only be allowed to connect from 'localhost' . This ensures that someone cannot guess at the root password from the network. Disallow root login remotely? [Y/n] y ... Success! By default , MySQL comes with a database named 'test' that anyone can access. This is also intended only for testing, and should be removed before moving into a production environment. Remove test database and access to it? [Y/n] y - Dropping test database... ... Success! - Removing privileges on test database... ... Success! Reloading the privilege tables will ensure that all changes made so far will take effect immediately. Reload privilege tables now? [Y/n] y ... Success! Cleaning up... All done! If you've completed all of the above steps, your MySQL installation should now be secure. Thanks for using MySQL! mysqld (pid 2691 ) 正在运行... MySQL service is already running. Prerequsite for ConVirt Management Server (CMS) installed. 说明：安装过程会安装mysql数据库，并输入mysql数据库root帐号密码。 (5)修改mysql数据库配置文件 (6)解压CMS软件包并安装 1 2 3 4 5 # cd /root/ # cd convirt-install/install/cms/scripts/ && source install_config # cd /root && tar -xzf convirt- 2.1 . 1 .tar.gz -C $CONVIRT_BASE # ./setup_tg2 # ./setup_convirt 安装过程略… (7)启动与关闭convirtCMS 启动convirt 关闭convirt 1 # /root/convirt/convirt-ctl stop (8)打开convirt2.1.1 http://192.168.233.170:8081 输入admin/admin 还需要在kvm虚拟主机上安装convirt-tools工具之后才能添加。 2.在KVM虚拟主机上安装convirt-tools工具注：在kvm虚拟主机上安装convirt-tools工具。 1 2 3 4 5 # wget http: //www.convirture.com/downloads/convirture-tools/2.1.1/convirture-tools-2.1.1.tar.gz # tar zxvf convirture-tools- 2.1 . 1 .tar.gz # cd convirture-tools/install/managed_server/scripts # ./convirt-tool install_dependencies # ./convirt-tool setup 3.在convirtcms上添加KVM虚拟主机添加KVM虚拟主机。本文出自 “koumm的linux技术博客” 博客，请务必保留此出处http://koumm.blog.51cto.com/703525/1305553

2016-05-24

搭建docker内网私服（docker-registry with nginx&ssl on centos）

本文记录的是个人完整的搭建过程，docker version为1.1.2。官方提供了Docker Hub网站来作为一个公开的集中仓库。

2016-05-18

容器服务之快速搭建使用阿里云rds的wordpress网站

登录容器服务控制台，创建好集群，如果用户已有ECS机器，可以创建0节点的集群，然后将已有机器加入集群。登录容器服务控制台，选择侧边栏的应用，在下拉框选择相应的集群，选择创建应用填写应用名称，本例为wordpress-rds, 选择使用编排模板创建在编辑框中输入以下编排模板请注意将WORDPRESS_DB_USER修改为您数据库用户名，将WORDPRESS_DB_PASSWORD修改为您数据库的密码，将WORDPRESS_DB_NAME修改为您数据库的名称，同时将db服务下面的host修改为您要连接的数据库的域名，将ports修改为您要连接的数据库的端口。 web: image: wordpress ports: - '80' restart: always li

2016-04-06

搭建 OpenStack 实验环境 - 每天5分钟玩转 OpenStack（16）

在学习 OpenStack 各服务之前，让我们先搭建起一个实验环境。毋庸置疑，一个看得到摸得着而且允许我们随便折腾的 OpenStack 能够提高我们的学习效率。

2016-04-04

docker学习(6) docker中搭建java服务及nginx反向代理

先看下容器规划：上图中mysql容器的搭建见上篇博客，service1/2为java rest service，创建脚本如下： docker run -d -h service1 \ -v /Users

2016-02-02

使用Eclipse开发及测试Spark的环境搭建及简单测试

合并成一个大的单词集合 44 /** 45 * 第四步：对初始的RDD进行Transformation级别的处理，例如map、filter等高阶函数的编程，来进行具体的数据计算 46 * 第4.2步：在单词切分的基础上

2016-01-27

linux 下 docker NGINX+PHP+MYSQL+REDIS+Elasticsearch 开发环境搭建

一步步跟我做，搭建属于自己的 docker 开发环境作者：风来了.fox nginx 1.8.0 php 5.6.x 1.docker 安装 1.1 ubuntu 14.x 15.x sudo apt-get

2016-01-03

docker 中 NGINX+PHP+MYSQL+REDIS+Elasticsearch 环境搭建 (windows系统)

windows 下 boot2docker fox.风来了 1.boot2docker 先安装这个： Docker虽然是Linux内核，但是官方还是支持了Windows和OS X。Boot2Docker官方下载地址：https://github.com/boot2docker/windows-installer/releasesBoot2Docker官方安装手顺：http://docs.docker.com/installation/windows/ 启动方法 windows 桌面打开Boot2Docker Start 这个快捷方式，出现的命令界面中执行 2.启动不成功 #先关闭 boot2docker stop #然后启动 boot2docker start 如果出现以下错误 Writing /Users/mylxsw/.boot2docker/certs/boot2docker-vm/ca.pem Writing /Users/mylxsw/.boot2docker/certs/boot2docker-vm/cert.pem Writing /Users/mylxsw/.boot2docker/certs/boot2docker-vm/key.pem export DOCKER_HOST=tcp://192.168.59.103:2376 export DOCKER_CERT_PATH=/Users/mylxsw/.boot2docker/certs/boot2docker-vm export DOCKER_TLS_VERIFY=1解决方法：设置三个变量可以手动到WINDOWS里面设置也可以，用以下命令设置 eval "$(boot2docker shellinit)" #命令查看状态 bash-4.3$ boot2docker status running #命令查看版本 bash-4.3$ boot2docker version Boot2Docker-cli version: v1.8.0 Git commit: 9a26066 bash-4.3$ 3.进入docker boot2docker ssh 4.文件夹项目 windows boot2docker 默认共享 /c/当前用户名例如（我的本地）：/c/Users/lanmps/ 如果在一个分区可以使用 mklink /H "C:\Users\lanmps\git" "C:\git" MKLINK [[/D] | [/H] | [/J]] Link Target /D 创建目录符号链接。默认为文件符号链接。 /H 创建硬链接，而不是符号链接。 /J 创建目录联接。 Link 指定新的符号链接名称。 Target 指定新链接引用的路径 (相对或绝对)。 5. 设置其他盘文件夹为项目文件夹 5.1 先关闭boot2docker windows 桌面打开Boot2Docker Start 这个快捷方式，出现的命令界面中执行 boot2docker stop 5.2 设置共享文件夹在虚拟机管理界面中， boot2docker-vm 一定要是关闭状态（图中是我已经设置好的所以是运行的）设置的共享文件夹名称 c/Users 不能改变，如果改变了一定要改回来 5.3 boot2docker启动 boot2docker start启动成功后，如果有问题，重复 2 3 两个步骤就可以了 #进入docker boot2docker ssh #进入共享目录 cd /c/Users #查看列表 ll 发现e:\git目录下的全都有了 6.注意因为boot2docker使用的是内存 linux，所以只要关机/重启时候，没有把该 boot2docker-vm 设置为休眠或者快照，那么关机/重启之后，虚拟机内所有数据全部都是不存在的。 x.镜像下载和 linux 一样 http://blog.csdn.net/fenglailea/article/details/50100311

2015-12-02

docker 中 NGINX+PHP+MYSQL+REDIS+Elasticsearch 环境搭建 (linux系统)

项目中N次使用PHP+MYSQL+NGINX+REDIS+ Elasticsearch，为了方便所以使用了docker fox.风来了完整版地址： http://blog.csdn.net/fenglailea/article/details/50451555 目前是 LINUX 下，稍后制作 WINDOWS下的 1.docker 环境安装 http://blog.csdn.net/fenglailea/article/details/44886427 推荐使用方法二 2.下载镜像国外和国内的docker hub 是两种速度体验，访问国外的HUB 的时间，可以和朋友一起搓一顿都够了。可以使用国内的docker HUB 使用国外下载 docker hub 时，有时会报错，比如超时，或者有代理什么的，直接PASS，重新PULL 2.1 nginx+php+redis 镜像下载 docker pull foxiswho/docker-nginx-php大约2小时，docker hub 国内没有服务器就是慢，可以使用国内的一些docker 仓库如阿里云等 2.2elasticsearch 镜像下载 docker pull elasticsearch大约 1 小时 2.3 mysql 或其他 docker pull mysql:5.5.27大约1小时 3. 启动设置容器 3.1elasticsearch docker run --name es -p 9200:9200 -p 9300:9300 -d elasticsearch:latest --name 容器别名 -p 主机端口:容器端口 -d 镜像 3.2 mysql docker run --name mysql -p 3306:3306 -e MYSQL_ROOT_PASSWORD=root -d mysql:5.6.27 3.3 nginx+php+redis docker run --name web --link mysql:db --link es:es -p 8080:80 -v /www/wwwroot/web:/usr/share/nginx/html -d foxiswho/docker-nginx-php:latest--link 容器内之间链接，比如访问数据库原来是 localhost或者 127.0.0.1 ,现在只要填写 db 就可以了 -v 本地目录:容器目录 ,例如本地目录/www/wwwroot/web 注意本地目录设置权限和用户组 chown -R www-data:www-data/www/wwwroot/web chmod -R 777/www/wwwroot/web 这个时候访问本机 127.0.0.1:8080 就可以看到你的项目站点了 4.容器操作 4.1 已启动的容器如果启动成功了使用命令就可以看到已启动的容器： docker ps 4.1 所有容器 docker ps -a

2015-11-29

centos+scala2.11.4+hadoop2.3+spark1.3.1环境搭建

一、Java安装 1、安装包准备：首先到官网下载jdk，http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html，我下载jdk-7u79-linux-x64.tar.gz，下载到主目录 2、解压安装包通过终端在/usr/local目录下新建java文件夹，命令行： sudo mkdir /usr/local/java 然后将下载到压缩包拷贝到java文件夹中，命令行：进入jdk压缩包所在目录 cp jdk-7u79-linux-x64.tar.gz /usr/local/java 然后进入java目录，命令行： cd /usr/local/java 解压压缩包，命令行： sudo tar xvf jdk-7u79-linux-x64.tar.gz 然后可以把压缩包删除，命令行： sudo rm jdk-7u79-linux-x64.tar.gz 3、设置jdk环境变量这里采用全局设置方法，就是修改etc/profile，它是是所有用户的共用的环境变量 sudo vi /etc/profile 打开之后在末尾添加 export JAVA_HOME=/usr/local/java/jdk1.7.0_79 export JRE_HOME=/usr/local/java/jdk1.7.0_79/jre export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH export PATH=$JAVA_HOME/bin: $PATH 使profile生效 source /etc/profile 4、检验是否安装成功在终端 java -version 显示如下 java version "1.7.0_79"Java(TM) SE Runtime Environment (build 1.7.0_79-b15)Java HotSpot(TM) 64-Bit Server VM (build 24.79-b02, mixed mode) PS:后来发现直接rpm包jdk-7u79-linux-x64.rpm桌面双击安装也OK，^_^ 二、scala2.11.4安装 1、安装包准备：首先到官网下载scala，http://www.scala-lang.org/，下载scala-2.11.4.tgz，并复制到/usr/bib 2、解压安装包 tar -zxf scala-2.11.4.tgz 3、设置scala环境变量这里采用全局设置方法，就是修改etc/profile，它是是所有用户的共用的环境变量 sudo vi /etc/profile 打开之后在末尾添加 export SCALA_HOME=/usr/lib/scala-2.11.4export PATH=$SCALA_HOME/bin:$PATH 使profile生效 source /etc/profile 4、检验是否安装成功在终端 scala -version 显示如下 Scala code runner version 2.11.4 -- Copyright 2002-2013, LAMP/EPFL 三、hadoop2.3安装 1、安装包准备： hadoop版本有点混乱，除了http://hadoop.apache.org/有众多版本之外，还有Cloudera公司的CDH版本，请从观望下载hadoop-2.3.0.tar.gz或者下载CDH版本hadoop-2.3.0-cdh5.0.0.tar.gz，本文环境是在hadoop-2.3.0-cdh5.0.0.tar.gz之上建立。 2、解压安装包下载安装包之后复制到/usr目录。 tar -zxf hadoop-2.3.0-cdh5.0.0.tar.gz 解压后生成hadoop-2.3.0-cdh5.0.0，重命名为hadoop-2.3.0。 3、配置环境这里采用全局设置方法，就是修改etc/profile，它是是所有用户的共用的环境变量 sudo vi /etc/profile 打开之后在末尾添加 export HADOOP_HOME=/home/zero/hadoop/hadoop-2.3.0 export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin 使profile生效 source /etc/profile 3、建立hadoop用户 useradd hadoop passwd hadoop 3、配置SSH免登录 su hadoop //切换到hadoop用户目录下 ssh-keygen-t rsa(一路回车生成密钥) cd/home/hadoop/.ssh/ scp id_rsa.pub hadoop@slave1:/home/hadoop/.ssh/ mv id_rsa.pub authorized_keys 四、spark1.3.1安装 1、安装包准备： spark官网下载spark-1.3.1-bin-hadoop2.3.tgz。 2、解压安装包下载安装包之后复制到/usr目录。 tar -zxf spark-1.3.1-bin-hadoop2.3.tgz 解压后生成spark-1.3.1-bin-hadoop2.3，重命名为spark-1.3.1-hadoop2.3。 3、配置环境这里采用全局设置方法，就是修改etc/profile，它是是所有用户的共用的环境变量 sudo vi /etc/profile 打开之后在末尾添加 export SPARK_HOME=/usr/spark-1.3.1-hadoop2.3export PATH=$SPARK_HOME/bin:$PATH 使profile生效 source /etc/profile 4、配置环境这里采用全局设置方法，就是修改etc/profile，它是是所有用户的共用的环境变量 sudo vi /etc/profile 打开之后在末尾添加 export SPARK_HOME=/usr/spark-1.3.1-hadoop2.3export PATH=$SPARK_HOME/bin:$PATH 使profile生效 source /etc/profile 配置Spark环境变量 cd $SPARK_HOME/confcp spark-env.sh.template spark-env.sh vi spark-env.sh 添加以下内容： export JAVA_HOME=/usr/local/java-1.7.0_79 export HADOOP_HOME=/usr/hadoop-2.3.0 export HADOOP_CONF_DIR=/etc/hadoop/conf export SCALA_HOME=/usr/lib/scala-2.11.4 export SPARK_HOME=/usr/spark-1.3.1-hadoop2.3 export SPARK_MASTER_IP=127.0.0.1 export SPARK_MASTER_PORT=7077 export SPARK_MASTER_WEBUI_PORT=8099 export SPARK_WORKER_CORES=3 //每个Worker使用的CPU核数 export SPARK_WORKER_INSTANCES=1 //每个Slave中启动几个Worker实例 export SPARK_WORKER_MEMORY=10G //每个Worker使用多大的内存 export SPARK_WORKER_WEBUI_PORT=8081 //Worker的WebUI端口号 export SPARK_EXECUTOR_CORES=1 //每个Executor使用使用的核数 export SPARK_EXECUTOR_MEMORY=1G //每个Executor使用的内存 export SPARK_CLASSPATH=/usr/spark-1.3.1-hadoop2.3/lib/sequoiadb-driver-1.12.jar:/usr/spark-1.3.1-hadoop2.3/lib/spark-sequoiadb_2.11.2-1.12.jar //使用巨衫数据库export SPARK_CLASSPATH=$SPARK_CLASSPATH:$CLASSPATHexport LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$HADOOP_HOME/lib/nativ 配置Slave cp slaves.template slavesvi slaves 添加以下内容：localhost 5、启动Spark Master cd $SPARK_HOME/sbin/./start-master.sh 6、启动Spark Slave cd $SPARK_HOME/sbin/./start-slaves.sh

2015-11-07

Elasticsearch、Logstash、Kibana搭建统一日志分析平台

elasticsearch redis kibana logstash(agent indexer) 服务器B:192.168.0.2 java logstash(agent) 首先安装服务器A相关软件一、安装基础软件

2015-11-03

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。