搜索[基础搭建]结果-低调大师优秀个人博客

精选列表

搜索[基础搭建]，共10000篇文章

用gogs搭建属于自己的git网站

如果你对docker的操作不太了解, 建议先阅读从零搭建docker私有仓库 gogs是一款极易搭建的自助 Git 服务, 掌握了它, 我们就可以搭建自己的git服务站点 gogs官网: https:

2018-07-21

1、Spark简介 Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。 Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。 Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。尽管创建 Spark 是为了支持分布式数据集上的迭代作业，但是实际上它是对 Hadoop 的补充，可以在 Hadoop 文件系统中并行运行。通过名为 Mesos 的第三方集群框架可以支持此行为。Spark 由加州大学伯克利分校 AMP 实验室 (Algorithms, Machines, and People Lab) 开发，可用来构建大型的、低延迟的数据分析应用程序。 2、部署准备 2.1、安装包准备 spark-2.2.0-bin-hadoop2.6.tgz jdk-8u161-linux-x64.tar.gz scala-2.11.0.tgz 2.2、节点配置信息2.3、节点资源配置信息3、集群配置与启动 3.1、安装包上传与解压操作节点：risen01 操作用户：root 上传安装包spark-2.2.0-bin-hadoop2.6.tgz，scala-2.11.0.tgz，jdk-8u161-linux-x64.tar.gz（如果已经存在则不需要此步骤）到 risen01节点下的~/packages目录下，结果如图所示： 2、解压JDK安装包，Spark安装包Scala安装包和到/usr/local下操作节点：risen01 操作用户：root 解压JDK命令: tar -zxvf ~/packeages/jdk-8u161-linux-x64.tar.gz -C /usr/local 解压spark命令: tar -zxvf ~/packages/spark-2.2.0-bin-hadoop2.6.tgz -C /usr/local 解压Scala命令： tar -zxvf ~/packages/scala-2.11.0.tgz -C /usr/local 3.2、启动前准备操作节点：risen01，risen02，risen03 操作用户：root 在/data目录下新建立spark/work目录用来存放spark的任务处理日志在/log目录下新建立spark目录用来存放spark的启动日志等 3.3、修改配置文件 3.3.1、编辑spark-env.sh文件操作节点：risen01 操作用户：root 说明：请根据实际集群的规模和硬件条件来配置每一项参数进入到/usr/local/spark-2.2.0-bin-hadoop2.6/conf目录下执行命令： cp spark-env.sh.template spark-env.sh 编辑spark-env.sh文件，添加以下内容： #设置spark的web访问端口 SPARK_MASTER_WEBUI_PORT=18080 #设置spark的任务处理日志存放目录 SPARK_WORKER_DIR=/data/spark/work #设置spark每个worker上面的核数 SPARK_WORKER_CORES=2 #设置spark每个worker的内存 SPARK_WORKER_MEMORY=1g #设置spark的启动日志等目录 SPARK_LOG_DIR=/log/spark #指定spark需要的JDK目录 export JAVA_HOME=/usr/local/jdk1.8.0_161 #指定spark需要的Scala目录 export SCALA_HOME=/usr/local/scala-2.11.0 #指定Hadoop的安装目录 export HADOOP_HOME=/opt/cloudera/parcels/CDH/lib/hadoop #指定Hadoop的配置目录 export HADOOP_CONF_DIR=/opt/cloudera/parcels/CDH/lib/hadoop/etc/hadoop/ #实现spark-standlone HA（因为我们HA实现的是risen01和risen02之间的切换不涉及risen03，所以这段配置risen03可有可无） export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=risen01:2181,risen02:2181,risen03:2181 -Dspark.deploy.zookeeper.dir=/data/spark" 3.3.2、编辑spark-defaults.conf文件操作节点：risen01 操作用户：root 说明：请根据实际集群的规模和硬件条件来配置每一项参数进入到/usr/local/spark-2.2.0-bin-hadoop2.6/conf目录下执行命令： cp spark-defaults.conf.template spark-defaults.conf 编辑spark-defaults.conf文件，添加以下内容： #设置spark的主节点 spark.master spark://risen01:7077 #开启eventLog spark.eventLog.enabled true #设置eventLog存储目录 spark.eventLog.dir /log/spark/eventLog #设置spark序列化方式 spark.serializer org.apache.spark.serializer.KryoSerializer #设置spark的driver内存 spark.driver.memory 1g #设置spark的心跳检测时间间隔 spark.executor.heartbeatInterval 20s #默认并行数 spark.default.parallelism 20 #最大网络延时 spark.network.timeout 3000s 3.3.3、编辑slaves文件操作节点：risen01 操作用户：root 说明：请根据实际集群的规模和硬件条件来配置每一项参数进入到/usr/local/spark-2.2.0-bin-hadoop2.6/conf目录下执行命令： cp slaves.templete slaves 编辑slaves文件，修改localhost为： risen01 risen02 risen03 3.4、分发其他节点执行scp命令：操作节点：risen01 操作用户：root scp -r /usr/local/spark-2.2.0-bin-hadoop2.6 root@risen02:/usr/local scp -r /usr/local/scala-2.11.0 root@risen02:/usr/local scp -r /usr/local/jdk1.8.0_161 root@risen02:/usr/local scp -r /usr/local/spark-2.2.0-bin-hadoop2.6 root@risen03:/usr/local scp -r /usr/local/scala-2.11.0 root@risen03:/usr/local scp -r /usr/local/jdk1.8.0_161 root@risen03:/usr/local 需要提前创建好bigdata用户并实现免密（这里不再赘述，此步骤如果做过可不做）权限修改操作节点：risen01，risen02，risen03 操作用户：root 修改/log/spark权限命令： chown -R bigdata.bigdata /log/spark 修改/data/spark权限命令： chown -R bigdata.bigdata /data/spark 修改spark的安装目录命令： chown -R bigdata.bigdata /usr/local/spark-2.2.0-bin-hadoop2.6 修改Scala的安装目录命令： chown -R bigdata.bigdata /usr/local/scala-2.11.0 修改JDK1.8的安装目录命令：（此步骤如果做过可不做） chown -R bigdata.bigdata /usr/local/jdk1.8.0_161 结果如图下所示：3.5、启动集群操作节点：risen01，risen02 操作用户：bigdata (1) 进入到/usr/local/spark-2.2.0-bin-hadoop2.6/sbin目录下执行./start-all.sh，查看web界面如下图所示：然后在进入到risen02机器的spark安装目录下/usr/local/spark-2.2.0-bin-hadoop2.6/sbin执行命令./start-master.sh启动spark集群的备用主节点。（记得一定要启动备用主节点的进程，这里我们只用risen02做备用主节点，risen03虽然也配置了有资格，但是暂时我们不需要） (2) 进入到/usr/local/spark-2.2.0-bin-hadoop2.6/bin目录下执行spark-shell，并测试统计词频的测试，结果如下图所示：截止到此，spark-standlone模式便安装成功了！推荐阅读：https://www.roncoo.com/course/view/c4e0130ea2354c71a2cb9ba24348746c 文章来源：https://my.oschina.net/blogByRzc/blog/1800450

2018-07-19

环境搭建-CentOS下安装Harbor镜像仓库

ps】看下容器状态 image.png 都正常了，访问【http://192.168.242.132】看一下，能正常访问了： image.png 使用admin账号登录 image.png 搭建成功

2018-07-10

云主机搭建Kubernetes 1.10集群

一、基础环境云主机下载软件包将所有软件下载至/data目录 # 链接：https://pan.baidu.com/s/13DlR1akNBCjib5VFaIjGTQ 密码：1l69 # 链接：https

2018-07-08

使用kubekit搭建k8s集群

概述其实有时候安装搭建这个东西是费时费力的事情，如果有脚本为什么不能使用脚本呢？

2018-07-04

基于Hadoop的数据分析平台搭建

企业发展到一定规模都会搭建单独的BI平台来做数据分析，即OLAP（联机分析处理），一般都是基于数据库技术来构建，基本都是单机产品。

2018-06-19

高可用Redis服务架构分析与搭建！

规模比较大的互联网公司，一般都会有专门的团队，将Redis存储以基础服务的形式提供给各个业务调用。不过任何一个基础服务的提供方，都会被调用方问起的一个问题是：你的服务是否具有高可用性？

2018-06-13

CentOS上搭建微信小程序服务

审批通过后，可以到SSL 控制台下载您的证书文件，可参考下面的视频：视频 - 在腾讯云上下载 SSL 证书搭建小程序开发环境任务时间：15min ~ 30min 在开始搭建我们的小程序服务器之前，

2018-06-13

[区块链] 带你进入Bitcoin开发 - 环境搭建

学习完区块链枯燥乏味的、高深的、必备的基础知识后，终于可以走上开发之路了！真是迫不及待啦！之后博客更新主要放在区块链的开发上，相信这才是大多数同学更加感兴趣的地方！

2018-06-10

几步搭建基于Docker的Tomcat运行环境！

LXC命令有些复杂，若感兴趣，这里有一篇我以前写的基于LXC，(从无到有，搭建一个简单版的JAVA PAAS云平台)，可以提前复习一下。

2018-06-07

使用Docker（Mac）搭建 Nginx/Openresty - Kafka - kafkaManager

3.使用Docker安装Openresty Openresty是在Nginx基础上做了大量的定制扩展，其安装过程和Nginx基本一致。

2018-05-25

centos 7.4 搭建ftp服务器 vsftpd

在centos 7.3测试也是OK的,其它版本没有实验 # 安装 vsftpd $ yum install vsftpd -y # 启动 $ service vsftpd start && systemctl restart vsftpd.service # 查看 $ netstat -nltp | grep 21 /* 目前 FTP 服务登陆允许匿名登陆，也无法区分用户访问，我们需要配置 FTP 访问权限 vsftpd 的配置目录为 /etc/vsftpd，包含下列的配置文件： vsftpd.conf 为主要配置文件 ftpusers 配置禁止访问 FTP 服务器的用户列表 user_list 配置用户访问控制 */ # 修改权限 $ vi /etc/vsftpd/vsftpd.conf 修改内容如下: # 禁用匿名用户 anonymous_enable=NO # 禁止切换根目录 chroot_local_user=YES # 重启后 pub/目录访问需要登录了 $ service vsftpd restart && systemctl restart vsftpd.service # 创建 FTP 用户 $ useradd dongzhihong # 为用户 dongzhihong 设置密码 $ echo "dongzhihongmima" | passwd dongzhihong --stdin #限制该用户仅能通过 FTP 访问 #限制用户 dongzhihong 只能通过 FTP 访问服务器，而不能直接登录服务器 $ usermod -s /sbin/nologin dongzhihong # 为用户分配主目录为用户 dongzhihong 创建主目录并约定：/data/ftp 为主目录, 该目录不可上传文件 #创建 /data/ftp/pub目录 $ mkdir -p /data/ftp/pub #写欢迎文件 /data/ftp/welcome.txt $ echo "Welcome to use FTP service." > /data/ftp/welcome.txt # 设置访问权限 chmod a-w表示不可写(all-write) $ chmod a-w /data/ftp && chmod 777 -R /data/ftp/pub # 设置为用户主目录 $ usermod -d /data/ftp dongzhihong # 重启服务器 $ sudo systemctl restart vsftpd.service # 登录FTP 资源管理器打开 ftp://dongzhihong:dongzhihongmima@IP FTP软件登录主动,被动都可以 /END

2018-05-22

Ionic3开发环境搭建-VS Code

原文: Ionic3开发环境搭建-VS Code 一、Ionic3在VS Code中的开发环境搭建 1.全局安装Ionic包 npm install -g cordova ionic使用 ionic -

2018-05-07

Ionic2开发环境搭建-VS 2017

原文: Ionic2开发环境搭建-VS 2017 目前在VS 2017中创建Ionic2版本项目注：在VS中开发Ionic项目，使用的Ionic(v2.x)，Cordova(v6.3.1)，Angular

2018-05-07

Apache Cordova开发环境搭建(一)-Visual Studio

原文: Apache Cordova开发环境搭建(一)-Visual Studio 一、使用Visual Studio开发Apache Cordova手机App 1.版本要求，Visual Studio

2018-05-06

Centos7五步搭建Gitlab环境

如果是Window环境参考以下博客： [WINDOWS7五步快速搭建Centos7环境](https://blog.csdn.net/doegoo/article/details/80061524) 2

2018-05-02

Docker容器可视化监控中心搭建

一个宿主机上可以运行多个容器化应用，容器化应用运行于宿主机上，我们需要知道该容器的运行情况，包括 CPU使用率、内存占用、网络状况以及磁盘空间等等一系列信息，而且这些信息随时间变化，我们称其为时序数据，本文将实操如何搭建一个可视化的监控中心

2018-04-16

堡垒机搭建有哪些注意事项？

由于来源不明、越权操作、密码泄露、数据被窃、违规操作等因素，都有可能会使企业面临严重威胁，因此，企业往往通过搭建堡垒机来预防和及时阻止此类事情的发生。那么企业在搭建堡垒机时需要注意哪些方面？

2018-04-16

Centos6.9 搭建NTP时间同步服务

1 前言在内部局域网不能联网进行时间同步的时候我们就需要搭建NTP时间服务器使局域网的机器时间同步。

2018-04-12

阿里云搭建流媒体服务器

最近不少人问是否能够将云视睿博流媒体服务器NTV Media Server G3搭建在阿里云服务器上，答案是肯定的，而且我们大部分客户都是这样用的，利用流媒体服务器的视频处理和播出能力，以及阿里云的基础计算能力和可扩展性

2018-03-20

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。