搜索[单机]结果-低调大师优秀个人博客

精选列表

搜索[单机]，共4013篇文章

ubuntu1404_64单机安装Hadoop2.7.3

JDK、Hadoop、Hive官网下载，Hive默认（嵌入式derby 模式） http://hadoop.apache.org/releases.html http://www.apache.org/dyn/closer.cgi/hive/ http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 参考文档 http://www.powerxing.com/install-hadoop/ 创建用户和组，设置密码 root@hive:~# useradd -m hadoop -s /bin/bash root@hive:~# passwd hadoop Enter new UNIX password: Retype new UNIX password: passwd: password updated successfully 切换hadoop用户后，配置SSH免密登录 root@hive:~# su hadoop hadoop@hive:/root$ cd hadoop@hive:~$ ssh-keygen -t rsa -P '' #密钥默认存放在/home/hadoop/.ssh/目录下 hadoop@hive:~$ cat ./.ssh/id_rsa.pub >> ~/.ssh/authorized_keys hadoop@hive:~$ chmod 0600 !$ chmod 0600 ~/.ssh/authorized_keys 验证配置Java环境 hadoop@hive:~# tar xvf jdk-8u111-linux-x64.tar.gz -C /usr/share/java/ hadoop@hive:~# vim .bash_profile hadoop@hive:~# cat !$ cat .bash_profile export JAVA_HOME=/usr/share/java/jdk1.8.0_111/ export PATH=$PATH:$JAVA_HOME/bin hadoop@hive:~# source !$ source .bash_profile hadoop@hive:~# java -version java version "1.8.0_111" Java(TM) SE Runtime Environment (build 1.8.0_111-b14) Java HotSpot(TM) 64-Bit Server VM (build 25.111-b14, mixed mode) Hadoop配置 core-site.xml：包括HDFS、MapReduce的I/O以及namenode节点的url（协议、主机名、端口）等核心配置，datanode在namenode上注册后，通过此url跟client交互 hadoop@hive:~$ vim hadoop-2.7.3/etc/hadoop/core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> hdfs-site.xml： HDFS守护进程配置，包括namenode，secondary namenode，datanode hadoop@hive:~$ vim hadoop-2.7.3/etc/hadoop/hdfs-site.xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> mapred-site.xml：MapReduce守护进程配置，包括jobtracker和tasktrackers hadoop@hive:~$ vim hadoop-2.7.3/etc/hadoop/mapred-site.xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> 全局资源管理配置 http://www.cnblogs.com/gw811/p/4077318.html hadoop@hive:~$ vim hadoop-2.7.3/etc/hadoop/yarn-site.xml <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_suffle</value> </property> </configuration> 配置与hadoop运行环境相关的变量 hadoop@hive:~$ vim hadoop-2.7.3/etc/hadoop/hadoop-env.sh export JAVA_HOME=/usr/share/java/jdk1.8.0_111/ nameNode 格式化并启动，如果修改了hostname，/etc/hosts文件也需要添加本地解析，否则初始化会报错namenode unknown hadoop@hive:~$ hadoop-2.7.3/bin/hdfs namenode -format hadoop@hive:~$ hadoop-2.7.3/sbin/start-dfs.sh Starting namenodes on [localhost] localhost: starting namenode, logging to /home/hadoop/hadoop-2.7.3/logs/hadoop-hadoop-namenode-hive.out localhost: starting datanode, logging to /home/hadoop/hadoop-2.7.3/logs/hadoop-hadoop-datanode-hive.out Starting secondary namenodes [0.0.0.0] 0.0.0.0: starting secondarynamenode, logging to /home/hadoop/hadoop-2.7.3/logs/hadoop-hadoop-secondarynamenode-hive.out 成功启动后，可访问web界面查看nameNode和datanode信息以及HDFS中的文件。伪分布式启动 YARN为可选操作，启动后可以通过web界面查看任务运行情况 hadoop@hive:~$ hadoop-2.7.3/sbin/start-yarn.sh starting yarn daemons starting resourcemanager, logging to /home/hadoop/hadoop-2.7.3/logs/yarn-hadoop-resourcemanager-hive.out localhost: starting nodemanager, logging to /home/hadoop/hadoop-2.7.3/logs/yarn-hadoop-nodemanager-hive.out root@hive:/home/hadoop# jps 5366 ResourceManager 5014 DataNode 4904 NameNode 7354 Jps 5214 SecondaryNameNode 7055 RunJar 监听端口 listen conf description 9000 core-site.xml NameNode RPC交互 9001 mapred-site.xml JobTracker交互 50030 mapred-site.xml Tracker Web管理 50060 mapred-site.xml TaskTracker HTTP 50070 hdfs-site.xml NameNode Web管理 50010 hdfs-site.xml DataNode控制端口 50020 hdfs-site.xml DataNode RPC交互 50075 hdfs-site.xml DataNode HTTP 50090 hdfs-site.xml Secondary NameNode Web管理解压Hive安装包，配置运行环境变量 hadoop@hive:~$ tar xvf apache-hive-2.1.0-bin.tar.gz hadoop@hive:~$ tail -3 .bash_profile export HADDOP_HOME=/home/hadoop/hadoop-2.7.3/ export HIVE_HOME=/home/hadoop/apache-hive-2.1.0-bin/ export PATH=$PATH:$HADDOP_HOME/bin:$HADDOP_HOME/bin:$HIVE_HOME/bin hadoop@hive:~$ source !$ source .bash_profile HDFS上创建目录并设置权限 hadoop@hive:~$ hadoop fs -mkdir -p /tmp hadoop@hive:~$ hadoop fs -mkdir -p /user/hive/warehouse hadoop@hive:~$ hadoop fs -chmod g+w /tmp hadoop@hive:~$ hadoop fs -chmod g+w /user/hive/warehouse 初始化数据库 hadoop@hive:~$ schematool -dbType derby -initSchema SLF4J: Class path contains multiple SLF4J bindings. .......... Starting metastore schema initialization to 2.1.0 Initialization script hive-schema-2.1.0.derby.sql Initialization script completed schemaTool completed 测试 hive> show databases; OK default Time taken: 0.014 seconds, Fetched: 1 row(s) hive> CREATE TABLE ss7_traffic (DATA_DATE string, > CdPA_SSN int, CdPA_ID int, > CgPA_SSN int, CgPA_ID int, > otid string, dtid string, > OPCODE int, imsi string, > msisdn string, MSRN string, > MSCN string, VLRN string) > ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde' > WITH SERDEPROPERTIES ( "separatorChar" = ',',"quoteChar" = '"', "escapeChar" = '"' ) > STORED AS TEXTFILE; OK Time taken: 2.747 seconds hive> LOAD DATA LOCAL INPATH './data.csv' OVERWRITE INTO TABLE ss7_traffic; Loading data to table default.ss7_traffic OK Time taken: 2.552 seconds hive> CREATE TABLE ss7_optype ( OPTYPE string, OPCODE int ) > ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde' > WITH SERDEPROPERTIES ( > "separatorChar" = ',',"quoteChar" = '"', "escapeChar" = '"' ) > STORED AS TEXTFILE; OK Time taken: 0.142 seconds hive> LOAD DATA LOCAL INPATH './OPTYPE.csv' OVERWRITE INTO TABLE ss7_optype; Loading data to table default.ss7_optype OK Time taken: 0.512 seconds hive> CREATE TABLE ss7_gtlist ( GTN string, WB string ) > ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde' > WITH SERDEPROPERTIES ( "separatorChar" = ',', "quoteChar" = '"', > "escapeChar" = '"' ) STORED AS TEXTFILE; OK Time taken: 0.155 seconds hive> SELECT t1.* FROM ss7_traffic t1 JOIN ss7_optype t2 ON t1.opcode = t2.opcode > AND t2.optype = 'intraPlmn' WHERE t1.CgPA_id NOT IN > ( SELECT gtn FROM ss7_gtlist WHERE wb = 'w');

2016-11-28

FastCFS V4.0 发布，支持单机 PB 级存储

如果单机要支持PB级的存储空间，出于性价比考虑，建议存储节点至少配置128GB内存。

2023-06-05

【TiDB实战】离线安装部署TiDB，单机模拟集群环境

对存储容量、可扩展性、并发要求较高的海量数据及高并发的 OLTP 场景随着业务的高速发展，数据呈现爆炸性的增长，传统的单机数据库无法满足因数据爆炸性的增长对数据库的容量要求，可行方案是采用分库分表的中间件产品或者

2021-03-16

Centos 7.X单机部署DB2 10.5

系统底层准备工作安装jdk tar xvf jdk-7u79-linux-x64.tar.gz vi /etc/profile #设置JDK环境变量：vi /etc/profile 末尾添加JDK环境变量设置： JAVA_HOME=/usr/local/java JRE_HOME=/usr/local/java/jre CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin export JAVA_HOME JRE_HOME PATH CLASSPATH source /etc/profile#生效修改的配置文件配置本地yum源如果用的是网络源可忽略这一步 mount /dev/cdrom /media/ #挂载镜像 rpm --import /etc/pki/rpm-gpg/RPM* #引入K值 #配置yum源 vi /etc/yum.repos.d/rhel-media.repo [base] name=Server Local Sources baseurl=file:///media enable=1 gpcheck=0 安装依赖包 yum install -y librdmacm ibsim ibutils libcxgb3 libibmad libibumad libipathverbs libmthca libnes libibcm numactl 创建用户和组 groupadd -g 996 db2iadm1 groupadd -g 995 db2fadm1 groupadd -g 994 dasadm1 useradd -u 600 -g db2iadm1 -m -d /home/db2inst1 db2inst1 useradd -u 601 -g db2fadm1 -m -d /home/db2fenc1 db2fenc1 useradd -u 602 -g dasadm1 -m -d /home/dasusr1 dasusr1 安装DB2软件包 tar xvfz DB2_Svr_10.5.0.1_Linux_x86-64.tar.gz 选择安装的功能这里选择SERVER您想安装DB2 PUSTRCALE功能吗？[是/否]这个地方选择no安装完成创建DB2 instance cd /opt/ibm/db2/V10.5/instance/ ./db2icrt -u db2fenc1 db2inst1 查看实例是否创建成功验证DB2数据库的安装以db2inst1用户ID登录系统： su –u db2inst1 #启动数据库DB2： db2inst@linux:~> db2start #停掉DB2 db2inst@linux:~> db2stop DB2参数配置以db2inst1用户ID登录系统： su –u db2inst1 执行以下命令设置DB2相关参数 db2set DB2_EXTENDED_OPTIMIZATION=ON #开启扩展优化 db2set DB2_DISABLE_FLUSH_LOG=ON #开启禁用刷新日志 db2set AUTOSTART=YES #开启自动启动 db2set DB2_STRIPED_CONTAINERS=ON #开启集装箱 db2set DB2_HASH_JOIN=YES #开启哈希连接 db2set DB2COMM=tcpip #使用TCP/IP db2set DB2_PARALLEL_IO=* #所有的都启动并行IO db2set DB2CODEPAGE=1208 #二进制代码采用那个数值配置DB CFG中的SVCENAME 参数 db2 update dbm cfg using SVCENAME DB2_db2inst1 #设置端口

2019-02-22

单机毫秒完成上亿规模大数据常规统计

压缩后占用空间更小，最少只要200k；通过单个bitmap可以完成去重操作，通过多个bitmap的且、或、异或、反等位操作可以完成日活、月活、小时分钟活跃、重度用户、新增用户、用户流向等绝大部分的统计计算，而且能在单机毫秒级完成

2018-11-28

Hadoop手把手逐级搭建(1) 单机伪分布

第一阶段: Hadoop单机伪分布(single) 0. 步骤概述 1). 配置网络修改主机名 2). 配置ssh免密码登录 3). 安装jdk 4). 安装hadoop 5).

2017-12-26

Spark Tachyon编译部署（含单机和集群模式安装）

Tachyon编译部署编译Tachyon 单机部署Tachyon 集群模式部署Tachyon 1、Tachyon编译部署 Tachyon目前的最新发布版为0.7.1，其官方网址为http

2017-11-29

docker高级应用之单机持久化固定容器IP

过完年了，快1个月没有写博客，现在给大家分享一下我是如何在单机环境，实现持久化固定容器IP。

2017-11-16

docker（15）：以docker 方式启动单机版 tidb

1，关于tidb tidb 其灵感来自于 Google 的 F1 和 Google spanner, TiDB 支持包括传统 RDBMS 和 NoSQL 的特性。 sql 完全支持mysql，同时人家还是一个分布式数据库。什么分库分表都弱爆了，这个直接分，超级方便。而且还是开源的。是国内的技术大牛黄东旭的公司 pincap 开发的。就是之前写 codis 那个人。 https://github.com/pingcap/tidb 很厉害的人，设计的很好的项目。 2，tidb安装&启动 docker pull pingcap/tidb #45.58 MB mkdir -p /data/tidb/data docker run --name tidb-server -d -v /data/tidb/data:/tmp/tidb -p 4000:4000 -p 10080:10080 pingcap/tidb:latest #设置数据文件，默认使用 goleveldb 存储。启动成功默认端口 4000 ，也可以伪装成mysql，把端口修改成3306 。 # mysql -h 127.0.0.1 -P 4000 -u root -D test --prompt="tidb> " Welcome to the MariaDB monitor. Commands end with ; or \g. Your MySQL connection id is 3 Server version: 5.7.1-TiDB-1.0 MySQL Community Server (GPL) Copyright (c) 2000, 2016, Oracle, MariaDB Corporation Ab and others. Type 'help;' or '\h' for help. Type '\c' to clear the current input statement. tidb> 登录成功，Server version: 5.7.1-TiDB-1.0 MySQL Community Server (GPL) tidb。可以使用 10080 端口查看状态信息： # curl localhost:10080/status {"connections":1,"version":"5.7.1-TiDB-1.0","git_hash":"31bc1083fc9195181d187639efb847d19037d9de"} 感觉上应该是集群的时候使用的。 3，创建数据库&用户创建数据库 demo 并创建用户 demo 赋值权限。注意：这些sql 语句在 mysql & tidb 当中都key执行并成功分配权限&登录成功。 CREATE DATABASE demo CHARACTER SET utf8 COLLATE utf8_general_ci; CREATE USER 'demo'@'%' IDENTIFIED BY 'demo'; GRANT ALL PRIVILEGES ON demo.* TO 'demo'@'%'; FLUSH PRIVILEGES; 使用golang进行数据库插入&查询数据： package main import ( "fmt" _ "github.com/go-sql-driver/mysql" "database/sql" "time" "strconv" ) func main() { db, err := sql.Open("mysql", "demo:demo@tcp(127.0.0.1:4000)/demo") fmt.Println(db, err) // start := time.Now() loop := 10000 for i := 0; i < loop; i ++ { result, err := db.Exec( "INSERT INTO users(`name`, age) VALUES (?, ?)", "user"+strconv.Itoa(i), i, ) if i%(loop/10) == 0 { fmt.Println(result, err) } } end := time.Now() fmt.Println("测试插入时间:", end.Sub(start).Seconds()) } 4，总结本文的原文连接是: http://blog.csdn.net/freewebsys/article/details/70843679 未经博主允许不得转载。博主地址是：http://blog.csdn.net/freewebsys tidb 是非常好的maridb的替代的产品。可以完全的兼容

2017-04-28

Hbase单机安装及使用hbase shell进行简单操作

一，配置环境变量在etc/prifile中加入java环境变量及hbase环境变量： #set java environment JAVA_HOME=/usr/local/lhc/jdk1.8.0_111 PATH=$JAVA_HOME/bin:$PATH CLASSPATH=$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/tools.jar export PATH JAVA_HOME CLASSPATH #set hbase environment export HBASE_HOME=/app/hbase-1.2.4 export PATH=$PATH:$HBASE_HOME/bin 二，hbase-site.xml配置 <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>hbase.rootdir</name> <value>file:///app/hbase-1.2.4/hbase-tmp</value> </property> </configuration> 三，使用hbase shell进行基本操作 HBase采用三维有序存储实现数据的有序存储，其三维指的是：rowkey（行主键），columnkey(columnFamily+qualifier)，timestamp(时间戳)。HBase 的 Rowkey是数据行的唯一标识，必须通过它进行数据行访问，故在添加数据时，必须制定主键（Row Key）的值。在添加数据时，HBase会自动为添加的数据添加一个时间戳，故在需要修改数据时，只需直接添加数据，HBase即会产生新的数据，而旧的数据依然会被保存，在进行查看操作时默认返回最新的数据版本，从而完成“改”操作。 [root@localhost bin]# hbase shell #进入shell输入 #创建student表 hbase(main):001:0> create 'student','Sname','Ssex','Sage','Sdept','course' 0 row(s) in 3.6780 seconds #查看student表描述 hbase(main):003:0> describe 'student' #存储一条数据 hbase(main):004:0> put 'student','Sname:','lhc' #删除数据 # 在HBase中用delete以及deleteall命令进行删除数据操作，它们的区别是：1、delete用于删除一个数据，是put 反向操作；2、deleteall操作用于删除一行数据。 hbase(main):008:0> delete 'student','95001','Ssex' hbase(main):011:0> deleteall 'student','95001' #查看数据 # 1、get命令，用于查看表的某一行数据；2、scan命令用于查看某个表的全部数据 get 'student','95001' scan 'student'

2016-12-05

Twitter Storm安装配置（Ubuntu系统）单机版

zoo_sample.cfg制作$ZOOKEEPER_HOME/conf/zoo.cfg) mkdir /tmp/zookeeper mkdir /var/log/zookeeper zookeeper的单机安装已经完成了

2015-05-08

Apache DolphinScheduler 如何实现自动化打包+单机/集群部署？

DolphinScheduler 支持多种任务类型，可以在单机或集群环境下运行。下面将介绍如何实现 DolphinScheduler 的自动化打包和单机/集群部署。

2023-09-12

悟空 IM 发布，单机百万级的通用实时通讯服务

🚀 性能强劲：单机支持百万用户同时在线，单机16w/秒消息（包括DB操作）吞吐量,一个频道支持万人同时订阅。

2023-07-17

在阿里云上单机使用Nginx负载均衡发布网站

本文选择单机发布多站点，首先是为了学习下Nginx的配置，其次是可以这样来实现网站的“高可用”。对于正式业务，可以选购阿里云的负载均衡SLB产品，不应当使用这种单机多站点的发布方法。

2019-03-25

借助Docker单机秒开数十万TCP连接[转]

熟悉网络编程的都清楚系统只有65535个端口可用，1024以下的端口为系统保留，所以除去系统保留端口后可用的只有65411个端口，而一个TCP连接由TCP四元组（源IP、源端口、TCP、目标IP、目标端口）唯一确定，所以单机一个网卡时客户端最多只能打开

2018-11-29

Apache Spark 1.6 Hadoop 2.6 Mac下单机安装配置

一、下载资料 1. JDK 1.6 + 2. Scala 2.10.4 3. Hadoop 2.6.4 4. Spark 1.6 二、预先安装 1. 安装JDK 2.安装Scala 2.10.4 解压安装包即可 3. 配置sshd ssh-keygen-tdsa-P''-f~/.ssh/id_dsa cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys mac 启动sshd sudo launchctl load -w /System/Library/LaunchDaemons/ssh.plist 查看启动 sudo launchctl list | grep ssh 输出-0com.openssh.sshd 表示启动成功停止sshd服务 sudo launchctl unload -w /System/Library/LaunchDaemons/ssh.plist 三、安装Hadoop 1. 创建Hadoop文件系统目录 mkdir -pv hadoop/workspace cd hadoop/workspace mkdir tmp mkdir -pv hdfs/data mkdir -pv hdfs/name 添加hadoop目录环境变量 vi ~/.bashrc HADOOP_HOME=/Users/ysisl/app/hadoop/hadoop-2.6.4 配置hadoop，都在$HADOOP_HOME/etc/hadoop 下 1. core-site.xml <configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> <description>HDFS URI</description> </property> <property> <name>hadoop.tmp.dir</name> <value>/Users/ysisl/app/hadoop/workspace/tmp</value> <description>namenode temp dir</description> </property> </configuration> 2.hdfs-site.xml <configuration> <property> <name>dfs.name.dir</name> <value>/Users/ysisl/app/hadoop/workspace/hdfs/name</value> <description>namenode上存储hdfs名字空间元数据</description> </property> <property> <name>dfs.data.dir</name> <value>/Users/ysisl/app/hadoop/workspace/hdfs/data</value> <description>datanode上数据块的物理存储位置</description> </property> <property> <name>dfs.replication</name> <value>1</value> <description>副本个数，配置默认是3,应小于datanode机器数量</description> </property> </configuration> 3. copy mapred-site.xml.template to mapred-site.xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> 4. yarn-site.xml <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>localhost:8099</value> </property> </configuration> 5. 格式化HDFS文件系统 $HADOOP_HOME/bin/hdfs namenode -format 6. 进入sbin/ 执行 start-all.sh 7. 执行jps 查看是否正常启动 21472 30256 Jps 29793 DataNode 29970 SecondaryNameNode 29638 NameNode 30070 ResourceManager 30231 NodeManager 8. 打开http://localhost:50070/explorer.html 网页查看hadoop目录结构，说明安装成功四、安装Spark 1. 解压spark压缩包 tar xvzf spark.1.6.tar.gz 2. 加入环境变量 vi ~/.bashrc SCALA_HOME=/Users/ysisl/app/spark/scala-2.10.4 SPARK_HOME=/Users/ysisl/app/spark/spark-1.6.1-bin-hadoop2.6 2. 设置配置文件 cd spar-1.6.1-bin-hadoop2.6/conf cp spark-env.sh.template spark-env.sh vi spar-env.sh 添加如下内容 export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_25.jdk/Contents/Home export SCALA_HOME=/Users/ysisl/app/spark/scala-2.10.4 export HADOOP_CONF_DIR=/Users/ysisl/app/hadoop/hadoop-2.6.4/etc/hadoop export SPARK_MASTER_IP=localhost export SPARK_WORKER_CORES=2 export SPARK_WORKER_MEMORY=2g cp slaves.template slaves 默认slaves现在就主机一台 3. 启动 sbin/start-all.sh jps 查看到多出一个Master，worker进程 21472 29793 DataNode 29970 SecondaryNameNode 30275 Master 30468 SparkSubmit 29638 NameNode 30070 ResourceManager 30231 NodeManager 30407 Worker 30586 Jps 4. 配置scala 、spark 、 hadoop 环境变量加入PATH ，方便执行 vi ~/.bashrc export HADOOP_HOME=/Users/ysisl/app/hadoop/hadoop-2.6.4 export SCALA_HOME=/Users/ysisl/app/spark/scala-2.10.4 export SPARK_HOME=/Users/ysisl/app/spark/spark-1.6.1-bin-hadoop2.6 export PATH="${HADOOP_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:$PATH" 五. 测试运行 1. 准备一个csv文件，路径 /Users/ysisl/app/hadoop/test.csv 2. 查看DFS文件系统结构，执行 hadoop fs -lsr / 3. 新建目录， hadoop fs -mkdir /test 4. 上传文件到目录， hadoop fs -put /Users/ysisl/app/hadoop/test.csv /test/ 5.hadoop fs -lsr / 查看已创建的目录文件 6. 执行 spark-shell scala >valfile=sc.textFile("hdfs:/test/test.csv") scala >valcount=file.flatMap(line=>line.split("")).map(word=>(word,1)).reduceByKey(_+_) scala >count.collect 7. 查看执行状态 a. localhost:8080 ，查看spark 集群运行情况。此端口一般与其他端口冲突在spark-env.sh 中加入export SPARK_MASTER_WEBUI_PORT=98080 来指定 b.http://localhost:4040/jobs/，查看 spark task job运行情况 c.http://localhost:50070/hadoop集群运行情况

2016-10-20

《深入理解大数据：大数据处理与编程实践》一一2.2 单机和单机伪分布式Hadoop系统安装基本步骤

2.2 单机和单机伪分布式Hadoop系统安装基本步骤默认情况下，Hadoop被配置成一个以非分布式模式运行的独立Java进程，适合程序员在本地做编程和调试工作。

2017-07-04

悟空（🐒）IM 1.1.6 发布，单机百万高性能通用实时通讯

🚀 性能强劲：单机支持百万用户同时在线，单机16w/秒消息（包括DB操作）吞吐量,一个频道支持万人同时订阅。

2023-07-31

smart-socket 1.5.21 发布，单机百万长连接背后的故事

smart-socket 是一款极简、易用、高性能的国产开源 AIO 通信框架，旨在帮助开发人员轻松打造企业级通信应用。更新内容🎉 支持低内存运行模式，实现低配内存服务器运行百万长连接。增加对 DelimiterFrameDecoder 的入参校验。（感谢@乾坤摄提交的PR ）添加benchmark测试工具 Maven坐标🎈 <dependency> <groupId>org.smartboot.socket</groupId> <artifactId>aio-core</artifactId> <version>1.5.21</version> </dependency> 走进百万长连接背后的故事📓 smart-socket 自2017年开源以来，一直秉承着匠心精神，力求打造出极简、易用、高性能的国产开源通信框架。然而，在网上各类未经验证的信息误导下，大众对于Java 始终存在一些偏见。认定只有 C、C++，以及新晋之秀 Golang 才适合支撑海量连接、高流量的通信服务。事实上，用 Java 语言编写的 smart-socket 早已在性能排行榜上取得了不错的成绩（见下图）。并且，我们也终于在2022年9月23日成功验证了 smart-socket 的百万级长连接。在过往的项目推广中，smart-socket 从未以“百万长连接”作为宣传噱头。因为在没有经过实际验证的情况下，无法说服自己在宣传文案中出现“百万级长连接”之类不负责的字眼。况且，百万长连接的是操作系统和硬件本身便具备的能力。能做到，不代表我们的通信框架多优秀；若做不到，才当反思一下我们的项目质量。而困扰我无法开展验证工作的主要原因，在于不具备硬件条件。我所用的开发电脑为 Mac Pro，先天不具备百万级长连接的测试条件（上限约26W）。并且长期以来陷入某种思维误区，以为这种级别的测试必须搭配多台测试机。或者至少是一台高配服务器，再创建至少20个以上的虚拟机或容器。尽管身处困境，但我却还产生了一个更疯狂的想法：能否用一台普通配置的服务器（4核8G）实现百万长连接。在将验证方案构思完成，并做好充分准备后，便开始在社群中寻求帮助。很快便得到了响应和支持，在次特别感谢这位老朋友。最终，我们顺利的完成了百万级长连接的测试。当 TCP 总连接数定格在101万的时候，服务端仅消耗内存 3.1G，每个客户端维持在 120~170MB 左右。（PS：内存开销还有进一步优化空间）最后开源不易，支持这款国产开源项目的朋友帮忙点点Star。想要体验的百万长连接的，也可通过项目仓库Readme.md入口获取实战教程。

2022-09-25

这样调优之后，单机也能扛下100W连接

1 模拟单机连接瓶颈我们知道，通常启动一个服务端会绑定一个端口，例如8000端口，当然客户端连接端口是有限制的，除去最大端口65535和默认的1024端口及以下的端口，就只剩下1024~65535个，

2021-10-26

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。