搜索[单机]结果-低调大师优秀个人博客

精选列表

搜索[单机]，共5456篇文章

ubuntu1404_64单机安装Hadoop2.7.3

JDK、Hadoop、Hive官网下载，Hive默认（嵌入式derby 模式） http://hadoop.apache.org/releases.html http://www.apache.org/dyn/closer.cgi/hive/ http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 参考文档 http://www.powerxing.com/install-hadoop/ 创建用户和组，设置密码 root@hive:~# useradd -m hadoop -s /bin/bash root@hive:~# passwd hadoop Enter new UNIX password: Retype new UNIX password: passwd: password updated successfully 切换hadoop用户后，配置SSH免密登录 root@hive:~# su hadoop hadoop@hive:/root$ cd hadoop@hive:~$ ssh-keygen -t rsa -P '' #密钥默认存放在/home/hadoop/.ssh/目录下 hadoop@hive:~$ cat ./.ssh/id_rsa.pub >> ~/.ssh/authorized_keys hadoop@hive:~$ chmod 0600 !$ chmod 0600 ~/.ssh/authorized_keys 验证配置Java环境 hadoop@hive:~# tar xvf jdk-8u111-linux-x64.tar.gz -C /usr/share/java/ hadoop@hive:~# vim .bash_profile hadoop@hive:~# cat !$ cat .bash_profile export JAVA_HOME=/usr/share/java/jdk1.8.0_111/ export PATH=$PATH:$JAVA_HOME/bin hadoop@hive:~# source !$ source .bash_profile hadoop@hive:~# java -version java version "1.8.0_111" Java(TM) SE Runtime Environment (build 1.8.0_111-b14) Java HotSpot(TM) 64-Bit Server VM (build 25.111-b14, mixed mode) Hadoop配置 core-site.xml：包括HDFS、MapReduce的I/O以及namenode节点的url（协议、主机名、端口）等核心配置，datanode在namenode上注册后，通过此url跟client交互 hadoop@hive:~$ vim hadoop-2.7.3/etc/hadoop/core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> hdfs-site.xml： HDFS守护进程配置，包括namenode，secondary namenode，datanode hadoop@hive:~$ vim hadoop-2.7.3/etc/hadoop/hdfs-site.xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> mapred-site.xml：MapReduce守护进程配置，包括jobtracker和tasktrackers hadoop@hive:~$ vim hadoop-2.7.3/etc/hadoop/mapred-site.xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> 全局资源管理配置 http://www.cnblogs.com/gw811/p/4077318.html hadoop@hive:~$ vim hadoop-2.7.3/etc/hadoop/yarn-site.xml <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_suffle</value> </property> </configuration> 配置与hadoop运行环境相关的变量 hadoop@hive:~$ vim hadoop-2.7.3/etc/hadoop/hadoop-env.sh export JAVA_HOME=/usr/share/java/jdk1.8.0_111/ nameNode 格式化并启动，如果修改了hostname，/etc/hosts文件也需要添加本地解析，否则初始化会报错namenode unknown hadoop@hive:~$ hadoop-2.7.3/bin/hdfs namenode -format hadoop@hive:~$ hadoop-2.7.3/sbin/start-dfs.sh Starting namenodes on [localhost] localhost: starting namenode, logging to /home/hadoop/hadoop-2.7.3/logs/hadoop-hadoop-namenode-hive.out localhost: starting datanode, logging to /home/hadoop/hadoop-2.7.3/logs/hadoop-hadoop-datanode-hive.out Starting secondary namenodes [0.0.0.0] 0.0.0.0: starting secondarynamenode, logging to /home/hadoop/hadoop-2.7.3/logs/hadoop-hadoop-secondarynamenode-hive.out 成功启动后，可访问web界面查看nameNode和datanode信息以及HDFS中的文件。伪分布式启动 YARN为可选操作，启动后可以通过web界面查看任务运行情况 hadoop@hive:~$ hadoop-2.7.3/sbin/start-yarn.sh starting yarn daemons starting resourcemanager, logging to /home/hadoop/hadoop-2.7.3/logs/yarn-hadoop-resourcemanager-hive.out localhost: starting nodemanager, logging to /home/hadoop/hadoop-2.7.3/logs/yarn-hadoop-nodemanager-hive.out root@hive:/home/hadoop# jps 5366 ResourceManager 5014 DataNode 4904 NameNode 7354 Jps 5214 SecondaryNameNode 7055 RunJar 监听端口 listen conf description 9000 core-site.xml NameNode RPC交互 9001 mapred-site.xml JobTracker交互 50030 mapred-site.xml Tracker Web管理 50060 mapred-site.xml TaskTracker HTTP 50070 hdfs-site.xml NameNode Web管理 50010 hdfs-site.xml DataNode控制端口 50020 hdfs-site.xml DataNode RPC交互 50075 hdfs-site.xml DataNode HTTP 50090 hdfs-site.xml Secondary NameNode Web管理解压Hive安装包，配置运行环境变量 hadoop@hive:~$ tar xvf apache-hive-2.1.0-bin.tar.gz hadoop@hive:~$ tail -3 .bash_profile export HADDOP_HOME=/home/hadoop/hadoop-2.7.3/ export HIVE_HOME=/home/hadoop/apache-hive-2.1.0-bin/ export PATH=$PATH:$HADDOP_HOME/bin:$HADDOP_HOME/bin:$HIVE_HOME/bin hadoop@hive:~$ source !$ source .bash_profile HDFS上创建目录并设置权限 hadoop@hive:~$ hadoop fs -mkdir -p /tmp hadoop@hive:~$ hadoop fs -mkdir -p /user/hive/warehouse hadoop@hive:~$ hadoop fs -chmod g+w /tmp hadoop@hive:~$ hadoop fs -chmod g+w /user/hive/warehouse 初始化数据库 hadoop@hive:~$ schematool -dbType derby -initSchema SLF4J: Class path contains multiple SLF4J bindings. .......... Starting metastore schema initialization to 2.1.0 Initialization script hive-schema-2.1.0.derby.sql Initialization script completed schemaTool completed 测试 hive> show databases; OK default Time taken: 0.014 seconds, Fetched: 1 row(s) hive> CREATE TABLE ss7_traffic (DATA_DATE string, > CdPA_SSN int, CdPA_ID int, > CgPA_SSN int, CgPA_ID int, > otid string, dtid string, > OPCODE int, imsi string, > msisdn string, MSRN string, > MSCN string, VLRN string) > ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde' > WITH SERDEPROPERTIES ( "separatorChar" = ',',"quoteChar" = '"', "escapeChar" = '"' ) > STORED AS TEXTFILE; OK Time taken: 2.747 seconds hive> LOAD DATA LOCAL INPATH './data.csv' OVERWRITE INTO TABLE ss7_traffic; Loading data to table default.ss7_traffic OK Time taken: 2.552 seconds hive> CREATE TABLE ss7_optype ( OPTYPE string, OPCODE int ) > ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde' > WITH SERDEPROPERTIES ( > "separatorChar" = ',',"quoteChar" = '"', "escapeChar" = '"' ) > STORED AS TEXTFILE; OK Time taken: 0.142 seconds hive> LOAD DATA LOCAL INPATH './OPTYPE.csv' OVERWRITE INTO TABLE ss7_optype; Loading data to table default.ss7_optype OK Time taken: 0.512 seconds hive> CREATE TABLE ss7_gtlist ( GTN string, WB string ) > ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde' > WITH SERDEPROPERTIES ( "separatorChar" = ',', "quoteChar" = '"', > "escapeChar" = '"' ) STORED AS TEXTFILE; OK Time taken: 0.155 seconds hive> SELECT t1.* FROM ss7_traffic t1 JOIN ss7_optype t2 ON t1.opcode = t2.opcode > AND t2.optype = 'intraPlmn' WHERE t1.CgPA_id NOT IN > ( SELECT gtn FROM ss7_gtlist WHERE wb = 'w');

2016-11-27

Weaviate向量数据库单机搭建--docker方式部署

info - GOMEMLIMIT=6GiB - QUERY_LISTEN_HOST=0.0.0.0 - QUERY_LISTEN_PORT=8080 - GRPC_PORT=50051 # ✅ 正确单机配置

2026-07-19

FastCFS V4.0 发布，支持单机 PB 级存储

如果单机要支持PB级的存储空间，出于性价比考虑，建议存储节点至少配置128GB内存。

2023-06-05

【TiDB实战】离线安装部署TiDB，单机模拟集群环境

对存储容量、可扩展性、并发要求较高的海量数据及高并发的 OLTP 场景随着业务的高速发展，数据呈现爆炸性的增长，传统的单机数据库无法满足因数据爆炸性的增长对数据库的容量要求，可行方案是采用分库分表的中间件产品或者

2021-03-16

Centos 7.X单机部署DB2 10.5

系统底层准备工作安装jdk tar xvf jdk-7u79-linux-x64.tar.gz vi /etc/profile #设置JDK环境变量：vi /etc/profile 末尾添加JDK环境变量设置： JAVA_HOME=/usr/local/java JRE_HOME=/usr/local/java/jre CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin export JAVA_HOME JRE_HOME PATH CLASSPATH source /etc/profile#生效修改的配置文件配置本地yum源如果用的是网络源可忽略这一步 mount /dev/cdrom /media/ #挂载镜像 rpm --import /etc/pki/rpm-gpg/RPM* #引入K值 #配置yum源 vi /etc/yum.repos.d/rhel-media.repo [base] name=Server Local Sources baseurl=file:///media enable=1 gpcheck=0 安装依赖包 yum install -y librdmacm ibsim ibutils libcxgb3 libibmad libibumad libipathverbs libmthca libnes libibcm numactl 创建用户和组 groupadd -g 996 db2iadm1 groupadd -g 995 db2fadm1 groupadd -g 994 dasadm1 useradd -u 600 -g db2iadm1 -m -d /home/db2inst1 db2inst1 useradd -u 601 -g db2fadm1 -m -d /home/db2fenc1 db2fenc1 useradd -u 602 -g dasadm1 -m -d /home/dasusr1 dasusr1 安装DB2软件包 tar xvfz DB2_Svr_10.5.0.1_Linux_x86-64.tar.gz 选择安装的功能这里选择SERVER您想安装DB2 PUSTRCALE功能吗？[是/否]这个地方选择no安装完成创建DB2 instance cd /opt/ibm/db2/V10.5/instance/ ./db2icrt -u db2fenc1 db2inst1 查看实例是否创建成功验证DB2数据库的安装以db2inst1用户ID登录系统： su –u db2inst1 #启动数据库DB2： db2inst@linux:~> db2start #停掉DB2 db2inst@linux:~> db2stop DB2参数配置以db2inst1用户ID登录系统： su –u db2inst1 执行以下命令设置DB2相关参数 db2set DB2_EXTENDED_OPTIMIZATION=ON #开启扩展优化 db2set DB2_DISABLE_FLUSH_LOG=ON #开启禁用刷新日志 db2set AUTOSTART=YES #开启自动启动 db2set DB2_STRIPED_CONTAINERS=ON #开启集装箱 db2set DB2_HASH_JOIN=YES #开启哈希连接 db2set DB2COMM=tcpip #使用TCP/IP db2set DB2_PARALLEL_IO=* #所有的都启动并行IO db2set DB2CODEPAGE=1208 #二进制代码采用那个数值配置DB CFG中的SVCENAME 参数 db2 update dbm cfg using SVCENAME DB2_db2inst1 #设置端口

2019-02-21

单机毫秒完成上亿规模大数据常规统计

压缩后占用空间更小，最少只要200k；通过单个bitmap可以完成去重操作，通过多个bitmap的且、或、异或、反等位操作可以完成日活、月活、小时分钟活跃、重度用户、新增用户、用户流向等绝大部分的统计计算，而且能在单机毫秒级完成

2018-11-28

Hadoop手把手逐级搭建(1) 单机伪分布

第一阶段: Hadoop单机伪分布(single) 0. 步骤概述 1). 配置网络修改主机名 2). 配置ssh免密码登录 3). 安装jdk 4). 安装hadoop 5).

2017-12-25

Spark Tachyon编译部署（含单机和集群模式安装）

Tachyon编译部署编译Tachyon 单机部署Tachyon 集群模式部署Tachyon 1、Tachyon编译部署 Tachyon目前的最新发布版为0.7.1，其官方网址为http

2017-11-28

docker高级应用之单机持久化固定容器IP

过完年了，快1个月没有写博客，现在给大家分享一下我是如何在单机环境，实现持久化固定容器IP。

2017-11-15

docker（15）：以docker 方式启动单机版 tidb

1，关于tidb tidb 其灵感来自于 Google 的 F1 和 Google spanner, TiDB 支持包括传统 RDBMS 和 NoSQL 的特性。 sql 完全支持mysql，同时人家还是一个分布式数据库。什么分库分表都弱爆了，这个直接分，超级方便。而且还是开源的。是国内的技术大牛黄东旭的公司 pincap 开发的。就是之前写 codis 那个人。 https://github.com/pingcap/tidb 很厉害的人，设计的很好的项目。 2，tidb安装&启动 docker pull pingcap/tidb #45.58 MB mkdir -p /data/tidb/data docker run --name tidb-server -d -v /data/tidb/data:/tmp/tidb -p 4000:4000 -p 10080:10080 pingcap/tidb:latest #设置数据文件，默认使用 goleveldb 存储。启动成功默认端口 4000 ，也可以伪装成mysql，把端口修改成3306 。 # mysql -h 127.0.0.1 -P 4000 -u root -D test --prompt="tidb> " Welcome to the MariaDB monitor. Commands end with ; or \g. Your MySQL connection id is 3 Server version: 5.7.1-TiDB-1.0 MySQL Community Server (GPL) Copyright (c) 2000, 2016, Oracle, MariaDB Corporation Ab and others. Type 'help;' or '\h' for help. Type '\c' to clear the current input statement. tidb> 登录成功，Server version: 5.7.1-TiDB-1.0 MySQL Community Server (GPL) tidb。可以使用 10080 端口查看状态信息： # curl localhost:10080/status {"connections":1,"version":"5.7.1-TiDB-1.0","git_hash":"31bc1083fc9195181d187639efb847d19037d9de"} 感觉上应该是集群的时候使用的。 3，创建数据库&用户创建数据库 demo 并创建用户 demo 赋值权限。注意：这些sql 语句在 mysql & tidb 当中都key执行并成功分配权限&登录成功。 CREATE DATABASE demo CHARACTER SET utf8 COLLATE utf8_general_ci; CREATE USER 'demo'@'%' IDENTIFIED BY 'demo'; GRANT ALL PRIVILEGES ON demo.* TO 'demo'@'%'; FLUSH PRIVILEGES; 使用golang进行数据库插入&查询数据： package main import ( "fmt" _ "github.com/go-sql-driver/mysql" "database/sql" "time" "strconv" ) func main() { db, err := sql.Open("mysql", "demo:demo@tcp(127.0.0.1:4000)/demo") fmt.Println(db, err) // start := time.Now() loop := 10000 for i := 0; i < loop; i ++ { result, err := db.Exec( "INSERT INTO users(`name`, age) VALUES (?, ?)", "user"+strconv.Itoa(i), i, ) if i%(loop/10) == 0 { fmt.Println(result, err) } } end := time.Now() fmt.Println("测试插入时间:", end.Sub(start).Seconds()) } 4，总结本文的原文连接是: http://blog.csdn.net/freewebsys/article/details/70843679 未经博主允许不得转载。博主地址是：http://blog.csdn.net/freewebsys tidb 是非常好的maridb的替代的产品。可以完全的兼容

2017-04-27

Hbase单机安装及使用hbase shell进行简单操作

一，配置环境变量在etc/prifile中加入java环境变量及hbase环境变量： #set java environment JAVA_HOME=/usr/local/lhc/jdk1.8.0_111 PATH=$JAVA_HOME/bin:$PATH CLASSPATH=$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/tools.jar export PATH JAVA_HOME CLASSPATH #set hbase environment export HBASE_HOME=/app/hbase-1.2.4 export PATH=$PATH:$HBASE_HOME/bin 二，hbase-site.xml配置 <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>hbase.rootdir</name> <value>file:///app/hbase-1.2.4/hbase-tmp</value> </property> </configuration> 三，使用hbase shell进行基本操作 HBase采用三维有序存储实现数据的有序存储，其三维指的是：rowkey（行主键），columnkey(columnFamily+qualifier)，timestamp(时间戳)。HBase 的 Rowkey是数据行的唯一标识，必须通过它进行数据行访问，故在添加数据时，必须制定主键（Row Key）的值。在添加数据时，HBase会自动为添加的数据添加一个时间戳，故在需要修改数据时，只需直接添加数据，HBase即会产生新的数据，而旧的数据依然会被保存，在进行查看操作时默认返回最新的数据版本，从而完成“改”操作。 [root@localhost bin]# hbase shell #进入shell输入 #创建student表 hbase(main):001:0> create 'student','Sname','Ssex','Sage','Sdept','course' 0 row(s) in 3.6780 seconds #查看student表描述 hbase(main):003:0> describe 'student' #存储一条数据 hbase(main):004:0> put 'student','Sname:','lhc' #删除数据 # 在HBase中用delete以及deleteall命令进行删除数据操作，它们的区别是：1、delete用于删除一个数据，是put 反向操作；2、deleteall操作用于删除一行数据。 hbase(main):008:0> delete 'student','95001','Ssex' hbase(main):011:0> deleteall 'student','95001' #查看数据 # 1、get命令，用于查看表的某一行数据；2、scan命令用于查看某个表的全部数据 get 'student','95001' scan 'student'

2016-12-04

Twitter Storm安装配置（Ubuntu系统）单机版

zoo_sample.cfg制作$ZOOKEEPER_HOME/conf/zoo.cfg) mkdir /tmp/zookeeper mkdir /var/log/zookeeper zookeeper的单机安装已经完成了

2015-05-07

《深入理解大数据：大数据处理与编程实践》一一2.2 单机和单机伪分布式Hadoop系统安装基本步骤

2.2 单机和单机伪分布式Hadoop系统安装基本步骤默认情况下，Hadoop被配置成一个以非分布式模式运行的独立Java进程，适合程序员在本地做编程和调试工作。

2017-07-03

从单机到星群：微服务架构的本质与思考

### 一、为什么要拆分几年前，我参与过一个典型的“大泥球”项目。一个WAR包，几十万行代码，编译需要五分钟，启动需要三分钟。最痛苦的是，每次上线都像拆弹——你改了订单模块，结果优惠券模块出了问题。没有人敢说“我完全理解这个系统”。这不是代码质量的问题，而是认知负荷的问题。单个开发者的工作记忆是有限的，当系统复杂度超过这个阈值，我们就需要一种结构化的方式来降低认知成本。微服务就是这样一个答案：把大的问题拆成小的问题，把复杂系统变成一组简单系统的组合。 ### 二、什么是微服务简单来说，微服务是一种将单一应用程序划分为一组小型服务的方法。每个服务运行在自己的进程中，服务之间通过轻量级机制（通常是HTTP或消息队列）通信。但比定义更重要的是理解它的设计哲学： - **围绕业务能力组织**：不是按技术分层（Controller-Service-DAO），而是按业务边界划分。订单、用户、商品是独立的服务。 - **独立部署**：每个服务可以独立发布、回滚、扩容，不依赖其他服务。 - **去中心化治理**：每个团队可以自由选择技术栈，只要遵循统一的通信协议。你可以把单体应用想象成一个庞大的交响乐团，所有乐手必须严格同步；而微服务更像是一组爵士乐队，每个乐队有自己的节奏，通过标准化的乐谱（API）协作。 ### 三、带来什么微服务的价值不在于技术本身，而在于它解锁的组织能力。 **首先是交付速度。** 当一个团队只需要维护几百行代码的订单服务时，从修改代码到部署上线可能只需要十分钟。高频部署成为可能，而不是每月一次的“发布日恐怖事件”。 **其次是故障隔离。** 用户服务挂了，订单服务可以降级处理，不影响整个系统。系统边界变成了故障边界。 **再次是技术多样性。** 推荐服务可以用Python写算法，订单服务用Java保证事务一致性，前端聚合层用Node.js。用合适的工具解决合适的问题。 **最后是扩展性。** 哪个服务压力大就扩哪个，不需要整体水平复制。 ### 四、代价与陷阱天下没有免费的架构。微服务的成本往往被低估。 **第一个陷阱是分布式复杂性。** 在单体中，A调用B就是一次本地方法调用。在微服务中，变成了网络调用。网络不可靠，你需要考虑超时、重试、熔断、降级。更不用说分布式事务和分布式链路追踪了。 **第二个陷阱是运维负担。** 一个应用变成二十个服务，意味着二十个部署流水线、二十个日志流、二十个监控面板。没有自动化的CI/CD和容器编排，这条路走不远。 **第三个陷阱是数据一致性。** 订单服务和库存服务各自有自己的数据库，如何保证下单后库存准确扣减？最终一致性方案（如本地消息表、事务消息）比强一致性复杂得多。 **第四个陷阱是服务间调用地狱。** 一个前端请求可能触发多次服务间调用，延迟叠加。如果没有良好的缓存设计和异步处理，性能可能还不如单体。 > 业界有个经验法则：如果你没有足够的人手来维护多个独立团队，微服务可能不是最佳选择。对中小型团队来说，模块化单体往往是更务实的选择。 ### 五、核心实践如果决定走微服务之路，有几个关键实践值得重视： **API优先。** 服务的边界由API定义。先设计好接口契约（如OpenAPI规范），再实现内部逻辑。这迫使团队在写代码之前就想清楚职责划分。 **去中心化的数据管理。** 每个服务拥有自己的数据库，其他服务只能通过API访问数据。这听起来效率低，但它保证了服务的松耦合。 **基础设施自动化。** 容器化（Docker）+ 编排（Kubernetes）几乎是标配。服务注册与发现、配置管理、日志聚合、监控告警，这些都需要从项目第一天就考虑。 **优雅的失败处理。** 网络会断，服务会挂。设计时要假设所有依赖都不可靠。实现熔断器模式、重试机制、超时控制，并提供有意义的错误响应。下面是一个极简的熔断器示意（仅用于理解思想）： ``` class CircuitBreaker: def __init__(self, failure_threshold=5): self.failure_count = 0 self.threshold = failure_threshold self.state = "closed" # closed / open / half-open def call(self, func): if self.state == "open": return "fallback response" # 快速失败 try: result = func() self.failure_count = 0 self.state = "closed" return result except Exception: self.failure_count += 1 if self.failure_count >= self.threshold: self.state = "open" # 熔断打开 return "fallback response" ``` 这个模式的核心价值在于：当依赖服务不可用时，我们主动失败而不是等待超时，从而避免资源耗尽。 ### 六、模式之外写到这里，我想起一位架构师的比喻：微服务不是银弹，它更像是一把手术刀——在专业人士手中可以精准切割，在普通人手里可能造成更大的伤害。架构决策本质上是权衡。选择微服务，意味着你选择用分布式复杂性换取局部独立性的提升。这个交易是否划算，取决于你的团队规模、业务领域和组织结构。康威定律告诉我们：系统架构会映射组织沟通结构。如果你的团队是按业务线组织的，微服务会很自然；如果你的团队是按技术层级组织的（前端组、后端组、DBA组），微服务反而会制造摩擦。所以，微服务不只是技术转型，更是组织转型。 ### 七、写在最后从大型机到客户端-服务器，从SOA到微服务，软件架构的发展史就是一部对抗复杂度的历史。微服务是我们目前能找到的、在规模化和可控性之间较好的平衡点。但它不会是终点。云原生、Serverless、FaaS等新范式正在兴起，未来的系统可能会更加“无服务化”——开发者甚至不需要关心服务实例的存在，只需要关心业务逻辑本身。不管技术如何演变，有一点不会变：好的架构是让未来的变化变得容易，而不是困难。微服务如是，其他亦然。

2026-08-21

surrealdb数据库单机版搭建--docker方式部署

--- | --- | --- | --- | --- | --- | |1|10.127.2.16|8|4G|50GB|200GB| Ubuntu24.04|数据中心| 部署surrealdb数据库单机服务需要申请的端口权限

2026-07-15

Apache DolphinScheduler 如何实现自动化打包+单机/集群部署？

DolphinScheduler 支持多种任务类型，可以在单机或集群环境下运行。下面将介绍如何实现 DolphinScheduler 的自动化打包和单机/集群部署。

2023-09-12

悟空 IM 发布，单机百万级的通用实时通讯服务

🚀 性能强劲：单机支持百万用户同时在线，单机16w/秒消息（包括DB操作）吞吐量,一个频道支持万人同时订阅。

2023-07-17

在阿里云上单机使用Nginx负载均衡发布网站

本文选择单机发布多站点，首先是为了学习下Nginx的配置，其次是可以这样来实现网站的“高可用”。对于正式业务，可以选购阿里云的负载均衡SLB产品，不应当使用这种单机多站点的发布方法。

2019-03-24

借助Docker单机秒开数十万TCP连接[转]

熟悉网络编程的都清楚系统只有65535个端口可用，1024以下的端口为系统保留，所以除去系统保留端口后可用的只有65411个端口，而一个TCP连接由TCP四元组（源IP、源端口、TCP、目标IP、目标端口）唯一确定，所以单机一个网卡时客户端最多只能打开

2018-11-29

Apache Spark 1.6 Hadoop 2.6 Mac下单机安装配置

一、下载资料 1. JDK 1.6 + 2. Scala 2.10.4 3. Hadoop 2.6.4 4. Spark 1.6 二、预先安装 1. 安装JDK 2.安装Scala 2.10.4 解压安装包即可 3. 配置sshd ssh-keygen-tdsa-P''-f~/.ssh/id_dsa cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys mac 启动sshd sudo launchctl load -w /System/Library/LaunchDaemons/ssh.plist 查看启动 sudo launchctl list | grep ssh 输出-0com.openssh.sshd 表示启动成功停止sshd服务 sudo launchctl unload -w /System/Library/LaunchDaemons/ssh.plist 三、安装Hadoop 1. 创建Hadoop文件系统目录 mkdir -pv hadoop/workspace cd hadoop/workspace mkdir tmp mkdir -pv hdfs/data mkdir -pv hdfs/name 添加hadoop目录环境变量 vi ~/.bashrc HADOOP_HOME=/Users/ysisl/app/hadoop/hadoop-2.6.4 配置hadoop，都在$HADOOP_HOME/etc/hadoop 下 1. core-site.xml <configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> <description>HDFS URI</description> </property> <property> <name>hadoop.tmp.dir</name> <value>/Users/ysisl/app/hadoop/workspace/tmp</value> <description>namenode temp dir</description> </property> </configuration> 2.hdfs-site.xml <configuration> <property> <name>dfs.name.dir</name> <value>/Users/ysisl/app/hadoop/workspace/hdfs/name</value> <description>namenode上存储hdfs名字空间元数据</description> </property> <property> <name>dfs.data.dir</name> <value>/Users/ysisl/app/hadoop/workspace/hdfs/data</value> <description>datanode上数据块的物理存储位置</description> </property> <property> <name>dfs.replication</name> <value>1</value> <description>副本个数，配置默认是3,应小于datanode机器数量</description> </property> </configuration> 3. copy mapred-site.xml.template to mapred-site.xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> 4. yarn-site.xml <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>localhost:8099</value> </property> </configuration> 5. 格式化HDFS文件系统 $HADOOP_HOME/bin/hdfs namenode -format 6. 进入sbin/ 执行 start-all.sh 7. 执行jps 查看是否正常启动 21472 30256 Jps 29793 DataNode 29970 SecondaryNameNode 29638 NameNode 30070 ResourceManager 30231 NodeManager 8. 打开http://localhost:50070/explorer.html 网页查看hadoop目录结构，说明安装成功四、安装Spark 1. 解压spark压缩包 tar xvzf spark.1.6.tar.gz 2. 加入环境变量 vi ~/.bashrc SCALA_HOME=/Users/ysisl/app/spark/scala-2.10.4 SPARK_HOME=/Users/ysisl/app/spark/spark-1.6.1-bin-hadoop2.6 2. 设置配置文件 cd spar-1.6.1-bin-hadoop2.6/conf cp spark-env.sh.template spark-env.sh vi spar-env.sh 添加如下内容 export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_25.jdk/Contents/Home export SCALA_HOME=/Users/ysisl/app/spark/scala-2.10.4 export HADOOP_CONF_DIR=/Users/ysisl/app/hadoop/hadoop-2.6.4/etc/hadoop export SPARK_MASTER_IP=localhost export SPARK_WORKER_CORES=2 export SPARK_WORKER_MEMORY=2g cp slaves.template slaves 默认slaves现在就主机一台 3. 启动 sbin/start-all.sh jps 查看到多出一个Master，worker进程 21472 29793 DataNode 29970 SecondaryNameNode 30275 Master 30468 SparkSubmit 29638 NameNode 30070 ResourceManager 30231 NodeManager 30407 Worker 30586 Jps 4. 配置scala 、spark 、 hadoop 环境变量加入PATH ，方便执行 vi ~/.bashrc export HADOOP_HOME=/Users/ysisl/app/hadoop/hadoop-2.6.4 export SCALA_HOME=/Users/ysisl/app/spark/scala-2.10.4 export SPARK_HOME=/Users/ysisl/app/spark/spark-1.6.1-bin-hadoop2.6 export PATH="${HADOOP_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:$PATH" 五. 测试运行 1. 准备一个csv文件，路径 /Users/ysisl/app/hadoop/test.csv 2. 查看DFS文件系统结构，执行 hadoop fs -lsr / 3. 新建目录， hadoop fs -mkdir /test 4. 上传文件到目录， hadoop fs -put /Users/ysisl/app/hadoop/test.csv /test/ 5.hadoop fs -lsr / 查看已创建的目录文件 6. 执行 spark-shell scala >valfile=sc.textFile("hdfs:/test/test.csv") scala >valcount=file.flatMap(line=>line.split("")).map(word=>(word,1)).reduceByKey(_+_) scala >count.collect 7. 查看执行状态 a. localhost:8080 ，查看spark 集群运行情况。此端口一般与其他端口冲突在spark-env.sh 中加入export SPARK_MASTER_WEBUI_PORT=98080 来指定 b.http://localhost:4040/jobs/，查看 spark task job运行情况 c.http://localhost:50070/hadoop集群运行情况

2016-10-19

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。