首页 文章 精选 留言 我的

精选列表

搜索[分布式锁],共10000篇文章
优秀的个人博客,低调大师

Apache Dubbo 3.1.10 发布,分布式 RPC 服务框架

Apache Dubbo 是一款高性能、轻量级的开源 Java RPC 框架,它提供了三大核心能力:面向接口的远程方法调用、智能容错和负载均衡,以及服务自动注册和发现。 Apache Dubbo 3.1.10 现已发布,具体更新内容包括: 修复原生 CI #11932 [3.1] 修复 #11524 在 #11984 中进行三重序列化检查 修复加载顺序导致的abstractServiceDiscovery更新异常 #12033 修复下线和上线报错 #12044 修复可序列化检查和添加测试用例 #12054 删除未使用的代码 #11459 修复 tri headerfilter 3.1 #12070 提供对 M1 的支持 #12086 修复 tri stub 异常 #12093 更新公告:https://github.com/apache/dubbo/releases/tag/dubbo-3.1.10

优秀的个人博客,低调大师

Apache Dubbo 3.1.8 发布,分布式 RPC 服务框架

Apache Dubbo 是一款高性能、轻量级的开源 Java RPC 框架,它提供了三大核心能力:面向接口的远程方法调用、智能容错和负载均衡,以及服务自动注册和发现。Apache Dubbo 3.1.8 现已发布,具体更新内容包括: Bugfix 修复自定义执行器参数可能不工作#11652 修复服务名称检查忽略子字符串#11643 修复 tri wrapper pack npe#11656 修复 qos ByteBuf 泄漏#11714 修复元数据代理负载过滤器#11769 修复 destroy 后重新创建客户端#11780 Sync when destroy#11783 修复#11767,恢复原始参数对而不是在执行 URL.parse 时提供默认值。#11781 修复reference bean名称冲突#11699 Code Enhancement 相关 PR:#11592、#11672 更新说明:https://github.com/apache/dubbo/releases/tag/dubbo-3.1.8

优秀的个人博客,低调大师

Apache Dubbo 3.1.7 发布,分布式 RPC 服务框架

Apache Dubbo 是一款高性能、轻量级的开源 Java RPC 框架,它提供了三大核心能力:面向接口的远程方法调用、智能容错和负载均衡,以及服务自动注册和发现。Apache Dubbo 3.1.7 现已发布,具体更新内容包括: Feature 增强可序列化检查选项#11460 Triple stub 支持异步模式#11464 Bugfix 修复scope model 中的并发问题#11525 将 timeout value 设置为字符串#11565 如果元数据配置无效,则跳过mapping retry#11323 修复 SerializeSecurityConfigurator 中的 stackoverflow#11561 恢复 timeoutfilter 的清除响应操作#11562 feat:修复 oom#11571 修复刷新时配置不存在的问题#11505 增强 json util 检查#11501 修复删除 registry时的 NPE#11514 删除地址无效检查#11496 修复tri future#11455 Code Enhancement 相关 PR:#11183,#11177,#11224,#11164 Dependency Upgrade 更新netty:4.1.72.Final -> 4.1.87.Final#11507 详情可查看更新说明:https://github.com/apache/dubbo/releases/tag/dubbo-3.1.7

优秀的个人博客,低调大师

Hadoop 及Spark 分布式HA运行环境搭建

作者:京东物流 秦彪 工欲善其事必先利其器,在深入学习大数据相关技术之前,先手动从0到1搭建一个属于自己的本地Hadoop和Spark运行环境,对于继续研究大数据生态圈各类技术具有重要意义。本文旨在站在研发的角度上通过手动实践搭建运行环境,文中不拖泥带水过多讲述基础知识,结合Hadoop和Spark最新版本,帮助大家跟着步骤一步步实践环境搭建。 1. 总体运行环境概览 (1) 软件包及使用工具版本介绍表: 技术名称或工具名称 版本 备注 Hadoop hadoop-3.3.4.tar.gz VirtualBox 6.0.0 r127566 虚拟机,推荐 CentOS centos7.3 JDK jdk-8u212-linux-x64.tar.gz 1.8.0_111 Zookeeper zookeeper-3.6.tar.gz FileZilla FileZilla_3.34.0 文件传输工具,推荐 MobaXterm MobaXterm_Portable_v10.9 SSH连接工具,推荐 Idea IDEA COMMUNITY 2019.1.4 代码IDE开发工具,推荐 (2)环境部署与分布介绍表: 主机名 IP 运行的进程 master 192.168.0.20 QuorumPeerMain、NameNode、DataNode、ResourceManager、NodeManager、JournalNode、DFSZKFailoverController、Master slave1 192.168.0.21 QuorumPeerMain、NameNode、DataNode、ResourceManager、NodeManager、JournalNode、DFSZKFailoverController、Master、Worker slave2 192.168.0.22 QuorumPeerMain、NameNode、DataNode、JournalNode、NodeManager、Worker (3)进程介绍:(1表示进程存在,0表示不存在) 进程名 含义 master slave1 slave2 QuorumPeerMain ZK进程 1 1 1 NameNode Hadoop主节点 1 1 0 DataNode Hadoop数据节点 1 1 1 ResourceManager Yarn管理进程 1 1 0 NodeManager Yarn 工作进程 1 1 1 JournalNode NameNode同步进程 1 1 1 DFSZKFailoverController NameNode监控进程 1 1 0 Master Spark主节点 1 1 0 Worker Spark工作节点 1 1 1 2. 系统基础环境准备 步骤1: 虚拟机中Linux系统安装(略) VirtualBox中安装CentOS7操作系统 步骤2: CentOS7基础配置 (1) 配置主机的hostname 命令: vim/etc/hostname (2) 配置hosts, 命令vim /etc/hosts (3) 安装JDK 命令: rpm -qa | grep java 查看是否有通过rpm方式安装的java java -version 查看当前环境变量下的java 版本 1) filezilla上传安装包,tar -zxvf jdk-8u212-linux-x64.tar.gz 解压 2) bin目录的完整路径: /usr/local/jdk/jdk1.8.0_212/bin 3) vim /etc/profile 配置jdk环境变量 (4) 复制主机: 1)利用VirtualBox复制功能复制两台主机 2)命令:vi /etc/sysconfig/network-scripts/ifcfg-eth0,设置相应的网络信息 3)三台主机IP分别为: 192.168.0.20/21/22 (5) 配置三台主机ssh无密码登录(略) (6) 安装zookeeper 1) filezilla上传安装包,zookeeper-3.4.10.tar.gz 解压 2) bin目录的完整路径: /usr/local/zookeeper/zookeeper-3.4.10/bin 3) vim /etc/profile 配置jdk环境变量 4) zookeeper的配置文件修改,zookeeper-3.4.10/conf/ 5) 执行命令从master节点复制配置到其他两个节点 6) 每台机器zookeeper目录下新建一个data目录, data目录下新建一个myid文件,master主机存放标识值1;slave1主机标识值为2;slave3主机标识值为3 7) 每台机器上命令:zkServer.sh start ,启动ZK,进程名:QuorumPeerMain 3. Hadoop安装与部署 3.1安装Hadoop 1)filezilla上传安装包,hadoop-3.3.4.tar.gz 解压 2)bin目录的完整路径: /usr/local/hadoop/hadoop-3.3.4/bin 3)vim /etc/profile 配置jdk环境变量 4) 修改配置文件共6个: hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml和workers 文件1: hadoop-env.sh; 增加jdk环境变量 文件2: core-site.xml; 配置临时目录及zookeeper信息 文件3: hdfs-site.xml; 配置hdfs信息 文件4: mapred-site.xml; 配置mapreduce和dfs权限信息 文件5: yarn-site.xml; 配置yarn资源调度信息 文件6: worker文件存放当前的worker节点名,复制到每一个虚拟机中 3.2启动Hadoop 1) 使用命令: hadoop-daemon.sh start journalnode 启动journalnode 进程(每个节点执行) 2) 使用命令: hadoop-daemon.sh start namenode 启动namenode 进程(master、slave1节点上执行) 3) 使用命令:hadoop-daemon.sh start datanode 在所有节点上启动datanode 进程 4) 使用命令:start-yarn.sh 在master上启动yarn 5) 使用命令: hdfs zkfc -formatZK 在ZK上生成ha节点 6) 使用命令: hadoop-daemon.sh start zkfc 启动 DFSZKFailoverController进程,在master节点执行 a. 访问HDFS的管理页面 http://192.168.0.20:50070此处192.168.0.20为namenode节点的Active节点 http://192.168.0.21:50070 此处192.168.0.20为namenode节点的standby节点 3.3 验证HDFS使用 使用命令:hdfs dfs -ls / 查看HDFS中文件 使用命令:hdfs dfs -mkdir /input 在HDFS上创建目录 使用命令:hdfs dfs -put ./test.txt /input 将本地文件上传到HDFS指定目录 使用命令:hdfs dfs -get /input/test.txt ./tmp 将HDFS文件复制到本地目录 使用命令:hdfs dfs -text /input/test.txt 查看HDFS上的文本文件 web端浏览HDFS目录 3.4 验证MapReduce的wordcount案例 (1)先通过命令将带有文本内容的test2.txt文件上传到HDFS (2)对HDFS上test2.txt文件执行wordcount统计,结果放回HDFS新目录,命令: hadoop jar /usr/local/hadoop/hadoop-3.3.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar wordcount /input/test2.txt /out 4. Spark安装与部署 4.1安装Scala (1)安装scala 上传scala压缩包解压,使用命令: scala -version 查看当前环境变量下的scala 版本 (2)拷贝scala目录和环境变量到其他两台机器 使用命令: scp -r /usr/local/scala root@slave1:/usr/local/ scp /etc/profile root@slave1:/etc/profile 4.2安装Spark (1)上传spark压缩包解压,修改配置文件 命令: vim /usr/local/spark/spark-3.3.1/conf/spark-env.sh (2) 新建worker目录,写入master机器名称 4.3启动Spark (1)在master的spark安装目录下启动spark 命令: cd /usr/local/spark/spark-3.3.1/sbin ./start-all.sh (2)在slave1同样目录启动master进程 命令:./start-master.sh (3)访问spark管理页面ui 4.4 验证Spark的wordcount案例 (1)执行命令: cd /usr/local/spark/spark-3.3.1/bin ./spark-shell --master spark://master:7077 (3)从HDFS读取数据执行自定义wordcount代码,结果写入HDFS,命令: sc.textFile("hdfs://master:9000/input/test2.txt").flatMap(_.split(" ")).map(word=>(word,1)).reduceByKey(_+_).map(pair=>(pair._2,pair._1)).sortByKey(false).map(pair=>(pair._2,pair._1)).saveAsTextFile("hdfs://master:9000/spark_out") (4)输出结果: 5. 后记 大数据技术日新月异,得益于互联网技术加持下的商业和工业模式变革。人们日益增长的对生活生产便捷性、数字化、智能化的需求,催生了数据爆炸式的增长,推动了大数据技术推陈出新。作为新时代的程序开发者,必须掌握一定的大数据基础知识才能适应时代的要求,本文只是一个引子,从自身实践的角度帮助初学者认识大数据,并基于此搭建自己属于自己的开发环境,希望大家能够在此基础上继续钻研有所建树。

优秀的个人博客,低调大师

Apache Dubbo 3.1.6 发布,分布式 RPC 服务框架

Apache Dubbo 是一款高性能、轻量级的开源 Java RPC 框架,它提供了三大核心能力:面向接口的远程方法调用、智能容错和负载均衡,以及服务自动注册和发现。Apache Dubbo 3.1.6 现已发布,具体更新内容包括: Feature 为 aduit 添加一些 qos 命令日志#11224 添加服务名称映射重试#11265 添加 nacos 创建客户端重试#11304 添加 Nacos sub try test#11307 添加 serialzie 类检查#11217 添加 SerializeCheckStatus 命令#11434 Bugfix 将 logger 的错误语句更正为info#11165 修复 Consumer ClassLoader Change#11179 修复从 metadata service 获取订阅服务时的NPE#11192 修复 Spring Cloudmetadata override#11197 修复 lazy-init situations 情况下的死锁#11194 修复端口相同时的警告#11202 修复 active limit filter 不起作用的问题#11206 修复 Nacos empty ticket 不生效的问题#11213 修复 zookeeper 实例更新#11212 增强 Zookeeper ServiceDiscovery 更新#11220 优化 MetadataServiceNameMapping cas 报冲突#11237 修复服务实例更新失败Multi Registry Override#11236 修复应用程序级别的配置不起作用#11215 修复Multi Registry Override#11245 修复 zk 重新订阅失败#11247 添加一些 cas 更新失败的日志#11251 增强 nacos regsitry#11262 修复 tri upper attachment 错误#11214 修复 tri 反序列化错误#11187 当不存在 pb 时删除 grpc-status-details#11249 修复倒计时分配问题#11275 更改类加载器#11312 在 native 情况下支持 fastjson2#11325 支持native ci check#11358 修复 SerializeSecurityManager 中的 CME#11395 增强Check#11419 Code Enhancement 相关 PR:#11183、#11177、#11224 、#11164 Dependency Upgrade 更新 protobuf-java:3.16.3 -> 3.18.3#11261 更新 fastjson2:2.0.21 -> 2.0.23#11305 详情可查看更新说明:https://github.com/apache/dubbo/releases/tag/dubbo-3.1.6

优秀的个人博客,低调大师

Memcached 1.6.18 发布,高性能分布式缓存系统

Memcached 1.6.18 现已发布,此版本主要是对代理模式的修复和改进。以及Meta protocol 有一些调整:在少数情况下会返回额外的 spaces。 具体更新内容包括: Fixes core:在 SIGINT/SIGTERM 上不停止线程 core:从信号处理程序中删除 printf proxy:现在相对于 resp lifetime 的log time proxy:修复 SIGHUP 重载期间 AWIT 的崩溃 proxy:修复后端连接的生命周期 proxy:IO 线程性能改进 proxy:添加mcp.AWAIT_BACKGROUND proxy:修复数据块错误时的 lua 注册表损坏 proxy:添加proxy_await_activestat proxy:修复部分响应读取处理 proxy:添加更多后端故障消息 proxy:修复mcp.log_req在 nil res 上的崩溃 core:修复 len < 8 的agged listeners proxy:将调试符号添加到 lua 构建 从 usage 中删除 libevent license 修复了使用 clang-15 构建的问题 meta:删除meta_response_old启动选项 meta:允许 mg without flags + reflect O/k on EN meta:meta arithmetic 命令有多余的spaces meta:从 meta responses 中删除多余的spaces proxy:修复后端连接初始化的错误 修复 2038 年之后的日志时间戳 修复 clang 错误的函数原型 proxy:添加 mcp.await FASTGOODflag New Features 有关proxy API 的更新,可参阅Proxy wiki页面。 更多详情可查看:https://github.com/memcached/memcached/wiki/ReleaseNotes1618

优秀的个人博客,低调大师

Apache Dubbo 3.1.4 发布,分布式 RPC 服务框架

Apache Dubbo 是一款高性能、轻量级的开源 Java RPC 框架,它提供了三大核心能力:面向接口的远程方法调用、智能容错和负载均衡,以及服务自动注册和发现。 Apache Dubbo 3.1.4 现已发布,具体更新内容包括: 特征 Dubbo QoS 支持国外 ip 白名单 #11051 错误修正 修复了度量集合在 generalize 调用时获取错误方法名称的问题 #11012 修复 zookeeper 创建时更新服务名失败的问题 #11036 修复默认票据更新的数据 #11050 调整超时逻辑,修复三重超时倒计时功能问题 #11030 在 AwareClusterInvoker#doInvoke 中添加 NPE 和空列表检查 #11046 修复#11044,解决 remoteApplicationName 为 null,在网状模式下使用 triple #11058 修复原生镜像编译失败和运行二进制包失败的问题 #11066 修复 ssl npe #11093 修复诊断日志消息错误 #11103 修复 MetadataReportConfig 在预配置时有效 #11110 修复 dubbo.reference 在 3.x 中不起作用的问题 #11109 修复 TimeoutCountDown 对象被传递,并支持截止超时计数的方法级配置 #11120 当 zk 未连接时添加更多信息(#11057) #11122 修复设置接口类时的类加载器 bing 覆盖问题 #11106 修复缓存在 InstanceAddressURL 中的超时问题 #11041 修复三过滤器 onError #11133 修复 zk 在映射更新时会删除其他应用程序的实例监听器的问题 #11137 依赖升级 更新 fastjson2:2.0.14 -> 2.0.21 #11131 更新 resteasy-jaxrs:3.0.19.Final -> 3.0.20.Final #11071 更新公告:https://github.com/apache/dubbo/releases/tag/dubbo-3.1.4

优秀的个人博客,低调大师

Apache Dubbo 3.1.3 发布,分布式 RPC 服务框架

Apache Dubbo 是一款高性能、轻量级的开源 Java RPC 框架,它提供了三大核心能力:面向接口的远程方法调用、智能容错和负载均衡,以及服务自动注册和发现。 Apache Dubbo 3.1.3 现已发布,具体更新内容包括 恢复 #9645,在本地调用时支持过滤器 #10707 支持协议属性配置到元数据服务 #10855 通用调用时支持一致的哈希负载平衡 #10799 修复 dubbo 调用 generic impl 时,返回类型错误的问题 #10891 修复 unexport() 在注册失败时抛出 NPE 的问题 #10893 支持尝试获取元数据服务的可用端口 #10846 修复 MetadataService 方法顺序以区分服务信息 #10922 端口统一默认是关闭的,Netty4端口统一实现的spi key #10894 恢复 #8755 以防止安全异常 #10938 删除 nacos 注册表中的 guava 使用 #10945 删除 NacosInstanceManageUtil #10949 修复潜在的 URL NPE #10921 修复 invokerUrls 被检查时的警告问题 #10937 更新公告:https://github.com/apache/dubbo/releases/tag/dubbo-3.1.3

优秀的个人博客,低调大师

Apache Dubbo 3.1.2 发布,分布式 RPC 服务框架

Apache Dubbo 是一款高性能、轻量级的开源 Java RPC 框架,它提供了三大核心能力:面向接口的远程方法调用、智能容错和负载均衡,以及服务自动注册和发现。Apache Dubbo 3.1.1 现已发布,具体更新内容包括: 错误修复和优化 相关 PR : #10660, #10669, #10677, #10685, #10686, #10700, #10701, #10708, #10715, #10544, #10738, #10783, #10785, #10789, #10825, #10718, #10741, #10779, #10775, #10786, #10683, #10834, #10678, #10796, #10788 特性 相关 PR :#10662, #10722, #10737, #10761, #10724, #10784 相关问题 Releates PRs: #10680, #10787, #10820, #10830, #10837, #10843 依赖项更新 升级 protobuf-java: 3.11.0 -> 3.16.3 #10702 升级 nacos-client: 2.1.1 -> 2.1.2 #10862 更新公告:https://github.com/apache/dubbo/releases/tag/dubbo-3.1.2

优秀的个人博客,低调大师

Apache Dubbo 3.1.1 发布,分布式 RPC 服务框架

Apache Dubbo 是一款高性能、轻量级的开源 Java RPC 框架,它提供了三大核心能力:面向接口的远程方法调用、智能容错和负载均衡,以及服务自动注册和发现。Apache Dubbo 3.1.1 现已发布,具体更新内容包括: 错误修复和优化 相关 PR :#10488,#10481,#10495,#10504,#10503,#10498,#10508,#10518,#10514,#10525,#10529,#10530,#10534,#10537,#9645,#10576,#10567,#10573,#10323,#10606,#10609,#10603,#10605,#10616,#10613,#10614,#10623,#10543,#10626,#10634,#10602,#10619,#10615,#10639,#10641,#10644,#10638,#10645,#10649 Metrics 相关 PR :#10493,#10499,#10512,#10515,#10589 FAQ #10500,#10516,#10519,#10522,#10523,#10521,#10527,#10536,#10538,#10540,#10542,#10546,#10561,#10566,#10568,#10599,#10598 依赖升级 升级 hessian-lite 版本:3.2.12 -> 3.2.13#10629 升级 fastjson2 版本:2.0.7 -> 2.0.14#10648 升级snakeyaml 版本:1.29 -> 1.31#10625 升级 kubernetes-client 版本:5.3.2 -> 6.1.1#10543 升级 grpc-core 版本:1.44.0 -> 1.47.0#10567 详情可查看更新说明:https://github.com/apache/dubbo/releases/tag/dubbo-3.1.1

资源下载

更多资源
Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册