首页 文章 精选 留言 我的

精选列表

搜索[techo day],共2891篇文章
优秀的个人博客,低调大师

微服务架构Day19-SpringCloud之负载均衡

Ribbon负载均衡 Ribbon与Nginx的区别 客户端负载均衡Ribbbon: Ribbon是从Eureka注册中心服务器上获取注册信息列表,缓存到本地, 然后在本地实现轮询负载均衡策略.即在客户端实现负载均衡. 服务端负载均衡Nginx: Ngnix是客户端所有请求统一交给Nginx,由Nginx实现负载均衡请求转发,属于服务器端负载均衡.即请求由Nginx服务器端进行转发. 应用场景的区别: Nginx适用服务器端实现负载均衡:Tomcat,Jetty Ribbon适用于在微服务中RPC远程调用实现本地负载均衡:Dubbo,SpringCloud Ribbon负载均衡的底层实现 Ribbon负载均衡: 客户端从Eureka注册中心获取对应的注册信息列表,获取到注册信息列表后,缓存到本地,然后在本地实现负载均衡.即负载均衡是由客户端实现的. 负载均衡算法: 接口的总请求数取模服务器数得到实际的服务器下标(从0开始)获取到服务器调用服务 实现: 获取对应服务器的远程调用地址:DiscoveryClient List<ServiceInstance> instances=discoveryClient.getInstance("eureka_ticket"); 使用rest方式发送请求使用远程调用 String result=restTemplate.getForObject(instanceUrl,String.class); Feign SpringCloud中支持两种客户端调用工具: Rest(RestTemplate模板) Feign Feign是声明式Http客户端调用工具,采用接口+注解方式实现,易读性强. Feign客户端书写是以SpringMVC接口形式书写的 @FeignClient(name="服务别名") @FeignClient调用服务接口(name:服务名称) 在主类上标注@EnableFeignClients注解开启Feign权限 微服务项目目录结构: parent: 存放共同的依赖信息 api-service: 所有服务的接口 ticket-service: 特定服务的接口 ticket-serviceImpl: 特定服务的实现 实体类和定义接口信息存放在接口包里 在特定服务中的参数前面要标注@RequestParam("xx"),这样参数才会被接收 Feign客户端超时时间设置 设置Feign客户端超时时间 ribbon.connectTime=5000 # 建立连接所用时间,两端连接所用时间 ribbon.ReadTimeout=5000 # 建立连接后,从服务器读取可用资源所用时间

优秀的个人博客,低调大师

day12_JavaWeb设计模式与案例学习笔记

一、JavaWeb开发模式 C/S:客户端 / 服务器 (胖客户端)比如:LOL、CS、魔兽世界。.exe安装文件。 B/S:浏览器 / 服务器(瘦客户端)比如:页游。网页版软件。 JavaBean: 其实就是一个普通类(实体bean:用作封装数据),包含三样标准:一个无参构造方法、私有属性、公共的getter和setter方法。 还有一个业务bean:用于封装业务,比如:登录、注册等。 1、Model1模式(了解即可,早已过时) JSP + JavaBean 在网页.jsp代码中通过jsp:useBean、jsp:setProperty、jsp:getProperty,相当于new出来一个类,即jsp代码中嵌入实体类(java代码),不合适实际开发! 因为这样的话,java代码就太多了,喧宾夺主了!但是,这种方式适合教学用。 一般new一个类(实体bean类),是纯的java代码,就放在专门放java代码的项目的src里面比较好,比如:XxxServlet.java中。 2、Model2模式(模拟MVC) JSP + Servlet + JavaBean 把JavaBean放到3个域对象中。 MVC:开发模式 M:Model模型 相当于 JavaBean(即四种作用域) V:view视图 相当于 JSP C:Controller控制器 相当于 Servlet 分层思想:强内聚、弱耦合。 二、案例:用户的注册和登陆 三、开发步骤 开发时注意事项: 约定优于编码。列名、字段名、表单中的属性名要一致。 1、创建数据库及表 2、开发web应用 a、搭建开发环境:添加jar包,按顺序创建包结构。 b、创建实体类(javaBean),用于封装数据。 c、dao层(数据访问层) 接口 实现类 先添加工具类:DBUtils和数据库配置文件。 以后开发中,dao中的代码,有异常的话就全部往外抛,全部抛到service里面的实现类来处理。 因为service属于业务逻辑层,service里面有日志记录,会把异常写入到日志。 所以业务层中的异常就不要向外抛了,在service里面的实现类来处理。 d、service层(业务层) 接口 实现类 e、表示层(JSP、Servlet) index.jsp log.jsp reg.jsp logServlet.jsp regServlet.jsp logoutServlet.jsp 我的GitHub地址: https://github.com/heizemingjun 我的博客园地址: http://www.cnblogs.com/chenmingjun 我的蚂蚁笔记博客地址: http://blog.leanote.com/chenmingjun Copyright ©2018 黑泽明军 【转载文章务必保留出处和署名,谢谢!】

优秀的个人博客,低调大师

Go 学习 Day 1:从零跑通 Protobuf 与 ConnectRPC

--- ## 一、今天跑通了什么 项目包含两个独立程序: ``` Go 客户端 ↓ 发送请求 ConnectRPC 服务端 ↓ Handler ↓ Service ↓ 返回“你好,小明!” ``` 先运行全部测试: ``` go test ./... ``` 测试结果中的: ``` ok ``` 表示测试通过。 ``` [no test files] ``` 表示这个 package 没有测试文件,并不是报错。 ``` (cached) ``` 表示代码没有变化,Go 使用了之前的测试结果。想强制重新执行,可以使用: ``` go test -count=1 ./... ``` --- ## 二、Protobuf 是什么 Protobuf 可以理解为前后端共同遵守的“接口合同”。 在 `.proto` 文件中,我们定义: ``` service HelloService { rpc SayHello(SayHelloRequest) returns (SayHelloResponse); } message SayHelloRequest { string name = 1; } message SayHelloResponse { string message = 1; } ``` 这段代码表达的是: ``` 接口名称:SayHello 请求参数:姓名 返回结果:问候语 ``` 其中: ``` string name = 1; ``` 后面的 `1` 是字段编号,不是默认值。已经发布的字段编号不能随意更换或重复使用。 --- ## 三、ConnectRPC 是什么 Protobuf 负责定义“双方说什么”,ConnectRPC 负责“双方怎样通过网络交流”。 二者的关系可以这样理解: ``` Protobuf:接口合同 ConnectRPC:通信工具 Go Service:具体业务逻辑 ``` ConnectRPC 根据 Protobuf 自动生成: - Go 请求与响应类型; - 服务端接口; - HTTP 路由; - Go 客户端; - 数据序列化和解析代码。 生成命令是: ``` buf generate ``` 生成结果位于: ``` gen/go/ ``` 这个目录不能手工修改。正确流程是: ``` 修改 .proto → buf lint → buf generate → 修改业务实现 → 运行测试 ``` --- ## 四、一次请求经历了什么 客户端创建请求: ``` request := connect.NewRequest( &demov1.SayHelloRequest{ Name: "小明", }, ) ``` 然后调用远程方法: ``` response, err := client.SayHello( context.Background(), request, ) ``` 服务端收到请求后,进入 Handler: ``` message, err := h.service.Greet( request.Msg.GetName(), ) ``` 业务层清理姓名并生成问候语: ``` func (Service) Greet(name string) (string, error) { // 删除姓名首尾的空格。 name = strings.TrimSpace(name) // 姓名为空时立即返回错误。 if name == "" { return "", ErrEmptyName } // 正常生成问候语。 return fmt.Sprintf("你好,%s!", name), nil } ``` 最终返回: ``` { "message": "你好,小明!" } ``` --- ## 五、为什么要区分 Handler 和 Service 今天理解了一个很重要的分层思想: ``` Handler:负责网络协议 Service:负责业务规则 ``` Handler 处理: - ConnectRPC 请求; - Protobuf 数据转换; - 网络错误码; - 响应包装。 Service 处理: - 清理姓名; - 判断姓名是否为空; - 生成问候语。 这样做的好处是:业务逻辑不依赖具体网络框架。即使以后把 ConnectRPC 换成 REST API,Service 依然可以继续使用。 --- ## 六、今天接触的 Go 基础 ### `package main` 表示这是一个可以直接运行的程序。 ``` package main func main() { // 程序从这里开始。 } ``` ### `:=` 声明变量,并让 Go 自动推断类型: ``` name := "小明" ``` ### 多返回值 Go 函数可以同时返回结果和错误: ``` message, err := service.Greet("小明") ``` 成功时: ``` message = "你好,小明!" err = nil ``` 失败时: ``` message = "" err = ErrEmptyName ``` ### 指针 `*` 和 `&` ``` &SayHelloRequest{} ``` `&` 表示取得对象所在的位置。 ``` *HelloHandler ``` `*` 表示这是一个指向 `HelloHandler` 的指针。 初学阶段可以先记住:Go 服务通常通过指针传递对象,避免复制,也方便共享和修改状态。 --- ## 七、日志与 Debug 日志是在程序正常运行时记录过程: ``` slog.Info( "SayHello 请求处理成功", "name", name, "message", message, ) ``` Debug 则会在断点处暂停程序,让我们逐行执行并查看变量。 二者适合不同场景: ``` 日志:事后查看程序发生了什么 Debug:现场观察程序正在做什么 ``` 日志中不能随意记录密码、Token、API Key 和个人隐私。 --- ## 八、今天最大的收获 以前看到 Protobuf、ConnectRPC、Handler 这些名词,会觉得它们离普通代码很远。 真正跑通最小项目后才发现,核心流程并不神秘: ``` 定义接口 → 生成代码 → 客户端发送请求 → Handler 接收请求 → Service 执行业务 → 返回响应 ``` 复杂项目只是在这条主链路上加入了数据库、认证、异步任务和更多业务规则。 下一步,我会把这套最小流程映射到 ChainBridgev2,追踪一次真实的供应商查询请求。

优秀的个人博客,低调大师

【原创0day】Fastjson2 远程代码执行漏洞

![图片](https://developer.qcloudimg.com/http-save/yehe-2202688/d5d027608c2ab07807e169c6c5c3c6a2.webp) Fastjson2 是阿里巴巴开源的 Java JSON 解析库重构升级版,凭借其高性能和简洁的 API 在国内 Java 生态中占据主导地位,广泛应用于企业后端服务、微服务网关、数据接口层等核心场景。 2026 年 7 月,长亭应急响应实验室安全研究员原创发现并上报Fastjson2存在一个全JDK版本通杀的远程代码执行漏洞。攻击者仅需控制 JSON 请求体,无需目标系统存在任何已知危险类,即可触发 RCE。目前官方已发布修复commit,建议受影响用户尽快应用修复补丁或实施缓解措施。 **漏洞描述** Description **01、漏洞成因** 该漏洞源于Fastjson2 在默认配置下未启用SupportAutoType 时,仍可能处理通用对象元素开头@type 属性。其“AutoType 已禁用”校验分支会将输入字符串的增量 FNV-1a 哈希与默认接受哈希进行匹配,但命中后不会确认实际文本是否等于预期的白名单类名。因此,攻击者可以针对任意前缀计算FNV chosen-prefix 碰撞,使 URL 形态的字符串进入应用的上下文类加载器,导致任意代码执行。 ## **漏洞影响** 攻击者可在服务器上执行任意代码,可能导致服务器被完全控制、数据泄露或业务系统沦陷。 **处置优先级:高** **漏洞类型:**远程代码执行 **漏洞危害等级:**高 **触发方式:**网络远程 **权限认证要求:**无需权限 **系统配置要求:**默认配置 **用户交互要求:**无需用户交互 **利用成熟度:**POC 未公开 **修复复杂度:**低,官方已发布修复补丁 **影响版本** Affects **02** ``` Fastjson <= 2.0.62 ``` **解决方案** Solution **03** ## **升级修复方案** 官方已更新修复补丁,参考链接: https://github.com/alibaba/fastjson2/pull/7695/changes ## **临时缓解方案** **1. 完全禁用 AutoType:开启 SafeMode 或使用noneautotype版本来完全禁用 AutoType 功能,从根本上杜绝此类风险。** **代码配置:ParserConfig.getGlobalInstance().setSafeMode(true);** **JVM 参数:-Dfastjson.parser.safeMode=true** **2. WAF规则配置:拦截请求体中key包含 @type 字段的 JSON 数据。** **漏洞复现** **Reproduction** ** 04** **长亭应急响应实验室原创发现并上报此漏洞,复现证明** ![图片](https://developer.qcloudimg.com/http-save/yehe-2202688/03bd1663b8bd8b35716790fc04460b08.webp) **产品支持** ** Support** **05** **云图:已于2026.7.27支持 XRAY DAST 爬虫联动检测** **洞鉴:预计2026.7.28发布更新包支持检测** **全悉:已于2026.7.21发布更新包支持检测** **雷池:已于2026.7.21发布更新包支持检测** **靖云甲RASP:已于2026.7.21发布更新包支持精准检测** **时间线** **Timeline** **06** **2026年7月27日 长亭安全应急响应中心发布通告**

优秀的个人博客,低调大师

微软官方发布 MSHTML 组件在野 0day 漏洞通告

报告编号:B6-2021-090801 报告来源:360CERT 报告作者:360CERT 更新日期:2021-09-08 1漏洞简述 2021年09月08日,微软官方发布了MSHTML组件的风险通告,漏洞编号为CVE-2021-40444,漏洞等级:高危,漏洞评分:8.8。 微软表示已经监测到该漏洞存在野利用。 对此,360CERT建议广大用户做好资产自查以及预防工作,以免遭受黑客攻击。 2相关组件 微软AcitveX控件是微软公司的COM架构下的产物,在Windows的Office套件、IE浏览器中有广泛的应用。利用ActiveX控件即可与MSL组件进行交互。 3漏洞状态 类别 状态 安全补丁 暂无 漏洞细节 暂无 poc 暂无 在野利用 已发现 相关安全事件 未发现 4风险等级 360CERT对该漏洞的评定结果如下 评定方式 等级 威胁等级 高危 影响面 广泛 攻击者价值 高 利用难度 高 360CERT评分 8.8 5漏洞详情 CVE-2021-40444: MSHTML代码执行漏洞 CVE: CVE-2021-40444 组件: MSHTML 漏洞类型: 代码执行 影响: 服务器接管 6影响版本 -Microsoft:MSHTML 7修复建议 临时修补建议 根据微软官方建议, 1. 创建一个有如下内容的.reg文件 Windows Registry Editor Version 5.00 [HKEY_LOCAL_MACHINE\SOFTWARE\Policies\Microsoft\Windows\CurrentVersion\Internet Settings\Zones\0] "1001"=dword:00000003 "1004"=dword:00000003 [HKEY_LOCAL_MACHINE\SOFTWARE\Policies\Microsoft\Windows\CurrentVersion\Internet Settings\Zones\1] "1001"=dword:00000003 "1004"=dword:00000003 [HKEY_LOCAL_MACHINE\SOFTWARE\Policies\Microsoft\Windows\CurrentVersion\Internet Settings\Zones\2] "1001"=dword:00000003 "1004"=dword:00000003 [HKEY_LOCAL_MACHINE\SOFTWARE\Policies\Microsoft\Windows\CurrentVersion\Internet Settings\Zones\3] "1001"=dword:00000003 "1004"=dword:00000003 2. 双击该.reg文件 3. 重启操作系统 8 时间线 2021-09-07微软发布安全通告 2021-09-08360CERT发布通告 9 参考链接 1、 Microsoft MSHTML Remote Code Execution Vulnerability https://msrc.microsoft.com/update-guide/vulnerability/CVE-2021-40444

优秀的个人博客,低调大师

微服务架构Day31-Dubbo之持续集成

Dubbo之GitLab Runner部署持续集成 概念 持续集成 使用GitLab持续集成 持续交付 持续部署 GitLab Runner GitLab CI GitLab Runner 使用Runner 概念 服务治理遇到的问题 在微服务项目中每个服务都是独立运行的项目 不可能对每个项目进行手动部署,涉及到自动化运维的问题 持续集成 持续集成(Continues Integration,简称CI) 持续集成指的是,频繁(一天多次)地将代码集成到主干,优点有两个: 快速发现错误: 每完成一点更新, 就集成到主干,可以快速发现错误,定位错误 防止分支大幅偏离主题: 如果不是经常集成,主干又在不断更新,会导致以后集成难度变大,甚至难以集成 持续集成强调:开发人员提交了新的代码之后,立即进行构建,(单元)测试,根据测试结果,确定新代码和原有代码能否集成到一起 与集成相关的概念还有持续交付和持续部署 使用GitLab持续集成 GitLab8.0以后,GitLab CI就已经集成在GitL中,只要在项目中添加一个 .gitlab-ci.yml文件,然后添加一个Runner,就可以进行持续集成 Pipeline Pipeline: 管道 ,一次Pipeline相当于一次构建任务,可以包含多个流程:安装依赖,运行测试,编译,部署测试服务器,部署生产服务器等流程 任何提交或者Merge Request的合并都可以触发Pipeline Stages Stages表示构建阶段,也就是上面的流程,可以在一次Pipeline中构建多个Stages,这些Stages的特点: 所有Stages会按照顺序运行: 即当一个Stage完成后,下一个Stage才会开始 只有当所有Stages完成后,该构建任务(Pipeline)才会成功 如果任何一个Stage失败,那么后续的Stages都不会执行,该构建任务(Pipeline)失败 Jobs Jobs表示构建工作,表示某个Stage里面执行的工作,可以在Stages里定义多个Jobs,这些Jobs特点: 相同Stage中的Jobs会并行执行 相同Stage中的Jobs都执行成功时,该Stage才会执行成功 如果任何一个Job失败,那么该Stage失败,即构建任务(Pipeline)失败 持续交付 持续交付(Continuous Delivery): 频繁地将软件的新版本,交付给质量团队或用户以供评审 评审通过,代码就进入生产阶段 持续交付是持续集成的下一步,强调的是:不管怎么更新,软件是随时随地可以交付的 持续交付是在持续集成的基础上,将集成后的代码部署到更接近真实运行环境的类生产环境(production-like environment)中 持续部署 持续部署(Continuous Deployment)是持续交付的下一步,指的是代码通过评审后,自动部署到生产环境 持续部署的目标: 代码在任何时刻都是可部署的,可进入生产阶段 持续部署的前提: 自动化完成测试,构建,部署等步骤 GitLab Runner GitLab CI 一般来说,构建任务会占用很多的系统资源(编译代码时),由于GitLab CI是GitLab的一部分,由GitLab CI来运行构建任务的化,GitLab的性能会大大下降 GitLab CI最大的作用: 是管理各个项目的构建状态 GitLab Runner GitLab Runner可以安装到不同的机器上,在构建任务运行期间不会影响GitL的性能 基于Docker安装GitLab Runner: 1.创建工作目录: /usr/local/docker/runner 2.创建构建目录: /usr/local/docker/runner/environment 3.下载jdk-8u152-linux-x64.tar.gz复制到/usr/local/docker/runner/environment 4.下载apache-maven-3.5.3-bin.tar.gz复制到/usr/local/docker/runner/environment daemon.json 1.在/usr/local/docker/runner/environment目录下创建daemon.json,用于配置加速器和仓库地址 ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- { "registry-mirrors":[ "https://registry.docker-cn.com" ], "insecure-registries":[ "127.0.0.1:5000" ] } ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- Dockerfile 1.在 /usr/local/docker/runner/environment目录下创建Dockerfile --------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- FROM gitlab/gitlab-runner MAINTAINER Lusifer <topsale@vip.qq.com> # 修改软件源 RUN echo 'deb http://mirrors.aliyun.com/ubuntu/ xenial main restricted universe multiverse' > /etc/apt/sources.list && \ echo 'deb http://mirrors.aliyun.com/ubuntu/ xenial-security main restricted universe multiverse' >> /etc/apt/sources.list && \ echo 'deb http://mirrors.aliyun.com/ubuntu/ xenial-updates main restricted universe multiverse' >> /etc/apt/sources.list && \ echo 'deb http://mirrors.aliyun.com/ubuntu/ xenial-backports main restricted universe multiverse' >> /etc/apt/sources.list && \ apt-get update -y && \ apt-get clean # 安装 Docker RUN apt-get -y install apt-transport-https ca-certificates curl software-properties-common && \ curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | apt-key add - && \ add-apt-repository "deb [arch=amd64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable" && \ apt-get update -y && \ apt-get install -y docker-ce COPY daemon.json /etc/docker/daemon.json # 安装 Docker Compose WORKDIR /usr/local/bin RUN wget https://raw.githubusercontent.com/topsale/resources/master/docker/docker-compose RUN chmod +x docker-compose # 安装 Java RUN mkdir -p /usr/local/java WORKDIR /usr/local/java COPY jdk-8u152-linux-x64.tar.gz /usr/local/java RUN tar -zxvf jdk-8u152-linux-x64.tar.gz && \ rm -fr jdk-8u152-linux-x64.tar.gz # 安装 Maven RUN mkdir -p /usr/local/maven WORKDIR /usr/local/maven # RUN wget https://raw.githubusercontent.com/topsale/resources/master/maven/apache-maven-3.5.3-bin.tar.gz COPY apache-maven-3.5.3-bin.tar.gz /usr/local/maven RUN tar -zxvf apache-maven-3.5.3-bin.tar.gz && \ rm -fr apache-maven-3.5.3-bin.tar.gz # COPY settings.xml /usr/local/maven/apache-maven-3.5.3/conf/settings.xml # 配置环境变量 ENV JAVA_HOME /usr/local/java/jdk1.8.0_152 ENV MAVEN_HOME /usr/local/maven/apache-maven-3.5.3 ENV PATH $PATH:$JAVA_HOME/bin:$MAVEN_HOME/bin WORKDIR / -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- docker-compose.yml 在 /usr/local/docker/runner 目录下创建 docker-compose.yml --------------------------------------------------------------------------------------------------------------------------------------------------------------------------- # 表示从 environment 目录下寻找 Dockerfile,即在Docker 里装 Docker version: '3.1' services: gitlab-runner: build: environment restart: always container_name: gitlab-runner privileged: true volumes: - ./config:/etc/gitlab-runner - /var/run/docker.sock:/var/run/docker.sock ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------ 构建镜像并启动 在/usr/local/docker/runner目录下执行: docker-compose build 注册 Runner 启动容器在/usr/local/docker/runner目录下执行命令启动: docker-compose up 进入容器自动执行注册流程,在/usr/local/docker/runner目录下执行(后面gitlab-runner register时脚本命令): docker exec -it gitlab-runner gitlab-runner register 打开 GitLab,进入持续集成设置界面 在交互式终端中填入 Git Lab 提供的 URL 和 token Please enter the gitlab-ci coordinator URL (e.g. https://gitlab.com/): http://192.168.1.21/ Please enter the gitlab-ci token for this runner: kTx_PUnx_hhy63pNJtqM Please enter the gitlab-ci description for this runner: [c77b5e39a2a6]: Please enter the gitlab-ci tags for this runner (comma separated): Registering runner... succeeded runner=kTx_PUnx Please enter the executor: docker, shell, ssh, docker-ssh+machine, docker+machine, kubernetes, docker-windows, docker-ssh, parallels, virtualbox: shell Runner registered successfully. Feel free to start it, but if it's running already the config should be automatically reloaded! docker exec -it gitlab-runner gitlab-runner register # 交互式配置说明: # 输入GitLab地址 Please enter the gitlab-ci coordinator URL(e.g. https://gitlab.com/) http://192.168.32.255/ # 输入GitLab Token Please enter the gitlab-ci token for this runner: kTx_PUnx_hhy63pNJtqM # 输入Runner的说明 Please enter the gitlab-ci description for this runner: 可以不填为空 # 设置Tag,用于指定在构建规定的tag时触发ci,如果不设置,默认每次都会触发ci Please enter the gitlab-ci tags for this runner (comma separate): deploy # 这里选择true,用于代码上传后直接执行 Whether to run utagged builds [true/false]: true # 这里选择false,可以直接回车,默认false Whether to lock Runner to current project [true/false]: false # 选择runner执行器,这里选择shell Please enter the executor: virtualbox,docker+machine,parallels,shell,ssh,docker-ssh+machine,kubernetes,docker,docker-ssh: shell 使用Runner 在项目工程下编写 .gitlab-ci.yml文件: stages: - install_deps - test - build - deploy_test - deploy_production cache: key: ${CI_BUILD_REF_NAME} paths: - node_modules/ - dist/ # 安装依赖 install_deps: stage: install_deps only: - develop - master script: - npm install # 运行测试用例 test: stage: test only: - develop - master script: - npm run test # 编译 build: stage: build only: - develop - master script: - npm run clean - npm run build:client - npm run build:server # 部署测试服务器 deploy_test: stage: deploy_test only: - develop script: - pm2 delete app || true - pm2 start app.js --name app # 部署生产服务器 deploy_production: stage: deploy_production only: - master script: - bash scripts/deploy/deploy.sh 提交项目之后,就会执行Runner 在项目工程下创建docker文件夹,创建Dockerfile FROM openjdk:8-jre MAINTAINER Chova # 环境变量 ENV APP_VERSION 1.0.0-SNAPSHOT # Docker插件,用来检测依赖项,只有依赖项启动才会启动 ENV DOCKERIZE_VERSION v0.6.1 RUN wget https://github.com/jwilder/dockerize/release/download/$DOCKERIZE_VERSION/dockerize-linux-amd64-$DOCKERIZE_VERSION.tar.gz \ && tar -C /usr/local/bin -xzvf dockerize-linux-amd64-$DOCKERIZE_VERSION.tar.gz \ && rm dockerize-linux-amd64-$DOCKERIZE_VERSION.tar.gz RUN mkdir /app COPY myshop-service-user-provider-$APP_VERSION.jar /app/app.jar ENTRYPOINT ["dockerize", "-timeout", "5m", "-wait", "tcp://192.168.32.255.131:3306", "java", "-Djava.security.egd=file:/dev/./urandom", "-jar", "/app/app.jar"] EXPOSE 8501 Dockerfile: --------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- FROM openjdk:8-jdk-alpine VOLUME /tmp ARG JAR_FILE COPY ${JAR_FILE} app.jar ENTRYPOINT ["java","-jar","/app.jar"] --------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- 1.FROM: 这是引入一个父镜像,在此基础上进行添加只读层.镜像可以理解成由一层层只读层组成, FORM下面的命令,可以理解就是在已有的只读层,添加只读层.FORM可以有多个,但最上面的一定是FROM命令 2.VOLUME: 配置一个具有持久化功能的目录,主机 /var/lib/docker 目录下创建了一个临时文件,并链接到容器的/tmp.该步骤是可以省略的 默认情况下,容器不使用任何 volume,此时,容器的数据被保存在容器之内,它只在容器的生命周期内存在,会随着容器的被删除而被删除 如果不想在容器删除后,容器的数据也被删除,那么就可以指定持久化目录.它被设计用来保存数据,而不管容器的生命周期.因此,当你删除一个容器时,Docker不会自动地删除一个volume 3.ARG:设置编译镜像时加入的参数,可以省略 4.COPY:只支持将本地文件复制到容器,还有个ADD更强大但复杂点 5.ENTRYPOINT:容器启动时执行的命令 删除所有为的镜像 docker rmi $(docker images -q -f dangling=true) 在docker-compose.yml中配置默认使用已经存在的网络 version: '3.1' services: myshop-service-user-provider: image: 192.168.32.255:5000/myshop-service-user-provider:v1.0.0 container_name: myshop-service-user-provider ports: - 8501:8501 - 22222:22222 - 20881:20881 # 配置容器连接的网络 networks: default: external: name: dubbo

优秀的个人博客,低调大师

Linux基础-day23-Linux系统磁盘阵列raid

Linux系统磁盘阵列raid 一. raid磁盘阵列概述 raid(Redundant Array of Independent Disk),独立冗余磁盘阵列。其方式是将多块独立的磁盘按照不同的方式组合成一个逻辑磁盘,从而提高存储容量,提升存储性能或提供数据备份功能。 raid分为软件raid和硬件raid两种。软件raid可以实现硬件raid相同的功能,但是没有独立的硬件控制功能,性能不如硬件raid,但是实现简单。硬件raid有独立的硬件设备。硬件raid通常需要raid卡,raid卡本身会有独立的控制件和内存,不占用系统资源,效率高,性能强。市面上很多主板已集成raid卡。 二、raid级别 2.1 raid0(不含效验与冗余的条带存储) 多块磁盘组合为raid0后,数据被分割并分别写入多块硬盘,所以能最大的提升存储性能和存储空间,但无法容错,raid0至少需要2块硬盘,不要求磁盘容量相同。 优点:磁盘使用率100%,磁盘容量为所有磁盘总容量。 缺点:无校验与备份,有一块磁盘损坏,即磁盘中的任意一个数块损坏就将导致整个文件无法读取。 如下图:数据data1与data2被分别写入两块不同磁盘。其他依此类推。 2.2 raid1(不含校验的镜像存储) 多块磁盘组合为raid1后,数据被同时写入每块硬盘,raid1至少需要2块硬盘,该级别的raid1只要有一块磁盘可用,即可正常工作,该级别的阵列安全性最好,磁盘利用率最低,要求磁盘容量相同。 优点:安全性最高。 缺点:写入速率低,磁盘使用率低。如果使用两块磁盘,容量为一块大小。资源浪费,成本高。总容量n/2*s。(n为磁盘数量;s为磁盘大小). 如下图:数据data1同时写入两块磁盘。其他数据依此类推。 2.3 raid2(位级别的效验式条带存储) 多块磁盘组合为raid2后,数据以位(bit)单位同步式分别存储在不同硬盘上,并采用海明码(海明码是一种具有纠错功能的校验码)对数据进行校验与恢复。至少需要3块硬盘。要求磁盘大小相同,总容量为(n-1)*s(n为磁盘数量;s为磁盘大小)。 优点:允许3块盘中,任何一块损坏,可通过未损坏的2块磁盘数据进行运算还原已损坏磁盘的数据。对大数据读写性能较高。 缺点:对少量数据读写性能较差。 如下图所示:有数据存入raid2,该数据被分为数据位,分别同步写入不同的磁盘,数据data1、data2进行海明码运算后写入校验盘,其他数据以此类。 2.4 raid5(数据块级别的分布式校验条带存储) 多块磁盘组合为raid5后,数据以块(block)单位同步式分别存储在不同硬盘上,并采用海明码(海明码是一种具有纠错功能的校验码)对数据进行校验与恢复,其海明码被写入不同的磁盘。至少需要3块硬盘。要求磁盘大小相同,总容量为(n-1)*s(n为磁盘数量;s为磁盘大小)。 优点:容错,允许坏一块。 2.5 raid6 raid6是再raid5的基础上为了加强数据保护而设计的。可允许损坏2块硬盘。总容量为(n-2)*s(n为磁盘数量;s为磁盘大小). 2.6 raid10(镜像与条带存储) raid10是有raid0与raid1结合而成,raid10既有raid0的快速高效,同时有raid1的数据安全。raid10至少需要4块硬盘.raid10通常有两种组合方式,raid0+1或raid1+0.raid1+0,首先使用4块硬盘组合成两个独立的raid1,然后将两个raid1组合为1个raid0. 优点:兼顾安全性和速度,允许2块故障。 缺点:raid10磁盘利用率低,只有50%。 如下图:raid1+0方式 三、软raid创建与管理 3.1 Mdadm命令详解 madam是用于创建和管理软件RAID的命令,Linux内核中有一个md(multiple devices)模块在底层管理RAID设备,它会在应用层给我们提供一个应用程序的工具mdadm。 详细参数: -a:检测设备名称 -n:指定设备数量 -l:指定RAID级别 -C:创建 -v:显示过程 -f:模拟设备损坏 -r:移除设备 -Q:查看摘要信息 -D:查看详细信息 -S:停止RAID磁盘阵列 -x:热备盘个数 3.2创建raid5(3块硬盘) Linux中创建软raid,可以将硬盘直接进行raid创建,也可以对硬盘进行分区,指定不同的分区创建不同级别的raid。 (1)安装mdadm命令 [root@localhost ~]# yum -y install mdadm (2)查看磁盘信息(fdisk -l) [root@localhost ~]# ls /dev/sd* /dev/sda /dev/sda1 /dev/sda2 /dev/sdb /dev/sdc /dev/sdd [root@localhost ~]# partprobe /dev/sd* (3)创建raid5(无备用盘) [root@localhost ~]# mdadm -Cv /dev/md0 -l 5 -n 3 /dev/sd{b,c,d} mdadm: layout defaults to left-symmetric mdadm: layout defaults to left-symmetric mdadm: chunk size defaults to 512K mdadm: size set to 5238784K mdadm: Defaulting to version 1.2 metadata mdadm: array /dev/md0 started. [root@localhost ~]# 有备用盘创建: [root@localhost ~]# mdadm -Cv /dev/md0 -l 5 -n 3 -x 1 /dev/sd{b,c,d,e} (4)查看已创建的raid5信息 [root@localhost ~]# mdadm -D /dev/md0 /dev/md0: Version : 1.2 Creation Time : Sat Mar 21 20:45:38 2020 Raid Level : raid5 Array Size : 10477568 (9.99 GiB 10.73 GB) Used Dev Size : 5238784 (5.00 GiB 5.36 GB) Raid Devices : 3 Total Devices : 3 Persistence : Superblock is persistent Update Time : Sat Mar 21 20:46:05 2020 State : clean Active Devices : 3 Working Devices : 3 Failed Devices : 0 Spare Devices : 0 Layout : left-symmetric Chunk Size : 512K Name : localhost.localdomain:0 (local to host localhost.localdomain) UUID : c6fa3589:6ab1babb:213f4b64:a5c5f1c7 Events : 18 Number Major Minor RaidDevice State 0 8 16 0 active sync /dev/sdb 1 8 32 1 active sync /dev/sdc 3 8 48 2 active sync /dev/sdd [root@localhost ~]# (5)格式化raid5 [root@localhost ~]# mkfs.xfs /dev/md0 meta-data=/dev/md0 isize=512 agcount=16, agsize=163712 blks = sectsz=512 attr=2, projid32bit=1 = crc=1 finobt=0, sparse=0 data = bsize=4096 blocks=2619392, imaxpct=25 = sunit=128 swidth=256 blks naming =version 2 bsize=4096 ascii-ci=0 ftype=1 log =internal log bsize=4096 blocks=2560, version=2 = sectsz=512 sunit=8 blks, lazy-count=1 realtime =none extsz=4096 blocks=0, rtextents=0 [root@localhost ~]# (6)挂载 [root@localhost ~]# mkdir /tmp/test [root@localhost ~]# mount /dev/md0 /tmp/test (7)模拟磁盘损坏 [root@localhost ~]# mdadm /dev/md0 -f /dev/sdb mdadm: set /dev/sdb faulty in /dev/md0 [root@localhost ~]# mdadm -D /dev/md0 /dev/md0: Version : 1.2 Creation Time : Sat Mar 21 20:45:38 2020 Raid Level : raid5 Array Size : 10477568 (9.99 GiB 10.73 GB) Used Dev Size : 5238784 (5.00 GiB 5.36 GB) Raid Devices : 3 Total Devices : 3 Persistence : Superblock is persistent Update Time : Sat Mar 21 20:59:03 2020 State : clean, degraded Active Devices : 2 Working Devices : 2 Failed Devices : 1 Spare Devices : 0 Layout : left-symmetric Chunk Size : 512K Name : localhost.localdomain:0 (local to host localhost.localdomain) UUID : c6fa3589:6ab1babb:213f4b64:a5c5f1c7 Events : 20 Number Major Minor RaidDevice State - 0 0 0 removed 1 8 32 1 active sync /dev/sdc 3 8 48 2 active sync /dev/sdd 0 8 16 - faulty /dev/sdb [root@localhost ~]# (8)raid性能测试 radi5写入模拟:进入挂载目录/tmp/test [root@localhost test]# time dd if=/dev/zero of=text bs=1M count=1000 记录了1000+0 的读入 记录了1000+0 的写出 1048576000字节(1.0 GB)已复制,3.92296 秒,267 MB/秒 real 0m3.991s user 0m0.000s sys 0m2.492s [root@localhost test]# 正常硬盘测试: [root@localhost tmp]# time dd if=/dev/zero of=text bs=1M count=1000 记录了1000+0 的读入 记录了1000+0 的写出 1048576000字节(1.0 GB)已复制,18.7634 秒,55.9 MB/秒 real 0m19.160s user 0m0.010s sys 0m1.910s [root@localhost tmp]# 公众号:

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

用户登录
用户注册
修改密码
忘记密码