go-zero微服务实战系列（八、如何处理每秒上万次的下单请求）-低调大师

go-zero微服务实战系列（八、如何处理每秒上万次的下单请求）

2022-06-30 396

在前几篇的文章中，我们花了很大的篇幅介绍如何利用缓存优化系统的读性能，究其原因在于我们的产品大多是一个读多写少的场景，尤其是在产品的初期，可能多数的用户只是过来查看商品，真正下单的用户非常少。但随着业务的发展，我们就会遇到一些高并发写请求的场景，秒杀抢购就是最典型的高并发写场景。在秒杀抢购开始后用户就会疯狂的刷新页面让自己尽早的看到商品，所以秒杀场景同时也是高并发读场景。那么应对高并发读写场景我们怎么进行优化呢？

处理热点数据

秒杀的数据通常都是热点数据，处理热点数据一般有几种思路：一是优化，二是限制，三是隔离。

优化

优化热点数据最有效的办法就是缓存热点数据，我们可以把热点数据缓存到内存缓存中。

限制

限制更多的是一种保护机制，当秒杀开始后用户就会不断地刷新页面获取数据，这时候我们可以限制单用户的请求次数，比如一秒钟只能请求一次，超过限制直接返回错误，返回的错误尽量对用户友好，比如 "店小二正在忙" 等友好提示。

隔离

秒杀系统设计的第一个原则就是将这种热点数据隔离出来，不要让1%的请求影响到另外的99%，隔离出来后也更方便对这1%的请求做针对性的优化。具体到实现上，我们需要做服务隔离，即秒杀功能独立为一个服务，通知要做数据隔离，秒杀所调用的大部分是热点数据，我们需要使用单独的Redis集群和单独的Mysql，目的也是不想让1%的数据有机会影响99%的数据。

流量削峰

针对秒杀场景，它的特点是在秒杀开始那一刹那瞬间涌入大量的请求，这就会导致一个特别高的流量峰值。但最终能够抢到商品的人数是固定的，也就是不管是100人还是10000000人发起请求的结果都是一样的，并发度越高，无效的请求也就越多。但是从业务角度来说，秒杀活动是希望有更多的人来参与的，也就是秒杀开始的时候希望有更多的人来刷新页面，但是真正开始下单时，请求并不是越多越好。因此我们可以设计一些规则，让并发请求更多的延缓，甚至可以过滤掉一些无效的请求。

削峰本质上是要更多的延缓用户请求的发出，以便减少和过滤掉一些无效的请求，它遵从请求数要尽量少的原则。我们最容易想到的解决方案是用消息队列来缓冲瞬时的流量，把同步的直接调用转换成异步的间接推送，中间通过一个队列在一端承接瞬时的流量洪峰，在另一端平滑的将消息推送出去，如下图所示：

采用消息队列异步处理后，那么秒杀的结果是不太好同步返回的，所以我们的思路是当用户发起秒杀请求后，同步返回响应用户 "秒杀结果正在计算中..." 的提示信息，当计算完之后我们如何返回结果给用户呢？其实也是有多种方案的。

一是在页面中采用轮询的方式定时主动去服务端查询结果，例如每秒请求一次服务端看看有没有处理结果，这种方式的缺点是服务端的请求数会增加不少。
二是主动push的方式，这种就要求服务端和客户端保持长连接了，服务端处理完请求后主动push给客户端，这种方式的缺点是服务端的连接数会比较多。

还有一个问题就是如果异步的请求失败了该怎么办？我觉得对于秒杀场景来说，失败了就直接丢弃就好了，最坏的结果就是这个用户没有抢到而已。如果想要尽量的保证公平的话，那么失败了以后也可以做重试。

如何保证消息只被消费一次

kafka是能够保证"At Least Once"的机制的，即消息不会丢失，但有可能会导致重复消费，消息一旦被重复消费那么就会造成业务逻辑处理的错误，那么我们如何避免消息的重复消费呢？

我们只要保证即使消费到了重复的消息，从消费的最终结果来看和只消费一次的结果等同就好了，也就是保证在消息的生产和消费的过程是幂等的。什么是幂等呢？如果我们消费一条消息的时候，要给现有的库存数量减1，那么如果消费两条相同的消息就给库存的数量减2，这就不是幂等的。而如果消费一条消息后处理逻辑是将库存的数量设置为0，或者是如果当前库存的数量为10时则减1，这样在消费多条消息时所得到的结果就是相同的，这就是幂等的。说白了就是一件事无论你做多少次和做一次产生的结果都是一样的，那么这就是幂等性。

我们可以在消息被消费后，把唯一id存储在数据库中，这里的唯一id可以使用用户id和商品id的组合，在处理下一条消息之前先从数据库中查询这个id看是否被消费过，如果消费过就放弃。伪代码如下：

isConsume := getByID(id)
if isConsume {
  return  
} 
process(message)
save(id)

还有一种方式是通过数据库中的唯一索引来保证幂等性，不过这个要看具体的业务，在这里不再赘述。

代码实现

整个秒杀流程图如下：

使用kafka作为消息队列，所以要先在本地安装kafka，我使用的是mac可以用homebrew直接安装，kafka依赖zookeeper也会自动安装

brew install kafka

安装完后通过brew services start启动zookeeper和kafka，kafka默认侦听在9092端口

brew services start zookeeper

brew services start kafka

seckill-rpc的SeckillOrder方法实现秒杀逻辑，我们先限制用户的请求次数，比如限制用户每秒只能请求一次，这里使用go-zero提供的PeriodLimit功能实现，如果超出限制直接返回

code, _ := l.limiter.Take(strconv.FormatInt(in.UserId, 10))
if code == limit.OverQuota {
  return nil, status.Errorf(codes.OutOfRange, "Number of requests exceeded the limit")
}

接着查看当前抢购商品的库存，如果库存不足就直接返回，如果库存足够的话则认为可以进入下单流程，发消息到kafka，这里kafka使用go-zero提供的kq库，非常简单易用，为秒杀新建一个Topic，配置初始化和逻辑如下：

Kafka:
  Addrs:
    - 127.0.0.1:9092
  SeckillTopic: seckill-topic

KafkaPusher: kq.NewPusher(c.Kafka.Addrs, c.Kafka.SeckillTopic)

p, err := l.svcCtx.ProductRPC.Product(l.ctx, &product.ProductItemRequest{ProductId: in.ProductId})
if err != nil {
  return nil, err
}
if p.Stock <= 0 {
  return nil, status.Errorf(codes.OutOfRange, "Insufficient stock")
}
kd, err := json.Marshal(&KafkaData{Uid: in.UserId, Pid: in.ProductId})
if err != nil {
  return nil, err
}
if err := l.svcCtx.KafkaPusher.Push(string(kd)); err != nil {
  return nil, err
}

seckill-rmq消费seckill-rpc生产的数据进行下单操作，我们新建seckill-rmq服务，结构如下：

tree ./rmq

./rmq
├── etc
│   └── seckill.yaml
├── internal
│   ├── config
│   │   └── config.go
│   └── service
│       └── service.go
└── seckill.go

4 directories, 4 files

依然是使用kq初始化启动服务，这里我们需要注册一个ConsumeHand方法，该方法用以消费kafka数据

srv := service.NewService(c)
queue := kq.MustNewQueue(c.Kafka, kq.WithHandle(srv.Consume))
defer queue.Stop()

fmt.Println("seckill started!!!")
queue.Start()

在Consume方法中，消费到数据后先反序列化，然后调用product-rpc查看当前商品的库存，如果库存足够的话我们认为可以下单，调用order-rpc进行创建订单操作，最后再更新库存

func (s *Service) Consume(_ string, value string) error {
  logx.Infof("Consume value: %s\n", value)
  var data KafkaData
  if err := json.Unmarshal([]byte(value), &data); err != nil {
    return err
  }
  p, err := s.ProductRPC.Product(context.Background(), &product.ProductItemRequest{ProductId: data.Pid})
  if err != nil {
    return err
  }
  if p.Stock <= 0 {
    return nil
  }
  _, err = s.OrderRPC.CreateOrder(context.Background(), &order.CreateOrderRequest{Uid: data.Uid, Pid: data.Pid})
  if err != nil {
    logx.Errorf("CreateOrder uid: %d pid: %d error: %v", data.Uid, data.Pid, err)
    return err
  }
  _, err = s.ProductRPC.UpdateProductStock(context.Background(), &product.UpdateProductStockRequest{ProductId: data.Pid, Num: 1})
  if err != nil {
    logx.Errorf("UpdateProductStock uid: %d pid: %d error: %v", data.Uid, data.Pid, err)
    return err
  }
  // TODO notify user of successful order placement
  return nil
}

在创建订单过程中涉及到两张表orders和orderitem，所以我们要使用本地事务进行插入，代码如下：

func (m *customOrdersModel) CreateOrder(ctx context.Context, oid string, uid, pid int64) error {
  _, err := m.ExecCtx(ctx, func(ctx context.Context, conn sqlx.SqlConn) (sql.Result, error) {
    err := conn.TransactCtx(ctx, func(ctx context.Context, session sqlx.Session) error {
      _, err := session.ExecCtx(ctx, "INSERT INTO orders(id, userid) VALUES(?,?)", oid, uid)
      if err != nil {
        return err
      }
      _, err = session.ExecCtx(ctx, "INSERT INTO orderitem(orderid, userid, proid) VALUES(?,?,?)", "", uid, pid)
      return err
    })
    return nil, err
  })
  return err
}

订单号生成逻辑如下，这里使用时间加上自增数进行订单生成

var num int64

func genOrderID(t time.Time) string {
  s := t.Format("20060102150405")
  m := t.UnixNano()/1e6 - t.UnixNano()/1e9*1e3
  ms := sup(m, 3)
  p := os.Getpid() % 1000
  ps := sup(int64(p), 3)
  i := atomic.AddInt64(&num, 1)
  r := i % 10000
  rs := sup(r, 4)
  n := fmt.Sprintf("%s%s%s%s", s, ms, ps, rs)
  return n
}

func sup(i int64, n int) string {
  m := fmt.Sprintf("%d", i)
  for len(m) < n {
    m = fmt.Sprintf("0%s", m)
  }
  return m
}

最后分别启动product-rpc、order-rpc、seckill-rpc和seckill-rmq服务还有zookeeper、kafka、mysql和redis，启动后我们调用seckill-rpc进行秒杀下单

grpcurl -plaintext -d '{"user_id": 111, "product_id": 10}' 127.0.0.1:9889 seckill.Seckill.SeckillOrder

在seckill-rmq中打印了消费记录，输出如下

{"@timestamp":"2022-06-26T10:11:42.997+08:00","caller":"service/service.go:35","content":"Consume value: {\"uid\":111,\"pid\":10}\n","level":"info"}

这个时候查看orders表中已经创建了订单，同时商品库存减一

结束语

本质上秒杀是一个高并发读和高并发写的场景，上面我们介绍了秒杀的注意事项以及优化点，我们这个秒杀场景相对来说比较简单，但其实也没有一个通用的秒杀的框架，我们需要根据实际的业务场景进行优化，不同量级的请求优化的手段也不尽相同。这里我们只展示了服务端的相关优化，但对于秒杀场景来说整个请求链路都是需要优化的，比如对于静态数据我们可以使用CDN做加速，为了防止流量洪峰我们可以在前端设置答题功能等等。

希望本篇文章对你有所帮助，谢谢。

每周一、周四更新

代码仓库: https://github.com/zhoushuguang/lebron

项目地址

https://github.com/zeromicro/go-zero

https://gitee.com/kevwan/go-zero

欢迎使用 go-zero 并 star 支持我们！

微信交流群

关注『微服务实践』公众号并点击 交流群 获取社区群二维码。

微信关注我们

原文链接：https://my.oschina.net/kevwan/blog/5547173

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

运动App如何实现端侧后台保活，让运动记录更完整？

你在锻炼健身时，有没有遇到这样的情况？辛辛苦苦锻炼了几小时，却发现App停止了运行，本次运动并没有被记录到App上，从而失去了一个查看完整运动数据的机会？运动类App是通过手机或者穿戴设备的传感器，来识别运动状态并反馈给用户的，App能否在手机后台时刻保持运行是影响运动数据完整性的关键因素。为了满足用户查看完整运动数据的需求，运动类App都希望在设备后台保活，并通过传感器实时记录用户的运动数据。但大部分手机厂商为了节省电量，一旦应用处于后台就会被系统限制甚至强制关闭，导致最终呈现给用户的运动记录不完整。运动类App要想实现端侧后台保活，目前通常有两种解决办法：引导用户在手机上手动设置保活，如关闭电池优化，允许App后台运行。这种方法缺点在于操作步骤较复杂，用户学习成本较高。可以通过集成华为运动健康服务来解决此问题，运动健康服务提供支持后台保活的运动记录API，集成该能力后应用能够在用户的锻炼过程中在华为手机后台保持运行，从而实现用户锻炼过程中的运动记录不间断。那如何实现后台保活功能呢？以下是详细的集成步骤。集成步骤请参考开发准备完成申请Health Kit服务，勾选产品必...

2022-06-30

443

CNCF在云原生的定义[1]中，将可观测性（Observability）明确为一项必备要素。因此，使用云原生应用架构，享受其带来的效率提升时，不得不面对的是如何构建匹配的可观测性能力。发展到今日，可观测性在开源和商业上已经有了大量的解决方案拼图，CNCF Cloud Native Landscape[2]中相关内容更是多达上百个。本文总结了可观测性能力的成熟度模型，希望能为组织选择适合自身的可观测性方案提供指导。 1.0| 支柱：基础的可观测性时间回到2017年，Peter Bourgon一篇博文总结了可观测性的三大支柱：指标（Metrics）、追踪（Tracing）、日志（Logging）[3]。此后几年间这个观点受到了业内的广泛认可，发展为对可观测性能力的基本要求，并且每一个方面都有了众多成熟的解决方案。例如，开源组件中就有聚焦于Metrics的Prometheus、Telegraf、InfluxDB、Grafana等，聚焦于Tracing的Skywalking、Jaeger、OpenTracing等，聚焦于Logging的Logstash、Elasticsearch、Loki等...

2022-06-30

508

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。