Janus WebRTC网关技术架构分享

 # **Janus WebRTC网关** Janus是由Meetecho开发的通用WebRTC服务器，提供了一个用于构建 WebRTC 应用程序的模块化框架。本文档对 Janus WebRTC Gateway 的架构、核心组件及其交互方式进行了高层次概述。  **主要特性:** - 模块化架构：将核心 WebRTC 功能与特定于应用的逻辑分离。 - 轻量级核心：使用 C 语言编写，占用资源小。 - 插件系统：可通过插件扩展，适用于各种应用（视频会议、流媒体、SIP 网关-集成FreeSWITCH等开源SIP软交换）。 - 多种传输机制：支持 HTTP/REST、WebSockets、RabbitMQ、MQTT、Nanomsg 和 Unix 套接字。 - 会话管理：处理连接、WebRTC 会话和插件附加。 - 媒体处理：处理媒体协商、编码和传输。 - 录制功能：支持通过 .mjr 文件和后处理工具录制 WebRTC 会话。 --- # **概述** Janus 是由 Meetecho 开发的通用 WebRTC 服务器，提供了一个用于构建 WebRTC 应用程序的模块化框架。本文档提供了 Janus WebRTC 网关架构的高级概述、其核心组件以及它们之间的交互方式。 ## **目的和范围** Janus WebRTC 网关设计目标为一个轻量级的通用 WebRTC 服务器，除了实现以下功能外，本身不提供任何其他功能： - • 与浏览器建立 WebRTC 媒体通信 - • 在客户端和服务器之间交换 JSON 消息 - • 在浏览器和服务器端应用程序逻辑之间中继 RTP/RTCP 和消息 实际功能是在服务器端插件中实现的，浏览器通过 Janus 核心连接到这些插件。这种模块化架构允许占用很小的空间，同时提供最大的灵活性。 ## **主要特性** - • **模块化架构**：将核心 WebRTC 功能与应用特定逻辑分离 - • **轻量级核心**：用 C 编写，占用空间小 - • **插件系统**：可通过各种应用程序插件扩展（视频会议、流媒体、SIP 网关等） - • **多种传输机制**：支持 HTTP/REST、WebSockets、RabbitMQ、MQTT、Nanomsg 和 Unix 套接字 - • **会话管理**：处理连接、WebRTC 会话和插件附加 - • **媒体处理**：处理媒体协商、编码和传输 - • **录制功能**：支持通过 `.mjr` 文件录制 WebRTC 会话和后处理工具 ## **高级架构** ### **Janus 系统架构** 插件层 Janus 核心 传输层 客户端应用程序 Web 浏览器 移动应用程序 自定义客户端 libjanus_http.so libjanus_websockets.so libjanus_mqtt.so libjanus_rabbitmq.so libjanus_nanomsg.so libjanus_unixsockets.so janus_session janus_ice_handle WebRTC 栈(libnice, OpenSSL, libsrtp) libjanus_videoroom.so libjanus_audiobridge.so libjanus_streaming.so libjanus_sip.so libjanus_echotest.so libjanus_textroom.so libjanus_recordplay.so ## **核心组件和流程** ### **核心组件和交互流程** 应用程序插件 Janus 核心逻辑 传输插件 JSON API janus_transport janus_session_find janus_plugin_push_event janus_ice_setup_connectivity DTLS 握手 密钥交换 janus_plugin_incoming_rtp janus_plugin_incoming_data 客户端应用程序 janus_transport_callbacks janus_session janus_ice_handle libnice (ICE) OpenSSL (DTLS) libsrtp (SRTP) usrsctp (数据通道) janus_plugin_callbacks ### **会话和句柄关系** Janus 通过分层结构组织客户端连接： 1. 1. **会话**：表示从客户端到网关的连接。会话由唯一的 `session_id` 标识。 1. 2. **句柄**：在会话中，客户端创建句柄以附加到特定插件。句柄是特定应用程序用例的上下文（例如，特定的 VideoRoom）。 1. 3. **对等连接**：每个句柄管理自己的 WebRTC 对等连接，包括 ICE 代理、DTLS 状态和 SRTP 密钥。 这种架构允许单个客户端通过在单个会话中维护多个句柄来同时与多个插件交互。 ## **会话生命周期** Janus 会话的典型生命周期包括： 1. 1. **会话创建**：客户端通过传输连接并发送 `create` 请求。 1. 2. **插件附加**：客户端发送 `attach` 请求指定插件（例如 `janus.plugin.videoroom`）。 1. 3. **媒体协商**：客户端和插件通过核心交换 JSEP（JavaScript 会话建立协议）消息（SDP 提供/应答）。 1. 4. **媒体交换**：一旦对等连接建立，RTP/RTCP 或数据通道数据包开始流动。 1. 5. **会话终止**：句柄被分离，会话通过 `destroy` 请求或超时被销毁。 ### **媒体交换期间的数据流** "媒体栈 (libnice/libsrtp)""插件 (例如 libjanus_videoroom.so)""Janus 核心 (janus.c)""传输 (例如 libjanus_websockets.so)""WebRTC 客户端""媒体栈 (libnice/libsrtp)""插件 (例如 libjanus_videoroom.so)""Janus 核心 (janus.c)""传输 (例如 libjanus_websockets.so)""WebRTC 客户端"ICE/DTLS 连接已建立创建会话janus_session_create()session_id附加插件janus_ice_handle_create()init() / create_handle()handle_idSDP 提供 (JSEP)janus_ice_handle_process_jsep()handle_message()janus_plugin_push_event(SDP 应答)nice_agent_gather_candidates()发送应答SDP 应答加密的 RTP解密 (SRTP)incoming_rtp()中继/处理relay_rtp()加密 (SRTP)加密的 RTP ## **插件系统** Janus 提供了一个插件架构，允许开发人员在不修改核心的情况下实现各种 WebRTC 应用程序。插件是在运行时加载的共享对象。其包含的核心插件： - • **VideoRoom**：用于视频会议的 SFU（选择性转发单元） - • **AudioBridge**：用于会议的音频混音器 - • **Streaming**：允许向 WebRTC 客户端广播 RTP/RTSP/HLS 流 - • **SIP**：到传统 SIP/VoIP 网络的网关，对接FreeSWITCH 模块 - • **TextRoom**：基于数据通道的聊天 - • **Lua/Duktape**：允许用脚本语言编写插件逻辑  ## **传输层** 传输层是可插拔的，允许通过各种协议控制 Janus： - • **HTTP/REST**：Web 集成的默认选项（`libmicrohttpd`） - • **WebSockets**：双向低延迟控制（`libwebsockets`） - • **消息队列**：通过 RabbitMQ 或 MQTT 与后端系统集成 - • **Unix 套接字**：高性能本地控制 ## **结论** Janus WebRTC网关通过其模块化架构为构建 WebRTC 应用程序提供了灵活的框架。通过将 WebRTC 功能（核心）与应用程序逻辑（插件）和通信机制（传输）分离，Janus使开发人员能够专注于构建其特定应用程序，而无需处理底层WebRTC栈的复杂性。 参考资料： https://www.januscon.it/2019/slides/LucaPradovera-JanusCon.pdf

Kiro 技术功能与案例分析

### 1. 什么是 Kiro？ Kiro 是一个面向现代开发团队的轻量级、高性能的**任务编排与自动化引擎**。它借鉴了工作流引擎的设计理念，但又避免了传统 BPMN 的重型配置，专注于用简洁的 YAML 描述将多个工具、脚本和 API 串联成可靠的自动化流水线。无论是 CI/CD 中的复杂部署流程，还是数据处理中的 ETL 管道，Kiro 都能以极低的接入成本提供可观测、可重试、可回滚的编排能力。 #### 1.1 快速安装与体验 Kiro 提供了官方 Docker 镜像，一行命令即可在本地启动全套环境。首先启动 Kiro Server： ``` docker run -d --name kiro-server -p 8080:8080 kiroplatform/server:latest ``` 随后启动至少一个 Agent 并注册到 Server： ``` docker run -d --name kiro-agent --network host kiroplatform/agent:latest --server localhost:8080 ``` 如果一切正常，打开浏览器访问 `http://localhost:8080` 就能看到 Kiro Dashboard 的登录界面。接下来，我们创建一个最简单的 `pipeline.yaml` 来验证安装是否成功（默认以 Shell Runner 执行）： ``` name: hello-world steps: - id: greet run: echo "Hello, Kiro!" ``` 将上述内容保存为 `hello-world.yaml`，然后通过 CLI 提交执行： ``` kiro run hello-world.yaml ``` 命令执行后，CLI 会实时输出流水线状态和日志；同时你也可以在 Dashboard 的「执行历史」中看到刚刚触发的 **hello-world** 任务，点击进入即可查看每一步的完整日志、耗时和退出码。如果日志中出现 `Hello, Kiro!` 且状态为 **Success**，说明你的 Kiro 环境已经准备就绪，可以开始构建更复杂的自动化流水线了。 ### 2. Kiro 核心功能 Kiro 的设计围绕四个核心理念：**声明式编排**、**多运行时适配**、**状态可观测**和**断点续跑**。 #### 2.1 声明式流水线定义 所有任务流通过一个 `pipeline.yaml` 文件描述，无需编写胶水代码。下面是一个简单的部署流水线示例： ``` name: deploy-to-staging steps: - id: build run: docker build -t myapp:latest . - id: push run: docker push registry.example.com/myapp:latest depends_on: [build] - id: deploy run: kubectl apply -f k8s/staging.yaml depends_on: [push] retry: 3 timeout: 300s ``` Kiro 自动解析 `depends_on` 构建 DAG，并发执行无依赖步骤，并严格管理执行顺序。 #### 2.2 多运行时适配 Kiro 不限制运行环境，支持多种 **Runner** 插件： - **Shell Runner**：直接在本地或远程主机执行 Shell 命令。 - **Docker Runner**：在容器内运行，自动管理镜像拉取与资源限制。 - **Kubernetes Runner**：创建临时 Job 执行任务，天然适合云原生场景。 - **HTTP Runner**：调用外部 API，并支持响应校验和变量提取。 Runner 之间的组合让混合环境自动化成为可能，例如构建用 Docker，部署用 Kubernetes，审批用 HTTP 回调。 #### 2.3 状态可观测 Kiro 内置 Web Dashboard，可以实时查看每个流水线的执行状态、耗时、日志输出。所有历史执行都会留存，并支持按标签过滤。对于失败步骤，可以直接点击查看完整日志，甚至一键重放。 #### 2.4 断点续跑与智能重试 生产环境中，网络闪断、资源争抢导致任务失败并不罕见。Kiro 支持在步骤级别定义 `retry` 策略，失败后自动退避重试。更重要的是，当整个流水线因某一步中断后，**断点续跑**功能允许从失败步骤继续执行，而不必从头开始，大幅节省时间。 #### 2.5 变量与上下文共享 Kiro 在流水线中维护一个全局上下文对象 `ctx`，步骤之间可以通过 `outputs` 和 `inputs` 共享数据。 ``` steps: - id: fetch-version run: curl -s https://api.example.com/latest | jq -r '.version' > /tmp/version outputs: - name: APP_VERSION from: /tmp/version - id: deploy run: helm upgrade myapp --set image.tag=$APP_VERSION . inputs: - APP_VERSION ``` 变量支持字符串、文件路径和 JSON 结构，避免硬编码，提升灵活性。 ### 3. 架构设计 Kiro 采用 **Server + Agent** 分离架构，其中 Server 负责流水线管理、调度和 Dashboard；Agent 则负责实际执行步骤并回传状态。两者之间通过 gRPC 通信，支持 TLS 加密和令牌认证。  - **Server**：轻量级 Go 服务，内置调度器、结果存储（基于 SQLite/Postgres）和 REST API。 - **Agent**：可部署在任意节点，通过注册机制加入 Server 的 Agent Pool，自动接收任务。 - **存储层**：支持本地文件或对象存储（S3/MinIO）保存日志与制品。 这种架构天然支持水平扩展：当任务量增加时，只需启动更多 Agent 即可。 ### 4. 案例分析 #### 4.1 电商大促前的全链路压测准备 **背景**：某电商平台需要在每次大促前完成环境搭建、数据预热、压测脚本执行和结果汇总，整个过程涉及 20+ 个步骤，传统 Jenkins Pipeline 脚本难维护，且失败恢复耗时超过 30 分钟。 **Kiro 方案**：将整个流程抽象为 4 个阶段流水线： ``` name: promotion-preparation phases: - name: environment steps: - deploy-staging - scale-up-mock-services - name: data-seeding steps: - run-sql-migrations - generate-test-orders - name: load-test steps: - start-jmeter-slaves - run-scenario - stop-jmeter-slaves - name: report steps: - collect-metrics - generate-report - notify-slack ``` 通过 Kiro 的断点续跑，一次中途失败的压测脚本修改后只需从 `generate-test-orders` 步骤继续，恢复时间缩短至 5 分钟。完整的执行历史帮助团队在复盘时直观定位瓶颈步骤。 #### 4.2 跨云数据同步管道 **背景**：某金融科技公司需要将 AWS RDS 中的交易数据实时同步到阿里云 MaxCompute，中间需要经过格式转换、数据脱敏和质量检查，原方案使用多套脚本和 crontab 调度，维护成本高且难以监控。 **Kiro 方案**：定义一条 ETL 流水线，按小时触发： ``` name: etl-sync-trade trigger: type: cron schedule: "0 * * * *" steps: - id: extract run: python3 extract_trades.py --since "{{ last_run }}" runner: docker - id: mask run: python3 mask_sensitive.py inputs: [trade_data.json] depends_on: [extract] - id: quality-check run: python3 validate.py inputs: [masked_data.json] depends_on: [mask] - id: load run: python3 upload_to_maxcompute.py depends_on: [quality-check] ``` Kiro Dashboard 直观展示了每个小时同步的数据量、延迟和失败次数，异常时自动触发通知。团队将告警规则与 Prometheus 集成，实现了端到端的可观测性。 #### 4.3 微服务发布与灰度验证 **背景**：某 SaaS 厂商采用微服务架构，每次发布需要依次更新多个服务，并进行灰度验证。原本依赖 CI 工具串行执行，即使一个服务发布成功，后续服务失败后回滚复杂。 **Kiro 方案**：将每个微服务的发布封装为子流水线模板，主流水线负责编排顺序和条件判断。 ``` steps: - id: deploy-user-service use: pipeline-templates/deploy-service with: service: user version: 1.2.3 - id: canary-verify run: ./verify_canary.sh user 10% depends_on: [deploy-user-service] - condition: "canary-verify.exit_code == 0" then: - deploy-order-service - deploy-payment-service ``` 一旦某一服务灰度验证失败，Kiro 会停止下游发布，并可通过回滚子流水线快速恢复，极大地降低了发布风险。 ### 5. 总结与展望 Kiro 以简洁的声明式编排、丰富的运行时支持和强大的可观测性，为自动化流水线带来了新的可能性。它适合希望从脚本堆砌升级为专业编排引擎，又不愿意引入复杂工作流工具的团队。 未来，Kiro 计划引入 **可视化编排器**，降低 YAML 编写门槛；并增加 **AI 辅助排障**功能，基于历史执行数据自动给出失败原因和修复建议。如果你正在寻找一个轻量、可靠、易扩展的任务编排方案，Kiro 值得一试。

自进化Agent技术分层讲解

# 自进化Agent技术分层讲解 ## 作者导言 当前AI技术的发展，记忆和自进化是当之无愧的两大主流方向。之前也零零散散的看了一些自进化的skill或算法的介绍的文章，也写过一篇介绍GEPA的文章。

Vercel 通过 AI 技术裁减团队

Vercel 是一家成立于2015年的云平台公司，专为开发者提供构建和部署网站与应用程序的工具。最近，该公司决定通过训练人工智能（AI）代理来提升销售团队的工作效率，进而将原本的10人销售团队缩减至仅剩1人和一台机器人。Vercel 的新策略旨在将员工从基础性工作中解放出来，让他们能够专注于更具创造性和价值的任务。 该公司的首席运营官珍妮・德威特・格罗瑟表示，训练 AI 代理的过程始于今年6月。她带领三位工程师，围绕公司表现最好的销售代表进行了一项内部项目，记录下他们的工作流程。经过六周的跟踪和观察，团队成功开发出一个 AI 代理，模仿该销售代表的工作模式。如今，这个 “主代理” 能够自动处理大量原本由多名销售代表完成的工作，包括审核入站消息、过滤垃圾邮件、资格审核潜在客户等。该代理还会通过内部数据库和 OpenAI 的 Deep Research 工具收集公司信息，起草个性化回复，并自动转发支持查询。 人类管理者会在 Slack 上审核 AI 代理的工作，并给予反馈，以帮助系统不断学习和改进。从部署以来，该 AI 代理已经帮助 Vercel 成功将10人团队缩减至1人，其余的9位员工则转向更具挑战性和复杂性的外部拓展工作。格罗瑟表示，这一转变并不是为了裁员，实际上公司在过去一年中的员工数量有所增加。 目前，Vercel 已部署了六个 AI 代理，计划在接下来的6到12个月内再推出数百个，这些代理都是基于公司顶尖员工的工作模式进行开发的。格罗瑟强调，最终人类员工将专注于更具创造性和智力挑战的工作，而不是繁琐的重复性任务。

Taro on HarmonyOS 技术架构深度解析

期间阐述了 Taro on HarmonyOS 的技术实现方案、核心优化策略，以及开源版本的主要特性。

AI+低代码技术揭秘

概述​ VTJ.PRO 是一个 AI 驱动的 Vue3 低代码开发平台，支持 Vue 单文件组件 （SFC） 和领域特定语言 （DSL） 表示之间的双向转换。VTJ 构建在具有同步版本控制的 monorepo 架构之上，为可视化设计、代码生成和多平台部署提供了一个全面的软件包生态系统，同时保持与现有 Vue 3 开发工作流程的兼容性。 目的和范围​ 本文档简要概述了 VTJ 低代码平台，包括其架构、关键组件和设计理念。有关特定组件（如 Engine 和 Provider 系统）的详细信息，请参阅核心架构 ，或者有关工程和块模型的详细信息，请参阅工程和块模型 。 主要特点​ 双向代码流：在视觉设计和 Vue 源代码之间无缝转换 AI 集成：智能代码生成、优化和图像到代码转换功能 Vue 3 基础：建立在最新的 Vue 生态系统之上，支持 TypeScript 和 Vite 多平台支持：面向 Web 应用程序、移动应用程序和 UniApp（跨平台）项目 低学习曲线：专为 Vue 开发人员设计，需要最少的额外知识 非侵入式实施：与现有项目集成，无代码污染 系统架构概述​ VTJ 遵循模块化架构，在多个软件包中明确分离关注点，从基础到平台特定的实现，按层组织。 Monorepo 包架构​ 项目脚手架系统​ AI 增强的设计时到运行时流程​ VTJ 的核心创新是 Vue SFC 和低代码 DSL 之间的双向转换，并通过 AI 功能进行了增强： 双向代码管道​ 数据结构流​ AI 驱动的开发功能​ VTJ 将 AI 功能集成到整个开发管道中，重点是图像到代码的生成和智能辅助： AI 集成架构​ 开始​ VTJ 提供了几种开始使用该平台的方法： 使用 create-vtj 创建项目​ create-vtj脚手架工具使用预配置的构建系统生成特定于平台的项目： shell # Web applications (PC) - uses @vtj/web platform npm create vtj@latest --registry=https://registry.npmmirror.com -- -t app # Mobile H5 applications - uses @vtj/h5 platform npm create vtj@latest --registry=https://registry.npmmirror.com -- -t h5 # Cross-platform apps - uses @vtj/uni-app platform npm create vtj@latest --registry=https://registry.npmmirror.com -- -t uniapp # Component development - uses @vtj/materials npm create vtj@latest --registry=https://registry.npmmirror.com -- -t material 开发环境设置​ 对于 VTJ 本身的本地开发： shell git clone https://gitee.com/newgateway/vtj.git cd vtj npm run setup && npm run build && npm run app:dev 与现有项目集成​ VTJ 通过特定于平台的软件包与现有的 Vue 3 项目无缝集成。有关详细的集成模式，请参阅 集成指南 多平台部署架构​ VTJ 通过专门的平台包支持多个部署目标，每个平台包都针对特定环境进行了优化： 平台 包 目标环境 关键依赖项 Web @vtj/web 桌面 Web 应用程序 element-plus、@vtj/core、@vtj/renderer 设计器 @vtj/pro 使用 Designer 的企业平台 @vtj/renderer、@vtj/local、 @vtj/materials 移动式 H5 @vtj/h5 移动 Web 应用程序 vant、@vtj/core、@vtj/renderer UniApp @vtj/uni-app 跨平台应用（iOS/Android/小程序） @dcloudio/uni-app、@vtj/uni、@vtj/renderer 平台架构​ 当前版本​ VTJ 的当前版本是 0.12.40，在 monorepo 中的所有软件包之间同步。 结论​ VTJ.PRO 是专为 Vue 3 开发人员设计的综合性低代码平台。通过实现视觉设计和 Vue 源代码之间的双向转换，它可以加速开发，同时保持直接代码访问的灵活性和强大功能。该平台的模块化架构、AI 集成和多平台支持使其适用于广泛的应用程序开发场景。

四种实时通信技术

这篇文章，我们聊聊 四种实时通信技术：短轮询、长轮询、WebSocket 和 SSE 。 1 短轮询 浏览器 定时（如每秒）向服务器发送 HTTP 请求，服务器立即返回当前数据（无论是否有更新）。

字节开源 MoE 通信优化技术

3 月 10日，字节豆包大模型团队官宣开源一项针对 MoE 架构的关键优化技术：COMET，可将大模型训练效率提升1.7倍，成本节省40%。

AI 知识：TF-IDF 技术

本文将全面阐述TF-IDF的通俗理解、技术原理、应用场景，并做以总结。

深入理解Sora技术原理

一起公布的，还有一篇非常简短的技术报告，报告大致介绍了 Sora 的架构及应用场景，并未对模型的原理做过多的介绍。

浅谈LocalCache | 京东云技术团队

1、什么是LocalCache？ 本地缓存是一种将数据存储在应用程序内存中的机制，用于提高数据访问的性能和响应速度。它通过在内存中维护一个键值对的存储结构，允许应用程序快速检索和访问数据，而无需每次都从慢速的数据源（如数据库或网络）获取数据。 2、LocalCache优缺点 1）优点 •快速访问：LocalCache将数据存储在内存中，因此可以快速访问缓存数据，提高应用程序的性能。 •减轻后端负载：通过将经常访问的数据存储在本地缓存中，可以减少对后端数据源的访问次数，降低后端负载，提高系统的整体性能。 •灵活性：LocalCache提供了一些配置选项，如最大容量、过期时间等，可以根据需求进行调整。这使得开发人员能够灵活地控制缓存的行为，以适应不同的业务场景。 2）缺点 •有限的容量：由于LocalCache是基于内存的，因此容量是有限的。如果缓存数据量过大，可能会导致内存消耗过高，影响系统的稳定性。 •单点故障：LocalCache存储在单个应用程序中，如果应用程序崩溃或重启，缓存数据将丢失。这可能会导致缓存冷启动和性能下降。 3、LocalCache应用场景 LocalCache适用于许多不同的使用场景，特别是以下几种情况： 1.**频繁访问的数据：**如果应用程序中有一些频繁被访问的数据，将这些数据存储在LocalCache中可以大大提高访问速度。由于数据存储在内存中，相比于从磁盘或网络中读取数据，从本地缓存中获取数据的速度更快。 2.**减轻后端负载：**通过将经常访问的数据存储在本地缓存中，可以减少对后端数据源（如数据库或API）的访问次数。这样可以降低后端的负载，提高系统的整体性能。 3.**降低网络延迟：**在分布式系统或微服务架构中，不同的服务可能位于不同的节点上，通过网络进行通信。使用本地缓存可以减少对远程服务的调用次数，从而减少网络延迟，提高系统的响应速度。 4.灵活性和可配置性：LocalCache提供了一些配置选项，如最大容量、过期时间等，可以根据需求进行调整。这使得开发人员能够灵活地控制缓存的行为，以适应不同的业务场景。 4、LocalCache实际使用场景 1.**数据库中间件：**数据库中间件是位于应用程序和后端数据库之间的软件层，常见的数据库中间件包括MySQL Proxy、Cobar、MyCat等。这些中间件可以使用LocalCache来缓存查询结果，以减轻后端数据库的负载并提高查询性能。当应用程序发出相同的查询请求时，中间件可以先检查LocalCache中是否有相应的缓存结果，如果有则直接返回缓存结果，否则再向后端数据库发起查询请求。 2.**消息队列：**消息队列是一种用于异步通信的中间件，常见的消息队列系统包括Apache Kafka、RabbitMQ等。在消息队列系统中，LocalCache可以用来缓存消息，以提高消息的处理速度和响应能力。当消费者需要处理消息时，它可以先在LocalCache中查找是否有相应的消息缓存，如果有则直接消费缓存消息，否则再从消息队列中获取消息。 3.**前端应用：**前端应用包括各种Web应用、移动应用和桌面应用，常见的前端框架如React、Angular、Vue.js等。在前端应用中，LocalCache可以用于缓存静态资源（如JavaScript、CSS、图像等）或动态数据，以提高应用的加载速度和用户体验。例如，前端应用可以先检查LocalCache中是否有相应的资源缓存，如果有则直接使用缓存资源，否则再从服务器获取资源并将其缓存到LocalCache中。 4.**服务端应用：**服务端应用包括各种后端服务、微服务和RESTful API等，常见的服务端框架如Spring、Node.js、Ruby on Rails等。LocalCache可以在服务端应用中使用，用于缓存计算结果、数据库查询结果等，以提高性能和减少对外部资源的依赖。例如，当服务端应用需要进行频繁的计算或查询时，它可以先检查LocalCache中是否有相应的缓存结果，如果有则直接返回缓存结果，否则再进行计算或查询，并将结果缓存到LocalCache中。 5.**开源框架：**许多开源框架提供了自己的LocalCache实现，以方便开发人员在应用中使用。这些框架通常提供了丰富的配置选项和高性能的缓存实现，可以根据应用需求进行定制。例如，Guava、Caffeine和Ehcache等是常见的Java开源框架，它们提供了LocalCache的实现，可以用于缓存计算结果、数据库查询结果等。 5、LocalCache在Guava实践 Guava cache 继承了 ConcurrentHashMap 的思路，使用多个 segments 方式的细粒度锁，在保证线程安全的同时，支持高并发场景需求。 1、CacheBuilder 缓存构建器。构建缓存的入口，指定缓存配置参数并初始化本地缓存。采用 Builder 设计模式提供了设置好各种参数的缓存对象。 CacheBuilder<Object,Object> cacheBuilder =CacheBuilder.newBuilder(); 2、LocalCache 数据结构。缓存核心类 LocalCache 数据结构与 ConcurrentHashMap 很相似，由多个 segment 组成，且各 segment 相对独立，互不影响，所以能支持并行操作，每个 segment 由一个 table 和若干队列组成。缓存数据存储在 table 中，其类型为AtomicReferenceArray，具体结构图及代码解释如下。 #Guava中LocalCache声明segments变量 final LocalCache.Segment<K, V>[] segments; #Guava中初始化segments this.segments = this.newSegmentArray(segmentCount); final LocalCache.Segment<K, V>[] newSegmentArray(int ssize) { return new LocalCache.Segment[ssize]; } #获取Segment Segment<K, V> segmentFor(int hash) { return segments[(hash >>> segmentShift) & segmentMask]; } #Guava中Segment声明table变量用于存储数据 volatile AtomicReferenceArray<LocalCache.ReferenceEntry<K, V>> table; V put(K key, int hash, V value, boolean onlyIfAbsent) { #保证线程安全 lock(); #获取数据 AtomicReferenceArray<ReferenceEntry<K, V>> table = this.table; int index = hash & (table.length() - 1); ReferenceEntry<K, V> first = table.get(index); for (ReferenceEntry<K, V> e = first; e != null; e = e.getNext()) { if (e.getHash() == hash && entryKey != null && map.keyEquivalence.equivalent(key, entryKey)) { } } } 3、在Guava中，CacheBuilder提供了一系列方法，用于指定缓存的大小、过期策略、并发级别等属性。 1.配置缓存属性：通过一系列方法来配置缓存的属性，例如： •maximumSize(long size)：指定缓存的最大容量，当缓存达到最大容量时，根据缓存策略淘汰部分缓存项。 •expireAfterWrite(Duration duration)：指定缓存项的写入后过期时间，过期后的缓存项将被自动移除。 •expireAfterAccess(Duration duration)：指定缓存项的最后一次访问后过期时间，过期后的缓存项将被自动移除。 •concurrencyLevel(int level)：指定并发级别，即同时可以进行缓存操作的线程数。 Cache<Object,Object> cache = cacheBuilder.maximumSize(1000) .expireAfterWrite(Duration.ofMinutes(10)) .concurrencyLevel(4) .build(); 2. 使用缓存：通过Cache对象的方法来进行缓存的读取、写入和移除操作。例如： •get(Object key)：根据键获取缓存项的值。 •put(Object key, Object value)：向缓存中添加或更新一个缓存项。 •invalidate(Object key)：移除指定键的缓存项。 3. 其他功能：Guava的LocalCache还提供了其他功能，如统计信息、监听器、加载器等，用于监控缓存的状态、处理缓存未命中的情况等。 CacheStats stats = cache.stats(); cache.asMap().forEach((key, value)->System.out.println(key +": "+ value)); cache.cleanUp(); 总结来说，Guava的LocalCache使用CacheBuilder构建和配置缓存，通过Cache对象进行缓存的读取、写入和移除操作。开发人员可以根据自己的需求使用相应的方法和功能来定制和管理缓存。 6、后记 设计一个可用的 Cache 绝对不是一个普通的 Map 这么简单，这里小结一下关于 Guava Cache 的知识。 回归LocalCache 的源头，我是希望可以了解 设计一个缓存要考虑什么？，局部性原理 是一个系统性能提升的最直接的方式(编程上，硬件上当然也可以)，缓存的出现就是根据 局部性原理 所设计的。 缓存作为存储金字塔的一部分，一定需要考虑以下几个问题： 1.何时加载 在设计何时加载的问题上，Guava Cache 提供了一个 Loader 接口，让用户可以自定义加载过程，在由 Cache 在找不到对象的时候主动调用 Loader 去加载，还通过一个巧妙的方法，既保证了 Loader 的只运行一次，还能保证锁粒度极小，保证并发加载时，安全且高性能。 2. 何时失效 失效处理上，Guava Cache 提供了基于容量、有限时间(读有限时、写有限时)等失效策略，在官方文档上也写明，在基于限时的情况下，并不是使用一个线程去单独清理过期 K-V，而是把这个清理工作，均摊到每次访问中。假如需要定时清理，也可以调用 CleanUp 方法，定时调用就可以了。 3. 如何保持热点数据有效性 在 Cache 容量有限时， LRU 算法是一个通用的解决方案，在源码中，Guava Cache 并不是严格地保证全局 LRU 的，只是针对一个 Segment 实现 LRU 算法。这个前提是 Segment 对用户来说是随机的，所以全局的 LRU 算法和单个 Segment 的算法是基本一致的。 4. 写回策略 在 Guava Cache 里，并没有实现任何的写回策略。原因在于，Guava Cache 是一个本地缓存，直接修改对象的数据，Cache 的数据就已经是最新的了，所以在数据能够写入 DB 后，数据就已经完成一致了。 参考文献：Google Guava Cache 全解析 作者：京东科技 游斌平 来源：京东云开发者社区 转载请注明来源

技术分享| anyRTC之RTN网络

RTN(Real-time Network)中文名：实时音视频传输网络。 RTN是最近几年由各大RTC的云厂商提出的一个全新架构的音视频实时传输网络概念。类似于直播的CDN网络，RTN是对音视频的实时性又强烈要求的场景而设计的，原理上全球端到端的时延通过RTN网络可以控制在300ms以内。 anyRTC是RTC的云厂商中较早一批提出RTN概念的厂商，anyRTC是如何实现RTN网络的呢？下面我们来详细介绍一下： 一.介绍 首先介绍几个专用名词： A.SN:推流节点 – 多种协议的客户端推流到此节点。 B.RN:路由节点 – 将流路由给不同区域的客户端。 C.GN:拉流节点 – 将流分发给多种协议的客户端。 D.RoutePath:路由线路 – 流从一个区域到另外一个区域的路径。 anyRTC实现的是可配置化的动态RTN网络，网络可大可小，最小的可以只有一台机器，最大的是可以支持千万级的并发，覆盖全球的RTN网络。 二.实现场景 1.单机版 单机服务只需要推流和拉流的功能，A用户推流，B用户拉流。 适用场景： A.测试，不需要复杂的网络架构。 B.业务量较小的私有化音视频通讯场景。 2.进阶版 如果业务中需要2个服务，这时候必须有RN节点，通过RN节点，可以将区域A的流路由到区域B，反之亦然。 适用场景： A.内外网穿透：在很多行业中，比如金融，公安，消防等领域，对于网络安全要求非常高，需要做到内外网隔离，通过固定端口进行数据互通。 B.跨区互通：比如一个公司新疆和上海都有业务，如果服务只部署在新疆或者上海，对应的另外一个区域的用户体验就会非常差，通过各自区域部署节点，本国用户用各自的节点，只有在两区域之间有互动时，通过RN把流中转给对方。 C.跨国运营：比如一个公司中国和美国都有业务，如果美国要求本国的数据必须本地化存储和传输，通过各自区域部署节点，本国用户用各自的节点，进行数据存储和传输，只有在两国之间有互动时，通过RN把流中转给对方。 3.高阶版 多区域的RTN网络，适用于高并发高接入量的应用场景，这时候RN服务独立出来，专门做流路由的工作，SN和GN也可以分离，因为当应对大并发时，拉流的业务需求会多得多。 适用场景： A.RTC云服务厂商，服务有大量RTC接入或者直播接入的场景。 B.多国运营，针对不同国家提供可落地的个性化服务，结合当地法律适配更多场景的运营策略。 C.更低延时的直播CDN分发，CDN厂家可以使用RTN网络来传输节点之间的数据流，然后在各自的落地点进行直播CDN分发。 D.更高规格的网络安全，在行业内，存在网络的隔离区特别多的业务需求，这时候可以使用多区域RTN部署，解决各个网络之间的透传。 E.垮多运营商，比如移动，联通，电信，沃达丰等，各个运营商之间如果直连效果可能不会太好，此时可以在不同运营商的机房中部署服务，RN节点部署在三线机房，通过RN节点进行数据互传。 三.总结 anyRTC通过可配置化的RTN网络，组建了一张全球的RTC传输网络，anyRTC的RTN网络自上线以来实现了超过1000+天的连续稳定运行，平均每日服务的客户接入量超过50w+。同时不久的将来，anyRTC也会开放RTN网络服务，敬请期待吧！

代码理解技术应用实践介绍

作者 | CQT&星云团队 一、前言 代码理解作为软件知识图谱重要的技术之一，可以为构建、测试、定位、代码解释等提供基础的技术和数据保障，也是持续集成的起点，只有理解了代码才能有目的性的进行有效构建

初探webAssembly | 京东物流技术团队

与JavaScript在同一个VM运行可让两种技术相辅相成。 WebAssembly为非JavaScript的开发者提供了一个新的道路，帮助他们在web中使用自己编写的代码。

GaussDB技术解读丨高级压缩

这是我们对于数据库压缩这个领域的一个基本技术判断。

技术 CXO 们眼中的 DevOps

我们的目标是通过夜莺监控和我们的企业级产品 Flashcat，帮助企业快速构建统一的可观测性平台，降低技术团队和企业利用数据的门槛。

如何说服技术老大用 Redis ?

论文强调真正的银弹并不存在，而所谓的银弹则是指没有任何一项技术或方法可以能让软件工程的生产力在十年内提高十倍。 通俗来讲：在技术领域中没有一种通用的解决方案可以解决所有问题。

Apache Pulsar 技术系列 - Pulsar 总览

Apache Pulsar 是一个多租户、高性能的服务间消息传输解决方案，数据持久化依赖 Apache BookKeeper 实现，支持多租户、低延时、读写分离、跨地域复制、快速扩容、灵活容错等特性。本文将从以下几个方面为大家介绍 Apache Pulsar的设计原理和特性。 1、Apache Pulsar 架构 2、架构设计的优势 3、Pulsar 特性 4、总结 Apache Pulsar 架构 存储计算分离 Apache Pulsar 是 Pub/Sub 模型的消息系统，并且从设计上做了存储和计算的分离，如图一所示。 图一 Pulsar 架构 Apache Pulsar 主要包括 Broker, Apache BookKeeper, Producer, Consumer等组件。 Broker：无状态服务层，负责接收和传递消息，集群负载均衡等工作，Broker 不会持久化保存元数据，因此可以快速的上、下线。 Apache BookKeeper：有状态持久层，由一组名为 Bookie 的存储节点组成，持久化地存储消息。 Producer ：数据生产者，负责发布数据到 Topic。 Consumer：数据消费者，负责从 Topic 订阅数据。 除了上述的组件之外，Apache Pulsar 还依赖 Zookeeper 作为元数据存储。与传统的消息系统相比，Apache Pulsar 在架构设计上采用了计算与存储分离的模式，Pub/Sub 相关的计算逻辑在 Broker 上完成，数据存储在 Apache BookKeeper 的 Bookie 节点上。 分片存储 除了存储、计算解耦分离的设计之外，Apache Pulsar 在存储设计上也不同于传统 MQ 的分区数据本地存储的模式，采用的是分片存储的模式，存储粒度比分区更细化、存储负载更均衡。Apache Pulsar 中的每个 Topic 分区本质上都是存储在 Apache BookKeeper 中的分布式日志。Topic 可以有多个分区，分区数据持久化时，分区是逻辑上的概念，实际存储的单位是分片（Segment）的，如图二，一个分区 Topic1-Part2 的数据由多个 Segment 组成， 每个 Segment 作为 Apache BookKeeper 中的一个 Ledger，均匀分布并存储在 Apache BookKeeper 群集中的多个 Bookie 节点中， 每个 Segment 具有 3 个副本。 图二 Pulsar 分片存储 下面可以通过图三来看分区和分片存储的区别。 图三 分片存储和分区存储 架构设计的优势 Apache Pulsar 计算与存储分离的架构，以及分片存储的设计为 Apache Pulsar 带来了相比于传统基于分区存储 MQ 的一些优势： Broker 和 Bookie 相互独立，方便实现独立的扩展以及独立的容错。 Broker 无状态，便于快速上、下线，更加适合于云原生场景。 分区存储不受限于单个节点存储容量。 分区数据分布均匀。 ... 可扩展性 由于消息服务层和持久存储层是分开的，因此 Apache Pulsar 可以独立地扩展存储层和服务层。 Broker 扩展 在 Pulsar 中 Broker 是无状态的，可以通过增加节点的方式实现快速扩容。当需要支持更多的消费者或生产者时，可以简单地添加更多的 Broker 节点来满足业务需求。Pulsar 支持自动的分区负载均衡，在 Broker 节点的资源使用率达到阈值时，会将负载迁移到负载较低的 Broker 节点，这个过程中分区也将在多个 Broker 节点中做平衡迁移，一些分区的所有权会转移到新的Broker节点。 Bookie扩展 存储层的扩容，通过增加 Bookie 节点来实现。通过资源感知和数据放置策略，流量将自动切换到新的 Bookie 节点中，整个过程不会涉及到不必要的数据搬迁，即不需要将旧数据从现有存储节点重新复制到新存储节点。 图四 Bookie 扩容 如图四所示，起始状态有四个存储节点，Bookie1, Bookie2, Bookie3, Bookie4，以 Topic1-Part2为例，当这个分区的最新的存储分片是 SegmentX 时，对存储层扩容，添加了新的 Bookie 节点，BookieX,BookieY，那么在存储分片滚动之后，新生成的存储分片， SegmentX+1,SegmentX+2，会优先选择新的 Bookie 节点（BookieX,BookieY）来保存数据。 容错 得益于计算与存储分离以及分片存储的设计，Pulsar 可以实现独立、灵活的容错。 Broker 容错 当 Broker 节点失败时， 以图五为例，当存储分片滚动到 SegmentX 时，Broker2 节点失败，此时生产者和消费者向其他的Broker发起请求，这个过程会触发分区的所有权转移，即将 Broker2 拥有的分区 Topic1-Part2 的所有权转移到其他的 Broker(Broker3)。在 Apache Pulsar 中数据存储和数据服务分离，所以新 Broker 接管分区的所有权时，它不需要复制 Partiton 的数据。新的分区 Owner（Broker3）会产生一个新的分片 SegmentX+1, 如果有新数据到来，会存储在新的分片Segment x+1上，不会影响分区的可用性。 图五 Broker 容错 Bookie容错 当 Bookie 节点失败时，如图六所示， 假设 Bookie 2 上的 Segment 4 损坏。Apache BookKeeper Auditor 会检测到这个错误并进行复制修复。Apache BookKeeper 中的副本修复是 Segment 级别的多对多快速修复，BookKeeper 可以从 Bookie 3 和 Bookie 4 读取 Segment 4 中的消息，并在 Bookie 1 处修复 Segment 4。如果是 Bookie 节点故障，这个 Bookie 节点上所有的 Segment 会按照上述方式复制到其他的Bookie节点。所有的副本修复都在后台进行，对Broker和应用透明，Broker 会产生新的Segment 来处理写入请求，不会影响分区的可用性。 图六 Bookie 容错 无限制的分区存储 分片存储解决了分区容量受单节点存储空间限制的问题，当容量不够时，可以通过扩容 Bookie 节点的方式支撑更多的分区数据，也解决了分区数据倾斜问题，数据可以均匀的分配在 Bookie 节点上。Broker 和 Bookie 灵活的容错以及无缝的扩容能力让 Apache Pulsar 具备非常高的可用性。 Pulsar 特性 基于上述的设计特点，Pulsar 提供了很多特性，以下做简要的介绍。 读写分离 Pulsar另外一个有吸引力的特性是提供了读写分离的能力，读写分离保证了在有大量滞后消费（磁盘IO会增加）时，不会影响服务的正常运行，尤其是不会影响到数据的写入。读写分离的能力由 Apache BookKeeper 提供，简单说一下 Bookie 存储涉及到的概念： Journals：Journal 文件包含了 BookKeeper事务日志，在 Ledger 更新之前，Journal 保证描述更新的事务写入到 Non-volatile 的存储介质上。 Entry logs：Entry 日志文件管理写入的 Entry，来自不同 ledger 的 entry 会被聚合然后顺序写入。 Index files：每个 Ledger都有一个对应的索引文件，记录数据在 Entry 日志文件中的 Offset 信息。 Entry 的读写入过程如图七所示，数据的写入流程： 数据首先会写入 Journal，写入 Journal 的数据会实时落到磁盘。 然后，数据写入到 Memtable ，Memtable 是读写缓存。 写入 Memtable 之后，对写入请求进行响应。 Memtable 写满之后，会 Flush 到 Entry Logger 和 Index cache，Entry Logger 中保存了数据，Index cache 保存了数据的索引信息，然后由后台线程将 Entry Logger 和 Index cache 数据落到磁盘。 数据的读取流程： 如果是 Tailing read 请求，直接从 Memtable 中读取 Entry。 如果是 Catch-up read（滞后消费）请求，先读取 Index信息，然后索引从 Entry Logger 文件读取 Entry。 图七 Bookie的数据写入和读取 一般在进行 Bookie 的配置时，会将 Journal 和Ledger 存储磁盘进行隔离，减少 Ledger 对于 Journal写入的影响，并且推荐 Journal 使用性能较好的 SSD 磁盘，读写分离主要体现在： 写入 Entry 时，Journal 中的数据需要实时写到磁盘，Ledger的数据不需要实时落盘，通过后台线程批量落盘，因此写入的性能主要受到 Journal 磁盘的影响。 读取 Entry 时，首先从 Memtable 读取，命中则返回；如果不命中，再从 Ledger 磁盘中读取，所以对于 Catch-up read 的场景，读取数据会影响 Ledger 磁盘的 IO，对 Journal 磁盘没有影响，也就不会影响到数据的写入。 所以，数据写入是主要是受 Journal 磁盘的负载影响，不会受Ledger 磁盘的影响。另外，Segment 存储的多个副本都可以提供读取服务，相比于主从副本的设计，Apache Pulsar 可以提供更好的数据读取能力。通过以上分析，Apache Pulsar 使用 Apache BookKeeper 作为数据存储，可以带来下列的收益： 支持将多个 Ledger 的数据写入到同一个 Entry logger 文件，可以避免分区膨胀带来的性能下降问题。 支持读写分离，可以在滞后消费场景导致磁盘IO上升时，保证数据写入的不受影响。 支持全副本读取，可以充分利用存储副本的数据读取能力。 多种消费模型 Apache Pulsar 提供了多种订阅方式来消费消息，分为三种类型：独占（Exclusive），故障切换（Failover）或共享（Share）。 图八 消费模型 Exclusive 独占订阅：在任何时间，一个消费者组（订阅）中有且只有一个消费者来消费 Topic 中的消息。 Failover 故障切换：多个消费者（Consumer）可以附加到同一订阅。但是，一个订阅中的所有消费者，只会有一个消费者被选为该订阅的主消费者。其他消费者将被指定为故障转移消费者。当主消费者断开连接时，分区将被重新分配给其中一个故障转移消费者，而新分配的消费者将成为新的主消费者。发生这种情况时，所有未确认（ack）的消息都将传递给新的主消费者。 Share 共享订阅：使用共享订阅，在同一个订阅背后，用户按照应用的需求挂载任意多的消费者。订阅中的所有消息以循环分发形式发送给订阅背后的多个消费者，并且一个消息仅传递给一个消费者。当消费者断开连接时，所有传递给它但是未被确认（ack）的消息将被重新分配和组织，以便发送给该订阅上剩余的剩余消费者。 多种ACK模型 消息确认（ACK）的目的就是保证当发生故障后，消费者能够从上一次停止的地方恢复消费，保证既不会丢失消息，也不会重复处理已经确认（ACK）的消息。在 Pulsar 中，每个订阅中都使用一个专门的数据结构--游标（Cursor）来跟踪订阅中的每条消息的确认（ACK）状态。每当消费者在分区上确认消息时，游标都会更新。Pulsar 提供两种消息确认方法： 单条确认（Individual Ack），单独确认一条消息。被确认后的消息将不会被重新传递。 和累积确认（Cumulative Ack），通过累积确认，消费者只需要确认它收到的最后一条消息。 图九说明了单条确认和累积确认的差异（灰色框中的消息被确认并且不会被重新传递）。对于累计确认，M12 之前的消息被标记为 Acked。对于单独进行 ACK，仅确认消息 M7 和 M12， 在消费者失败的情况下，除了 M7 和 M12 之外，其他所有消息将被重新传送。 图九 ACK模型 跨地域复制 Apache Pulsar 的跨地域复制机制（Geo-Replication）提供了一种全连接的异步复制，可以满足多个数据中心数据同步的使用场景。 图十 Geo-replication 如图十所示，有三个 Apache Pulsar 集群，分布于北京、上海和广州，用户创建的一个 Topic T1 设置了跨越三个数据中心做互备。在三个数据中心中，分别有三个生产者：P1、P2、P3，它们往主题 T1 中发布消息；有两个消费者：C1、C2，订阅了这个主题，接收主题中的消息。当消息由本数据中心的生产者发布成功后，会立即复制到其他两个数据中心。消息复制完成后，消费者不仅可以收到本数据中心产生的消息，也可以收到从其他数据中心复制过来的消息。 总结 Pulsar 采用了计算、存储分离的设计，并且存储在逻辑上分区，物理上分片，具有一些传统类 kafka 的 MQ 所不具备的优势，也解决了一些业界的痛点，Pulsar 目前社区比较活跃，还处于快速发展的阶段，除了以上的特性之外，Pulsar还可以支持事务、SQL查询、Function等功能，另外 Pulsar 支持 protocol handler，比如 KoP（Kafka on Pulsar）, 可以原生支持 Kafka 协议的数据，对于这些特性，我们会在后续的文章中做介绍。

H5直播技术起航

最常用的还是 HLS 协议，因为支持度高，技术简单，但是延迟非常严重。这对一些对实时性比较高的场景，比如运动赛事直播来说非常的不友好。这里来细分的看一下每个协议。

华为Serverless技术公开课