Apache InLong 重磅发布 0.10.0 版本，着力降低用户使用门槛-低调大师

Apache InLong 重磅发布 0.10.0 版本，着力降低用户使用门槛

2021-09-17 484

导语：Apache InLong 以腾讯内部使用的TDBank为原型，依托万亿级别的数据接入和处理能力，整合了数据采集、汇聚、存储、分拣数据处理全流程，拥有简单易用、灵活扩展、稳定可靠等特性。

Apache InLong(孵化中) 刚刚发布了 0.10.0 版本，该版本是升级为 InLong（中文名：应龙）后的第二个版本，着力解决InLong应用门槛高问题。该版本吸引腾讯内外 10 多位开发者参与，关闭超过 120 个issue，开发超过 8 个重要Feature。

Apache InLong简介

Apache InLong（应龙）是腾讯捐献给 Apache 社区的一站式数据流接入服务平台，提供自动、安全、高性能、分布式的数据发布订阅能力，基于该系统用户可以轻松构建基于流式的数据应用。InLong 项目原本叫TubeMQ ，专注高性能、低成本的消息队列服务。为了进一步释放 TubeMQ 周边生态能力，我们将项目升级为 InLong ，专注打造一站式数据流接入服务平台。

Apache InLong 以腾讯内部使用的 TDBank 为原型，依托万亿级别的数据接入和处理能力，整合了数据采集、汇聚、存储、分拣数据处理全流程，拥有简单易用、灵活扩展、稳定可靠等特性。

Apache InLong 服务于数据采集到落地的整个生命周期，按数据的不同阶段提供不同的处理模块，主要包括：

inlong-agent ，数据采集 Agent ，支持从指定目录或文件读取常规日志，进行逐条的数据上报。后续也将扩展 DB 采集，扩展HTTP上报等能力。
inlong-dataproxy ，一个基于 Flume-ng 的 Proxy 组件，支持数据发送阻塞、落盘重发，拥有将接收数据后转发到不同MQ（消息队列）的能力。
inlong-tubemq ，腾讯自研的消息队列服务，专注服务大数据场景下海量数据的高性能存储和传输，在海量实践和低成本方面有着比较好的核心优势。
inlong-sort ，从不同的 MQ 消费数据后进行 ETL 处理，然后将数据汇聚并写入 Hive、ClickHouse、Hbase、IceBerg 等。
inlong-manager ，提供完整的数据服务管控能力，包括元数据、OpenAPI、任务流、权限等。
inlong-website ，一个用于管理数据接入的前端页面，简化整个 InLong 管控平台的使用。

Apache InLong 0.10.0版本简介

我们从上个版本（ 0.9.0 ）始，将 TubeMQ 升级为 InLong ，第一次将全链路数据接入能力开源出来。随着 0.9.0 发布后，我们组织了一次线上 Meetup ，探讨了大家在初次尝鲜 InLong 过程当中遇到的问题，发现大多数同学反馈 InLong 的“使用门槛太高，部署难度太大”。InLong 包括 6 个模块，并且每个模块拥有单独的编译打包、配置、启停脚本，完整的使用 InLong 还依赖 MySQL、Hive、Flink 集群等第三方服务组件，真正把 InLong 用起来的社区用户寥寥无几。

为了解决社区用户反馈的”开头难“问题，我们将 0.10.0 版本开发目标设定为“降低 InLong 使用门槛，方便社区用户用起来”，在新版本中主要完成了以下几个方面的工作，来简化 InLong 的安装和使用：

所有组件 Docker 化，提供一键安装能力
进一步整合 InLong 所有模块，简化模块配置
提供 Example Demo ，手把手教如何使用 InLong

Apache InLong 0.10.0 版本主要特性

全面拥抱 GitHub

在之前版本，InLong 的所有 Issue 由Jira管理，提交新的 PR 需要在 Jira 和 GitHub 来回跳转。同时，由于 Jira 和 GitHub 账号不通，新的贡献者需要先单独注册 Jira 账号和配置权限。在最近发布的 0.10.0 版本中，我们将 Jira Issue 历史迁移到了 GitHub Issue ，并设置了配套的 Issue 模板，方便开发者创建 Issue 和关联 PR 。同时，我们将 CI 工具由 Travis 迁移到 GitHub Actions ，配置了独立的 Workflow 进行代码编译、UT，很大程度提高了 PR 的合入效率。

支持 Docker-Compose 一键部署

InLong 拥有超过 6 个模块，完整的使用 InLong 还依赖 MySQL、Hive、Flink 集群等第三方服务组件，为了方便新用户快速了解 InLong ，直观感受 InLong 的特性，在 0.10.0 版本中，我们将所有组件 Docker 化，借助 Docker-Compose 提供一键安装能力，感兴趣的用户可以参考 InLong Standalone Using Docker Compose 体验。

InLong Standalone Using Docker Compose地址：

https://github.com/apache/incubator-inlong/blob/master/docker/docker-compose/README.md

增加 Hive 入库 Example

0.9.0 版本我们只开放了 InLong 入库Hive的能力，为了指导大家快速将采集的数据分拣到 Hive ，我们增加Hive入库Example，Step by Step帮助用户快速开始使用 InLong 。

入库Hive示例：

https://inlong.apache.org/zh-cn/docs/example.html

InLong Manger 整合 OpenAPI 和 API

InLong Manager 为 WebSite 提供了统一的访问 API ，为了方便其它模块获取元数据信息提供了统一的 OpenAPI 。在之前的版本中， API 和 OpenAPI 分别有两个独立的项目管理，安装时需要单独配置和启动，使用不同的端口提供服务。在 0.10.0 版本中，我们整合了 OpenAPI 和 API ，使用不同 URL Path 进行区分，通过一个项目来管理两套 API ，实现 Manager 只用部署一次的效果。

InLong Sort 增加 Pulsar 分拣能力

TubeMQ 的架构在性能和成本上拥有天然的优势，但没有多副本机制，可能会丢数据，而 Apache Pulsar 可以弥补这方面的不足。同时，为了实现 InLong 能够快速复用已有的消息队列服务，我们计划全链路支持 Pulsar ，在 0.10.0 版本中，InLong Sort 优先支持了 Pulsar 数据源的分拣能力，在后续版本中会完善 DataProxy->Pulsar、Manager->Pulsar ，实现 InLong 全链路支持 Apache Pulsar 。当然，我们也希望在未来全链路支持 Kafka 。

InLong Sort 支持指标系统

InLong Sort 中需要统计各个阶段数据条数的指标数据，如读入数据的条数，解析阶段失败/成功的数据条数，入库条数。指标系统用来统计系统各个阶段的数据条数，为了保证指标和数据语义的一致，我们通过 Flink 的 side output stream 输出指标。同时配合flink的窗口机制对指标进行预聚合，保证输出指标的量级不会太大。在 0.10.0 版本中，首先支持了通过日志的方式输出指标（At-least-once），后续我们计划扩展输出指标的系统，如 MySQL ，HBase 等，同时支持输出指标的 Exactly-once 。

InLong WebSite 国际化

上个版本重点是整合所有 InLong 所有模块，前端国际化没有来得及做，在这个版本一起优化了。InLong 当前还有很多待翻译的文档，计划在后续版本一起完善，期待英语不错的社区爱好者加入翻译大军。

InLong TubeMQ 优化 Web API

该特性将以往元数据变更后需要外部被动、批量的加载调整为由 Master 自动的分批加载，并且数据加载与后续的配置变更同步进行。

InLong Agent 重构 DataProxy 配置获取方式

InLong Agent 采集到数据后，会将数据发送到 DataProxy ，所以 DataProxy 的配置信息需要 Agent 提前拿到。在上个版本的实现中，我们在每个接入任务的Agent配置文件中指定 DataProxy 的地址等信息。而在 0.10.0 版本中，我们重构了这部分实现，交由 Manager 管理 DataProxy 地址等信息，Agent 中配置的接入任务直接通过 Manager OpenAPI 获取。

进一步整合 InLong 各模块

在上个版本，InLong 各个模块编译后的二进制文件分散在不同目录，启停配置、命名、端口使用等也不统一，InLong 给人一种“拼凑”的印象。在 0.10.0 版本中，为了进一步强化 InLong 整体性，我们将各个模块编译结果输出到统一目录，增加Maven编译 InLong WebSite ，并规范了目录、脚本等名称，重新整理了安装部署文档，使所有模块更加统一。

Apache InLong 后续规划

在 InLong 后续版本规划中，我们会进一步释放 InLong 的能力，覆盖更多的使用场景，主要包括

支持 Apache Pulsar 全链路数据接入能力
支持 ClickHouse、Apache Iceberg、Apache HBase 等数据流向
InLong on Kubernetes

Apache InLong 贡献者招募

Apache InLong目前还处在项目孵化的初期，还有很多工作需要做，包括社区运营、文档翻译、Feature 开发等，期待更多的开源爱好者一起共建。在过去的一个版本，Apache InLong 新增国内外贡献者 6 名，实现快速增长。当前社区重于代码，我们急需更多的贡献者加入快速发展的项目社区，努力将 InLong 打造成 Apache 顶级项目，以下为 InLong 重要发展时间点：

2019年9月12日，TubeMQ 对外开源并捐献给 Apache 社区；
2019年11月3日，进入 Apache 社区孵化；
2020年5月30日，按照 Apache 社区规范发布第一个社区版本；
2020年12月20日，进行项目改名讨论和投票；
2021年2月11日，发起社区改名变更申请；
2021年4月11日，完成社区改名，调整为 Apache InLong；
2021年7月12日，发起更名后第一个版本 0.9.0 投票。

Apache InLong项目官方网站：

https://inlong.apache.org/zh-cn/

Apache InLongGitHub地址：

https://github.com/apache/incubator-inlong

微信关注我们

原文链接：https://www.oschina.net/news/160698

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

石墨文档基于K8S的Go微服务实践（上篇）

1 架构演进互联网的WEB架构演进可以分为三个阶段：单体应用时期、垂直应用时期、微服务时期。单体应用时期一般处于一个公司的创业初期，他的好处就是运维简单、开发快速、能够快速适应业务需求变化。但是当业务发展到一定程度后，会发现许多业务会存在一些莫名奇妙的耦合，例如你修改了一个支付模块的函数，结果登录功能挂了。为了避免这种耦合，会将一些功能模块做一个垂直拆分，进行业务隔离，彼此之间功能相互不影响。但是在业务发展过程中，会发现垂直应用架构有许多相同的功能，需要重复开发或者复制粘贴代码。所以要解决以上复用功能的问题，我们可以将同一个业务领域内功能抽出来作为一个单独的服务，服务之间使用RPC进行远程调用，这就是我们常所说的微服务架构。总的来说，我们可以将这三个阶段总结为以下几点。单体应用架构快速、简单，但耦合性强；垂直应用架构隔离性、稳定性好，但复制粘贴代码会比较多；微服务架构可以说是兼顾了垂直应用架构的隔离性、稳定性，并且有很强的复用性能力。可以说微服务架构是公司发展壮大后，演进到某种阶段的必然趋势。但微服务真的那么美好吗？我们可以看到一个单体架构和微服务架构的对比图。在左图我们可以看...

2021-09-17

475

今年三月，FISCO BCOS MVP认定启动以来，社区涌现出众多优质开发者报名参与。他们或是区块链路上的探索者，或是自成一派的技术大牛。他们为社区贡献组件、优化工具，让更多后来人能够更方便快捷地上手FISCO BCOS；自发输出技术解析、使用案例等丰富内容，在不同途径布道FISCO BCOS，让初学者得以更好掌握门路。为了鼓励更多社区用户输出优质内容，挖掘并感恩对社区默默作出贡献的用户，社区启动下半年FISCO BCOS MVP认定，对技术专家、应用先锋、布道专家等进行荣誉认定。什么是MVP？ FISCO BCOS MVP（Most Valuable Professional）是为开源社区贡献高质量技术内容的FISCO BCOS意见先锋与意见领袖，他们满足以下特质：优秀专业技能，熟悉区块链技术和产业应用，对FISCO BCOS及生态内相关开源组件有较为深入研究；强大学习能力，聚焦区块链领域，不断总结实践，沉淀出优质的技术和应用内容，帮助更多开发者少走弯路；认同开源理念，乐于在社区内外布道，对丰富区块链内容、提升社区影响力做出积极贡献。成为MVP的条件除了上面所说的特质...

2021-09-17

522

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。