首页 文章 精选 留言 我的

精选列表

搜索[k],共10000篇文章
优秀的个人博客,低调大师

跟着 8.6k Star 的开源数据库,搞 RAG!

过去 9 年里,HelloGitHub 月刊累计收录了 3000 多个开源项目。然而,随着项目数量的增加,不少用户反馈:"搜索功能不好用,找不到想要的项目!" 这让我意识到,仅仅收录项目是不够的,还需要通过更智能的方式,帮助用户找到心仪的开源项目。于是,我开始探索如何通过 RAG 技术解决这个问题。 检索增强生成(RAG),是赋予生成式人工智能模型信息检索能力的技术。 RAG 技术我早有耳闻,但却一直不知道该从哪里入手。虽然现在有不少容易上手的 RAG 低代码平台,但我不想只停留在"会用"的层面,更希望了解它的实现细节,否则不敢在生产环境中用。不过,要让我直接用 LangChain 和 Ollama 从零搭建一个 RAG 系统,还真有点心里没底。 还好最近 OceanBase 搞事情,在 4.3.3 版本里支持了向量检索功能,更贴心的是,还专门为像我这样对 RAG 感兴趣的新手,准备了一个用 Python 搭建 RAG 聊天机器人的实战教程。 GitHub 地址:github.com/oceanbase/oceanbase 光看永远只是纸上谈兵,所以我干脆上手把玩了一番。 接下来,我将分享如何基于该项目,打造一款 HelloGitHub 开源社区的聊天机器人,内容包括实现过程、细节优化,以及对 RAG 技术的理解与未来展望。 一、介绍 OceanBase 开源的 RAG 聊天机器人,能够通过自然对话更精准地回答与 OceanBase 文档相关的问题。 该项目是基于 langchain、langchain-oceanbase 和 streamlit 构建,处理流程是先将 OceanBase 数据库的文档,通过 Embedding 模型转化为向量数据,并存储在 OceanBase 数据库中。当用户提问时,系统会用相同的模型将问题转化为向量,然后通过向量检索找到相关的文档内容,再将这些文档作为上下文提交给大语言模型,从而生成更精准的回答。 在线体验:oceanbase.com/obi 体验后,我感觉效果还不错,于是就萌生了一个想法:能不能把 OceanBase 的文档,换成 HelloGitHub 月刊的 Markdown 文件,灌进系统里,这样不就摇身一变,成为 HelloGitHub 专属的聊天机器人了吗? 说干就干! 二、安装运行 在开始改造之前,首先需要把项目跑起来。安装运行的步骤在 OceanBase 提供的实战教程中已经很详细了,这里不再过多介绍。运行步骤如下: 执行 embed_docs.py 脚本,将文档内容向量化后存储到 OB 启动项目 streamlit run --server.runOnSave false chat_ui.py 启动成功将自动跳转至此界面: 建议: Python 版本管理:运行需要 Python 3.9+,建议使用 pyenv 管理项目的 Python 版本。 查看数据库:不论是通过 Docker 部署 OceanBase 还是使用 OB Cloud,都建议在本地通过 GUI 工具查看数据库,有助于开发和调试。 运行 embed_docs.py 脚本后,查看数据库中的表,你会发现这些字段: document:存储原始的文档内容 embedding:存储文档向量化后的数据 metadata:记录文档的名称、路径以及切分后的标题等信息 其中 embedding 列是一个类似数组形式的数据,这个就是通过 Embedding 模型将文档片段转化为向量数据的结果。这些向量数据能够捕捉文本的语义信息,使计算机能够更好地理解文本的含义,从而实现类似语义搜索的功能(计算距离),为后续问题与文档内容的匹配提供基础。 三、动手改造 这个项目除了支持 LLMs API,还可以切换为本地的 Ollama API 使用,只需修改 .env 配置文件即可完成调整: # 使用支持 embed API 的模型 OLLAMA_URL=localhost:11434/api/embed OLLAMA_TOKEN= OLLAMA_MODEL=all-minilm 注意:在调用第三方付费 API 时,一定要注意使用量,建议仅导入部分文档用于测试,或用本地 LLM 调试逻辑,避免不必要的花费。 3.1 导入 HelloGitHub 月刊 通过 embed_docs.py 脚本,将 HelloGitHub 月刊内容向量化并导入到 OceanBase 数据库,命令如下: python embed_docs.py --doc_base /HelloGitHub/content --table_name hg 参数说明: doc_base:HelloGitHub 内容目录 table_name:脚本会自动创建该表,并将数据存储到表中。 但是运行后,我查看数据库时发现 document 字段中包含了许多无意义的内容,例如格式符号或无关信息: 面对这些噪声数据,我编写了一个脚本,清洗 HelloGitHub 月刊文件中无关的格式符号和冗余内容,并重新导入数据库。 3.2 启动服务 在启动服务时,需要通过环境变量 TABLE_NAME 指定要使用的表。命令如下: TABLE_NAME=hg2 streamlit run --server.runOnSave false chat_ui.py 我试了一下,回答的效果并不理想: 经过测试,我分析问答效果欠佳的原因,可能包括以下几点: 向量化效果:所选用的模型 all-minilm 仅有 384 维度,可以尝试更大的 Embedding 模型; 数据清理:虽然清理了一部分无用内容,但可能还有一些噪声数据未处理完全; 文档完整性:HelloGitHub 的内容结构是否适合问答模型需要进一步分析; 提示词:需要完善提示词设计,补充更多上下文; 四、优化问答效果 我开始对 RAG 有些感觉了,所以准备切换到付费但效果更好的通义千问 text-embedding-v3 模型(1024 维度),进行调试。 4.1 数据优化 为提升问答效果,我决定进一步优化 document 的构造方式。具体思路是:将 HelloGitHub 网站中的表导入至 OceanBase 数据库,并基于这些表的数据,构建更干净和精准的内容。这样可以最大程度地确保项目数据的全面性,同时减少无关内容的干扰,提升向量检索相关性。 导入表到 OceanBase OceanBase 和 MySQL 高度兼容,因此,我直接用 Navicat 将 HelloGitHub 的数据表结构和内容,从 MySQL 无缝迁移到了 OceanBase。然后我写了一个 embed_sql.py 脚本,通过直接查询相关表的数据,进而生成更精简的内容(document),同时补充元数据(metadata),并存储到数据库。核心代码如下: # 构建内容(document) content = f"""{row.get('name', '未知')}:{row.get('title', '未知标题')}。{row.get('summary', '暂无概要')}""" # 构建元数据(metadata) metadata = { "repository_name": row.get("name", "N/A"), # 仓库名称 "repository_url": row.get("url", "N/A"), # 仓库链接 "description": row.get("summary", "N/A"), # 项目描述 "category_name": row.get("category_name", "N/A"), # 类别名称 "language": row.get("primary_lang", "N/A"), # 主要编程语言 "chunk_title": row.get("name", "N/A"), "enhanced_title": f'内容 -> {row.get("category_name", "N/A")} -> {row.get("name", "N/A")}' ... } # 将内容和元数据添加到文档对象 docs.append(Document(page_content=content.strip(), metadata=metadata)) # 存储到数据库 vs.add_documents( docs, ids=[str(uuid.uuid4()) for _ in range(len(docs))], ) 经过多轮调试和对比,我发现 document 数据越精简,向量检索效果越好 ,随后将完整的数据集存入 OceanBase 数据库的 hg5 表。 python embed_sql.py --table_name hg5 --limit=4000 args Namespace(table_name='hg5', batch_size=4, limit=4000, echo=False) Using RemoteOpenAI Processing: 100%|███████████████████████████████████████████████████████████████████████▉| 3356/3357 [09:33<00:00, 5.85row/s] 至此,基于数据库表构造的 document 数据,已经非常干净了。 4.2 提示词优化 在优化完数据后,我开始思考如何优化提示词,并对 LLM 的回答进行引导和强化。以下是针对 LLM 提示词优化的方向: 明确背景和任务:在提示词中设定问答的背景并限制问题的范围,例如,确保问题只涉及开源项目或 HelloGitHub 的内容。 丰富上下文:将 metadata(元数据) 和 document(项目描述)同时提供给大模型,让 LLM 有更多上下文来生成精确回答。 高质量示例:提供高质量的回答示例,统一输出格式。 约束逻辑:明确要求 LLM 不得虚构答案。如无法回答问题,需清楚指出知识盲点,并合理提供方向性建议。 4.3 处理流程优化 在优化向量检索和回答的流程方面,我做了以下改进: 扩大检索范围:向量检索默认只返回前 10 条最高相似度的内容。我将其扩展至 20 条,为 LLM 提供更多上下文选择。 判断相关性:使用提示词指导 LLM 在输出答案前,先判断问题是否与 HelloGitHub 或开源项目相关,避免生成无关回答。 提炼回答:基于用户输入分析意图后,选出最相关的 5 个项目,并结合元数据生成更贴合用户需求的回答。 4.4 效果展示 除了上面的优化,我还进一步简化了页面、删除用不到的代码,最终呈现效果如下: 回答效果对比: 通过切换至通义千问 text-embedding-v3 模型,同时优化数据、提示词策略和问答流程,让这套 RAG 系统的回答质量有了明显提升,我打算自己盘一盘再上线。所以先放出源码,感兴趣的小伙伴可以作为参考: GitHub 地址:github.com/521xueweihan/ai-workshop-2024 五、最后 在构建 HelloGitHub 的 RAG 聊天机器人过程中,回答效果一直不好,让我一度产生了放弃的念头。但当我通过查询表里的数据构造 document,并使用维度更大的 Embeding 模型后,回答效果直线提升,才让我重新看到了希望。 这段经历也让我开始认真思考:优化 RAG 的关键是什么?我的答案是 数据+检索 。如今,许多企业希望借助 AI 技术赋能已有服务,RAG 则是一种门槛较低的通用解决方案。在这一过程中,数据质量决定了基础,高质量数据往往是从海量数据提纯而来。检索则是确保内容能够被快速且准确提取的关键。否则不管提示词再怎么优化,也无法检索到有价值的内容,就无法实现增强的效果。 另外,我认为在未来的 RAG 应用中,除了向量数据,数据库还需要具备一些关键能力来确保检索和生成的高效性。例如,支持关系型数据和向量数据的混合搜索,不仅能处理结构化和非结构化数据,还能有效减少 RAG 模型中的"幻觉"问题,从而让生成的答案更准确、更有根据。图搜索(知识图谱)同样很重要,它为 RAG 提供复杂推理所需的背景信息,提升生成质量。此外,RAG 应用在许多场景中需要频繁更新和同步数据,因此数据库还需支持实时查询、低延迟响应、事务处理和高可用性,这些是确保 RAG 高效运行的基础。 OceanBase 的分布式架构优势,让它在面对海量数据时依然游刃有余。而新引入的向量存储和检索能力,使得我们能够通过 SQL 轻松获取最"干净"的数据,并在同一个数据库内完成向量化操作。OceanBase 未来可期! GitHub 地址:github.com/oceanbase/oceanbase 虽然 RAG 技术目前还不像 Web 开发那么成熟,但作为一个潜力巨大的技术方向,值得我们持续关注和学习。作为一名刚刚踏上 RAG 探索之旅的小白,我还有很多需要学习的地方。如果你也对 RAG 充满兴趣,欢迎结伴而行、共同成长!

优秀的个人博客,低调大师

2.3k Star!强得不像开源的问卷调研平台

产品 :咱们的新功能上线了,得问问用户的意见,做个调研问卷吧! 运营 :对啊,用户意见很重要,我们要认真听取反馈! 领导 :问卷别搞得像考试。我们要的是真实的声音,而不是让用户头疼的题目。 程序员:收到! 然而,目前市面上的在线协作文档虽然具备问卷功能,但其有限的功能和缺乏个性化的界面,容易让产品经理感到不满。此外,尽管低代码平台能够快速创建个性化页面,但缺少强大的数据收集和分析能力,无法满足运营人员的需求。最后,如果花钱弄个问卷或投入大量时间做个问卷平台,领导可能会不太高兴。😮‍💨 先不急动手,遇事找开源!今天 HelloGitHub 带来的是一款免费、专业的开源问卷调研系统------小桔调研(XIAOJUSURVEY)。这款由滴滴内部孵化的开源项目,其核心理念是"让调研更轻松",提供面向个人和企业的一站式产品级解决方案。 GitHub 地址:github.com/didi/xiaoju-survey 在线演示:xiaojuwenjuan.com/render/LWpBOxRx 随着对小桔调研(XIAOJUSURVEY)的深入了解,我才逐渐发现它的强大之处。虽然最初是用它做调研问卷,但小桔的功能远不止于此。在线考试、报名预约、评估反馈,对于它来说都只是小菜一碟,更有强大的数据可视化、分析和导出等功能。 接下来,让我们一起走进 XIAOJUSURVEY,将这款开源神器收入囊中吧! 一、介绍 XIAOJUSURVEY 是一套轻量、安全的调研系统,提供面向个人和企业的一站式产品级解决方案,可用于构建各类问卷、考试、测评和复杂表单,快速满足各类线上调研场景。特性如下: 🌈 易用 多类型数据采集,轻松创建调研表单:文本输入、数据选择、评分、投票、文件上传等。 智能逻辑编排,设计多规则动态表单:显示逻辑、跳转逻辑、选项引用、题目引用等。 精细权限管理,支持高效团队协同:空间管理、多角色权限管理等。 数据在线分析和导出,洞察调研结果:数据导出、回收数据管理、分题统计、交叉分析等。 🎨 好看 主题自由定制,适配您的品牌:自定义颜色、背景、图片、Logo、结果页规则等。 无缝嵌入各终端,满足不同场景需求:多端嵌入式小问卷 SDK。 🚀 安全、可扩展 安全能力可扩展,提供安全相关建设的经验指导:传输加密、敏感词库、发布审查等。 自定义 Hook 配置,轻松集成多方系统与各类工具:数据推送集成、消息推送集成等。 在开源社区中,问卷系统和表单引擎种类繁多,我们为什么选择 XIAOJUSURVEY 呢?为此,小编挑选了几个同类型的开源项目(平台)做了个简单的对比,以便大家更直观地感受到 XIAOJUSURVEY 的开源态度。 结论 :XIAOJUSURVEY 功能丰富且完全免费,并支持私有化部署,普通用户可以免费使用在线服务满足调研问卷和在线考试的需求。程序员则可以基于源码进行二次开发,而不仅仅是在本地运行一个 Docker 镜像。 二、快速上手 XIAOJUSURVEY 作为一款开源的调研问卷系统,支持手动部署和 Docker 一键启动,方便用户灵活部署和使用。 2.1 手动部署 // repo git clone git@github.com:didi/xiaoju-survey.git // server cd server npm install npm run local // 启动服务端 // 管理后台:localhost:8080/management // web cd web npm install npm run serve // 启动前端 // 访问前端:localhost:8080/render/:surveyPath 环境指导查看 >> 快速开始 2.2 Docker 部署 docker pull xiaojusurvey/xiaoju-survey 更多部署方式查看 >> 工程部署 三、技术原理 调研系统在满意度调研、360 环评、CEM、考试、测评等场景中应用广泛。虽然这些应用场景各有不同,但它们对调研系统的核心需求却有着显著的共通点:多样化的数据采集能力和多策略的数据分析。 调研系统设计的本质是收集数据与洞察数据。数据的生命周期从问卷创建时的定义开始,贯穿于数据的收集、加工、处理,直至分析和追踪数据的血缘关系。在这个连续的过程中,数据不断被转化和提炼。XIAOJUSURVEY 通过使用 Schema 来精确表达领域知识、定义数据结构以及数据间的关联,使得问卷能够灵活适应多样化的应用场景。 B 端(Editor)问卷设计实际是在设置问卷 schema 的值。 C 端(客户端)基于 schema 生成问卷内容,进而产生回收数据。 大多数传统的调研系统是通过 Web 页面进行问卷投放,而 XIAOJUSURVEY 则通过扩展嵌入式问卷技术,实现全端适配和渲染,让用户无需跳转页面即可完成问卷填写,大大提升了用户体验。 以下是 React Native 版 SDK 的演示: 由于篇幅限制以及小编能力有限,此处不再详细阐述技术原理,更多架构和技术原理可查看文档中的 设计原理。 四、未来计划 尽管我已经觉得 XIAOJUSURVEY 足够强大了,但当我看到他们的宏伟蓝图时,仍不禁感到震撼。一套完整的调研系统,其内部机制和运作逻辑显然比我们当前所探讨的要复杂得多。 五、社区活跃 随着继续深扒 XIAOJUSURVEY 开源项目,我发现小桔不仅有严谨和专业的一面,还有活泼快乐、搞事情的一面。 5.1 微信表情包 你是在"岁月静好"还是"专心摸鱼"呢? 5.2 社区活动 虽然小桔才刚刚"出道",但已举办过两期社区活动,并且是在 issues 上发布的(#313 和 #430),真的是为开源爱好者准备的福利。重点是他们的周边是真的好看,小桔实在是太可爱了! 5.3 参与贡献 很多开源小白常常担心自己的技术能力不足,无法参与到开源项目的贡献中。然而,小桔的开源社区对新手和不同技术栈的开发者都非常友好。社区不仅提供了完整的成长机制,还欢迎各种形式的贡献,不仅仅局限于代码。 六、结尾 XIAOJUSURVEY 的愿景是"让调研更轻松"。从他们的每一个细节都可以看出,无论是开源的诚意、免费的在线服务,还是活跃的开源社区,他们都在努力朝着这个目标不断前进。 最后,如果你在找一款免费、专业的开源问卷系统,给小桔(XIAOJUSURVEY)一个机会,相信它一定不会让你失望的。开源不易感谢 Star~ GitHub 地址:github.com/didi/xiaoju-survey 询问AI

优秀的个人博客,低调大师

1.3k Star!免费部署私人聊天工具—VoceChat

随着网络的广泛应用,数据安全和隐私保护变得非常重要,已经成为我们日常生活中不可或缺的一部分。在这个信息时代,我们不仅需要享受网络带来的便利,更要关注个人数据的安全性,让数据完全由用户自己掌握。 应用简览 VoceChat 是一款支持独立部署的安全聊天软件。是当今市场上最小、最稳定、最高效的独立聊天服务器支持全程加密传输,读取后可立即刻录。 VoceChat 适用于小型团队内部交流、网站嵌入、私人聊天等场景。 主要功能 支持Markdown格式: 可以在聊天中使用Markdown格式,以便更丰富地编辑和分享文本内容。 数据安全: 系统注重数据安全,采取相应的措施来确保用户的数据在传输和存储过程中得到充分的保护。 支持中英文: 提供中英文双语支持,以满足不同用户的语言需求。 支持第三方登录: 用户可以通过第三方登录方式(如Google、GitHub等)进行账户登录,提高登录的便捷性和选择性。 邀请用户: 用户可以通过应用内的邀请功能,邀请其他用户加入VoceChat,扩大用户社交圈或团队。 支持移动端: VoceChat提供移动端应用,用户可以在手机或其他移动设备上使用应用,方便随时随地进行聊天和互动。 文件传输: 用户可以方便地在VoceChat中进行文件传输,包括发送和接收各种类型的文件,如照片、文档、音频等。 收藏管理: 用户可以使用收藏管理功能,将重要的消息、文件或链接保存在收藏夹中,方便随时查看和整理。 应用特色 一、链接邀请 提供了简便的邀请功能,通过邀请链接或其他方式,能轻松邀请朋友或团队成员加入。 二、设置第三方登录 通过设置第三方登录,VoceChat实现了便捷的账户登录方式,用户可使用已有账户,简化登录流程,提高用户体验。 三、支持移动端 VoceChat在移动端上提供了全面支持,用户可以随时随地使用应用,保障了流畅的移动使用体验。 四、Markdown格式聊天 支持Markdown格式聊天使用户能够以更富表现力的方式进行沟通,创造更丰富多彩的聊天体验。 五、收藏管理 收藏管理功能让用户轻松保存和整理重要信息,提高工作和沟通效率,方便快捷地查看和管理已收藏的内容。 安装指南 进入云原生应用市场 搜索 VoceChat 进入详情,选择包类型(本应用支持,docker安装,ram安装) 点击安装,执行相应命令即可。如有疑问可参阅使用文档或加入社区 关于云原生应用市场 云原生应用市场是一个汇聚了各类开源软件的应用市场,不仅可以作为你自己的 Helm Chart 仓库,提供丰富多样的Helm应用,还有 Docker 应用、Rainbond 应用模板、信创应用等多种选择。 官网:https://hub.grapps.cn/ 微信群:关注 云原生应用市场 公众号加入技术交流群

优秀的个人博客,低调大师

这款 7k Star 的国产监控系统,真不错!

我们都知道天下没有“永不宕机”的系统,但每次线上出问题都要拉出一个程序员“祭天”。所以一款靠谱、好用的监控工具就显得十分重要,它可以在生产环境出故障的第一时间发出告警,并提供详实的数据,帮助程序员尽早发现故障、尽快定位问题。 可以毫不夸张地说:监控就是运维的眼睛、研发的“免死金牌”,程序员“明哲保身、自证清白”的必备利器! 一、夜莺监控 今天 HelloGitHub 给大家带来的是一款开箱即用、默认中文、界面美观的开源监控系统——夜莺监控(Nightingale),100% 国产更懂你的苦。你还在为搭建/配置/调优「Prometheus + AlertManager + Grafana」的监控平台而烦恼吗?开箱即用的夜莺监控轻松解决你的问题。 GitHub:https://github.com/ccfos/nightingale 夜莺监控是一款先进的开源云原生监控分析系统,采用 All-In-One 的设计,集数据采集、可视化、监控告警、数据分析、权限管理于一体,拥有企业级的监控分析和告警能力。 夜莺监控在运维圈里很有名,它“出身名门”最初是由滴滴孵化并开源,在此期间沉淀了一线互联网公司可观测性的最佳实践,有大厂的实践背书可靠性和实用性上毋庸置疑。之后则捐赠给了中国计算机学会(CCF)进行托管,由运维圈的“老炮”秦晓辉等人设计、开发和维护。截止到发文前,夜莺监控已在 GitHub 上获得了 7200+ 个 Star、1200+ 次 Fork,发展势头迅猛、开源社区活跃,并且已经服务了上千家分布在各行各业的企业。 接下来,就和 HelloGitHub 一起上手这款开箱即用的开源监控利器吧! 二、安装启动 最简单的部署方式是使用 docker-compose,可实现一键启动,执行下面的命令即可: git clone https://github.com/ccfos/nightingale.git cd nightingale/docker docker-compose up -d # 成功后会有以下输出 # Creating mysql ... done # Creating redis ... done # Creating prometheus ... done # Creating ibex ... done # Creating agentd ... done # Creating n9e ... done # Creating telegraf ... done 启动之后浏览器直接访问:127.0.0.1:17000,输入账号 root 密码:root.2020,登陆后就能看到管理界面啦! 不过,我还是更推荐大家使用二进制方式部署,因为这种方式不依赖 Docker、更稳定、升级也方便,可用于生产环境(官方推荐),部署起来也不麻烦,也就多几行命令的事。下面是 linux x86 环境的示例和注解: # 创建个 n9e 的目录,后面把 n9e 相关的文件解压到这里 mkdir -p /opt/n9e &amp;&amp; cd /opt/n9e # 下载 n9e 发布包,amd64 是 x84 的包,下载站点也提供 arm64 的包,如果需要其他平台的包则要自行编译了 tarball=n9e-v6.1.0-linux-amd64.tar.gz urlpath=https://download.flashcat.cloud/${tarball} wget -q $urlpath || exit 1 # 解压缩发布包 tar zxvf ${tarball} # 解压缩之后,可以看到 n9e.sql 是建表语句,导入数据库 mysql -uroot -p1234 &lt; n9e.sql # 启动 n9e,先使用 nohup 简单测试,如果需要 systemd 托管,请自行准备 service 文件 nohup ./n9e &amp;&gt; n9e.log &amp; # 检查 n9e.log 是否有异常日志,检查端口是否在监听,正常应该监听在 17000 ss -tlnp|grep 17000 至此,安装部分就结束了,接下来就是上手体验了。 三、快速上手 3.1 配置数据源 夜莺不生产日志,只是日志的“监工”。所以安装完第一件事就是配置日志数据,用法类似 Grafana 可直接接入数据源,菜单位置:「系统配置」-「数据源」,目前支持:prometheus、victoriametrics、thanos、m3、elasticsearch、loki 等数据源。 完成数据源接入之后,就可以十分方便地通过可视化的方式查看日志了。 夜莺默认提供了一些可视化大盘(菜单位置:「仪表盘」-「内置仪表盘」)和内置告警规则(菜单位置:「告警管理」-「内置规则」),导入自己的业务组(这是个管理概念,不同的告警规则和仪表盘可以使用不同的业务组分门别类管理 + 控制权限)就能使用啦。 3.2 好看的仪表盘 夜莺的仪表盘展示效果美观、性能出众、功能丰富,虽然还没有 Grafana 的全面,但基本可以作为 Grafana 的国产化平替了。夜莺的仪表盘支持暗黑主题,效果如下: 前端 GitHub 地址:https://github.com/n9e/fe 3.3 采集器 如果之前没有做过监控数据收集,可以使用夜莺团队提供的采集器 categraf,这同样是一款开源的 telemetry 数据采集器,它内置了 OS、SNMP、IPMI、MySQL、Redis、MongoDB、Oracle、Kafka、ElasticSearch、cAdvisor 等多种采集插件。 GitHub:https://github.com/flashcatcloud/categraf 当然,也可以使用其他采集器,比如 telegraf、grafana-agent 等,但是 categraf 的对接最为丝滑。夜莺支持多种数据接入协议,比如 prometheus remote write、OpenTSDB、Datadog 等,接收到数据之后做统一转换,然后转发给后端时序库,具体转发给哪些时序库可以在夜莺的配置文件中配置。 3.4 告警管理 灵活的告警是优秀监控系统的标配,夜莺在这方面做得十分出色。它可以将一套规则应用于多个数据源,支持级别抑制、生效时间、告警屏蔽、告警订阅、告警自愈等规则。 级别抑制:高级别抑制低级别告警,比如磁盘利用率超过 95% 产生 P1 告警,超过 85% 产生 P2 告警,如果某一时刻磁盘利用率跑到 100%,就只会触发 P1 告警,P2 被抑制,避免告警打扰; 生效时间:可配置告警规则判定的生效时间,支持配置不同的多个日期和时段; 告警屏蔽:减少已知告警的干扰,比如某个机器要维护,可以提前屏蔽相关告警; 告警订阅:告警消息分组通知; 告警自愈:告警可触发预先设定好的脚本,自动解决故障; 菜单「告警管理」-「规则配置」的界面和示例如下: 四、深入了解 监控并不仅仅是可视化+告警那么简单,里面有很多道道,下面让我们“往下”走一点,深入了解下夜莺监控的架构和解决的痛点。 4.1 架构介绍 夜莺作为一款 Go 写的监控系统,不仅部署方便,而且整体设计上非常开放和灵活,可以和开源生态上其他软件组合使用,适用于已有监控系统升级或从零搭建监控平台等场景。 采集器:可对接 telegraf、categraf、grafana-agent、datadog-agent、以及各类 exporter; 存储:可对接 prometheus、thanos、m3、victoriametrics 等; 架构图如下: 从依赖上看,夜莺就只依赖 MySQL 和 Redis,它俩对于技术人员来说,都是非常熟悉的。除此之外,夜莺在部署时只需一个二进制文件 + 配置文件,将开箱即用的精神贯彻到底! 4.2 项目结构 下面简单介绍一下夜莺的项目结构,即核心功能模块介绍,方便想要深入了解夜莺的同学快速进入源码。 ➜ # 夜莺的目录结构介绍 . ├── ... ├── alert 告警引擎相关逻辑,对 Prometheus、Loki、TDEngine 等数据源做异常数据判断并产生告警事件。 ├── center Web 后端的逻辑。 ├── cli 命令行工具,用于 v5 版本升级 v6 版本时的数据迁移。 ├── cmd 入口包,所有的二进制的 main 函数入口都在这里。 ├── conf 配置文件在内存里映射的数据结构。 ├── docker 容器相关的文件,包括 Dockerfile 和 docker-compose 等,数据库的建表 SQL 也在这里。 ├── etc 配置文件,重点关注 config.toml,如果使用了边缘机房的部署方案,还需要关注 edge.toml。 ├── integrations 集成目录,包含比如 MySQL、Redis、Elasticsearch 等各个监控目标的内置仪表盘、告警规则等。 ├── models 数据库操作相关的代码。 ├── pkg 通用 lib 库。 ├── prom Prometheus 相关的代码,包括 remote write 写数据以及查询接口的封装。 ├── tdengine 查询 TDEngine(时序数据库)相关的代码。 ├── storage MySQL 和 Redis 的初始化连接相关的代码。 └── pushgw Pushgateway 相关的代码,用于接收 remote write 数据、opentsdb 格式的数据、datadog 格式的数据、open-falcon 格式的数据,然后统一做格式转换写入后端存储。 4.3 多机房场景 你是否遇到过需要监控多机房的场景? 目前,大多数公司都有很多机房,它们分布在不同的区域,这让监控变得不再简单。因为如果机房之间网络链路很好,那么只需要部署一套监控系统就搞定了。但如果机房之间的网络不太好,无法做到监控数据实时、可靠的上传,但是告警规则又想在一个中心管理。 这个时候就需要高级部署方案,夜莺就提供了现成的边缘机房部署方案,可以方便地解决上面的问题。架构图如下: 通过夜莺提供的高级部署方案,即在网络不好的机房(边缘)部署(下沉)时序数据库和告警引擎(n9e-edge),从而保证数据不丢失和告警规则的同步,轻松构建统一的监控中心,实现多机房监控只需管理一套告警规则和可视化平台。 真·企业级监控和告警一体化解决方案! 五、最后 开源的监控系统,目前用的比较广泛的是 Zabbix 和 Prometheus,但它们或多或少都有一些不擅长的场景。 Zabbix 擅长设备监控,对各类操作系统、网络设备有较好的兼容适配,但是不擅长微服务和云原生环境的监控。 不擅长动态变化对象的监控:Zabbix 是资产管理式,在云原生环境下,资产是动态变化的,比如 Pod、Service、Deployment 等。 不擅长微服务的监控:在微服务和云原生环境下,监控指标爆炸性增长,而且指标有不同的维度描述,Zabbix 使用关系型数据库存储时序数据,不擅长处理这种大规模的多维度的指标数据。 Prometheus 擅长微服务和云原生环境的监控,基本已经成为 Kubernetes 的标配,在云原生环境下非常流行,但它也有缺点。 设计上偏工具化,使用配置文件来管理规则,缺少权限化管理的 WebUI。 使用 Prometheus 的公司通常会不止一套,比如每个 Kubernetes 一套 Prometheus,多个 Prometheus 可能有很多相同的规则,管理起来比较重复。 其他一些小点:告警引擎是单点,告警事件没有持久化;告警规则缺乏一些更为灵活的配置,比如生效时间; 夜莺作为一款开源的云原生监控系统,在云原生方面有着先天优势,而且使用国外的开源监控项目,最担心的就是没有技术支持,夜莺作为“100% 国产”开源项目,在技术支持上分为社区支持和商业支持(响应更及时)两种,服务的企业用户已有上千家,比如移动、联通、电信、米哈游、莉莉丝、方正证券、国泰君安、海底捞、海康、搜狐、新浪等,分布在各行各业。 最后,还是那句话:开源不易如果觉得夜莺监控不错的话,就请给个 Star 支持一下,试用反馈遇到的问题,也是对开源的一种支持! GitHub:https://github.com/ccfos/nightingale 官网:https://flashcat.cloud/ 没有能搞定一切的银弹,或许这也是技术一直在更新迭代的动力之一吧! 所以不要停下学习的脚步👣

优秀的个人博客,低调大师

Cairo 图形库不再支持 OpenGL,删除 14k 行代码

Cairo 是一个开源的图形库,为软件开发者提供了一个基于矢量图形、独立于设备的 API。Cairo 支持输出到一些不同的后端,后端支持包括 X11、Apple Quartz、Win32,以及 PNG、PDF、PostScript、DirectFB 和 SVG 等文件格式。 Cairo 被设计用来在所有的输出媒体上产生一致的输出,同时可以利用硬件加速的优势。 由于 Cairo 提供了跨平台支持,因此在开源社区中广受欢迎。其中包括 Firefox、WebKit、Mono、矢量图形应用 Inkscape,甚至是索尼的 PlayStation 都有在使用 Cairo,而且从 GTK 3 开始所有的渲染都是使用 Cairo 完成的。 虽然 Cairo 也曾实验性地支持 OpenGL,但如今相关代码已经被彻底删除,Cairo 不再支持 OpenGL。 在差不多一年前,Cairo 仓库中出现了一个名为 Drop cairo-gl(放弃 Cairo-gl)的合并请求,合并请求的描述则是写到: Cairo 的 GL 支持一直是一个原型,在过去的 10 年里,没有发生任何事情使它能够如大家所期望的那样正常运作。 正是这样的原因让 Cairo 最终放弃了对 OpenGL 的支持,目前所有的 Cairo OpenGL 代码都已被删除,从下图可以看到,此次一共删除了 14014 行代码。 OpenGL 也成为了自 2022 年放弃 BeOS、OS/2 和 DirectFB 后端后,又一个 “上榜” 的项目。

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

用户登录
用户注册