首页 文章 精选 留言 我的

精选列表

搜索[开启],共10000篇文章
优秀的个人博客,低调大师

不容错过 | IvorySQL外部贡献者计划开启,寻找开源锦鲤!

在广袤的开源世界中,众多优秀的开发者默默耕耘,为技术进步贡献着自己的力量。然而,有时候机会就像一条巨大的锦鲤,突然跃出水面,让你成为众人瞩目的焦点。这一次,你的机会来了,你就是IvorySQL要找的锦鲤!为IvorySQL代码做贡献,赢取「“象牙币”,换取等价奖金!」 你的每一行代码、每一个改进都将为IvorySQL增添新的活力和可能,享受这个过程,相信自己的能力,你将成为IvorySQL重要核心开发成员。无论你是有经验的开发者还是刚刚入门的新手,我们都欢迎您的加入! PART.01 参与步骤 1、登录GitHub,进入IvorySQL的项目主页 https://github.com/IvorySQL 2、选择/创建您想要贡献的Issue 点击页面中的“Projects”按钮,然后点击“IvorySQL Developer Event 2023”进入本次开发者活动的Issue列表,选择/创建您想要贡献的Issue。 3、提交代码,完成合并 将对应项目的代码Fork至您的个人 GitHub 账户,创建一个新的Branch进行代码修改,本地测试完成后提交PR,等待维护者Review,符合标准的PR将被Merge,Merge后即视合入PR完成。 注意: PR内容中需添加对应的Issue编号--“#xxx”。 提交PR后,您可将PR链接粘贴至对应Issue评论中,有助于维护者更快Merge您的PR。 Dear Developer: 如果您发现了master分支上新的问题或者愿意提交新的功能,欢迎到 IvorySQL 项目中创建新的 Issue,并联系我们的工作人员将该 Issue加入到本次开发者活动中的Issue 列表中。 By IvorySQL PART.02 活动奖励 PART.03 评选规则 您的代码将会由IvorySQL代码评审委员会进行严格审核并给出审核意见,我们会根据合入PR代码进行综合评估排名,并发放相应的荣誉和奖金。IvorySQL社区坚守公开透明的原则,将对贡献人员及其贡献代码进行公示,确保活动的公平和公正。 活动周期:8月24日--10月13日 24:00 Dear Developer: 在您提交Issue或PR后,我们建议与对应项目维护人员通过评论等方式进行交流,有效沟通有助于加快PR的合入进程,确保您的贡献能够及时被接纳。 By IvorySQL 活动交流群 小助理微信 *有任何问题请联系下方小助理微信(IvorySQL_official)。 *活动具体操作指南,请查看:https://kdocs.cn/l/cnFjqyrwWvQD *如活动交流群二维码过期,请添加小助理微信进入活动交流群。 *注:本次活动最终解释权归IvorySQL社区所有

优秀的个人博客,低调大师

GSoC 2023 报名开启:和 WasmEdge 一起构建云计算的未来吧

最近,Google Summer of Code 2023 公布了入选的开源组织。 通过 CNCF Mentoring 平台,WasmEdge 成功入选 GSoC 2023。 GSoC 2023 已经在3月20日正式开放个人申请,快来申请 WasmEdge 的两个 GSoC 项目, 一起构建云计算的未来。 什么是 GSoC? Google Summer of Code 是谷歌发起的,用于将新贡献者引入开源社区的在线指导计划项目。在过去的18年里,来自112个国家的 19000 多名开发者 18000 名导师的指导下,为开源项目做了贡献。18岁及以上的学生或开源新贡献者将在 GSoC 项目中与导师一对一搭档,解决开源项目的真实问题。通过 GSoC,开源项目的贡献者可以获得真实的软件开发经验,并在开源世界中留下自己的印记。当然,贡献者的努力和时间也会得到金钱上的回报! 通常来说,年满18周岁的开发者都可以申请 GSoC。 WasmEdge 介绍 WasmEdge 是一个WebAssembly 运行时,特别为服务器端和云原生应用优化。它提供了许多对云计算至关重要的独特的功能。例如,支持 完整的 WebAssembly 规范,以及新兴的规范,如线程、GC 和组件模型。 高级 networking 如 HTTP/S 客户端和服务器,数据库连接,消息队列连接。 基于流行框架的AI推理,如 Tensorflow,OpenVino,PyTorch High level 语言应用,包括 JavaScript、Python、PHP和 Ruby。开发者可以运行完整的 node.js 应用程序。 多种 APIs 用 Rust, Go,C/C++, JavaScript 创建 Wasm 应用。 多种 SDKs,将 WasmEdge 嵌入到现有的以其他语言编写的应用程序。 此外,WasmEdge 提供了一个灵活的插件架构 允许开发者为其添加更多功能,并通过广泛的开源合作伙伴充分发掘众多集成和分发渠道。这次的 GSoC 也有个添加 Plugin 的任务。访问我们的技术亮点,发现 WasmEdge 的全部潜力吧。 WasmEdge 得到了云原生生态中主要开发者工具和部署平台的支持。例如,WasmEdge 与 Docker Desktop 集成并分发,覆盖超过 1000 万开发者。 并且是 Fedora、Red Hat Linux 和 OpenShift 容器平台上的默认 WebAssembly 运行时。 加入我们,共建云原生技术栈的未来! WasmEdge 此次参与 GSoC 的两个项目 为 WasmEdge 添加一个 zlib 插件 在 Wasm 中编译和运行许多现有的 C/C++/Rust 应用程序需要 zlib。最值得注意的是,zlib 是 Python 端口到 Wasm 所必需的工具。 VMWare Wasm Labs 团队在他们的 Python Wasm 运行时中使用来自 Singlestore 的 zlib 端口。所以,zlib 支持是一件很不错的事情。 在 WasmEdge 中,可以通过插件系统的方式实现 zlib 支持。这样,可以编译任何现有的 zlib 应用程序到 Wasm 并在 WasmEdge 中运行。WasmEdge 的插件可以用 C、C++ 和 Rust 来编写。我们正在寻找的学员应该具有 C、C++ 或 Rust 的应用知识,并且愿意学习和理解 WasmEdge 的插件系统。 查看原始 GitHub Issue 完成 WasmEdge 序列化 WasmEdge 支持解释器模式与 AoT 编译。但是,WasmEdge 仅支持输入 WebAssembly 文件的二进制格式。为了实现文本格式的 WebAssembly 加载器功能,序列化 WebAssembly 模块的实现是必要的。在此指导中,学员应在 WasmEdge repo 的 dev/serialize 分支中完成已有的序列化功能。 我们正在寻找的学员应该具备 C、C++ 和 WebAssembly 的应用知识。 查看原始 GitHub Issue 申请 GSoC 的建议 一封清晰明了的个人介绍信将帮助导师更快地了解你 在 Proposal 里写明你针对这个项目的工作计划的里程碑以及时间线 你可以通过每个项目所在的 github issue 与 mentor 讨论你的想法 WasmEdge book 是你入门 WasmEdge 的好帮手。 下一步就是在4月4号之前,遵循 GSoC 的说明提交你的申请吧。如果你有任何问题,欢迎加入 WasmEdge discord 讨论群进行讨论。

优秀的个人博客,低调大师

共建第二阶段 | openKylin 0.9版本公测活动正式开启

大家好,openKylin是一个开放、多元的社区,所有人均可参与贡献,目前,openKylin 0.9公测版本已经发布,现邀请所有社区用户参与本次版本公测活动,与我们一起携手共建! 活动时间 2022年11月4日—2022年12月4日 活动规则 本次活动依然采取积分制,根据积分排名发放奖品,积分由openKylin社区QA SIG项目维护人员根据大家提交的issue数量、issue信息完整性、问题严重性、是否为已知问题等四方面进行评定,0.9版本已知问题可查看版本更新日志,请勿重复提交。 奖项设置 截至2022年12月4日,积分排名前十的小伙伴可获得openKylin精美礼包一份(多功能数据线+定制贴纸),此外: 若个人所得积分达500,可获得华为B6手环一个; 若个人所得积分达300,可获得罗技键盘K580一个。 参与方式 1.签署CLA 参与贡献前,请大家前往 https://cla.openkylin.top/页面,签署openKylin社区贡献者许可协议。我们所有的操作都需要建立在此基础上。签署完成后,即可参与版本公测。 2.参与公测 自由提交反馈 当你在使用系统的过程中,发现任意软件功能问题、设计缺陷问题、UI显示问题、易用性问题、性能/稳定性问题或者第三方软件问题等,均可以前往openKylin项目下提交对应的缺陷issue。 (1)如果是系统级Bug,则可以在[openKylin/community] https://gitee.com/openkylin/community/issues]仓库下提交缺陷issue; (2)如果是应⽤级Bug,则可以在openKylin社区对应的仓库下提交缺陷issue,如文件管理器在使用过程中偶发性闪退,应在[openKylin/peony] https://gitee.com/openkylin/peony/issues]仓库提交缺陷issue。 (3)无法判断所属分类的Bug,则可以提交至[openKylin/community] https://gitee.com/openkylin/community/issues] 参与测试任务 除了自由提交反馈外,各位小伙伴还可前往QA仓库下查看0.9版本公测方案开展测试,测试提交地址如上所示。 (1)QA仓库地址: https://gitee.com/openkylin/qa/tree/master (2)详细的测试方案可查看: https://gitee.com/openkylin/qa/blob/master/Test_strategy/开放麒麟(openKylin)-0.9%20版本公测-测试方案.md (3)详细的issue提交指南可参考: https://gitee.com/openkylin/qa/blob/master/openKylin缺陷处理流程.md (4)openKylin社区测试参与指南可参考: https://gitee.com/openkylin/qa/blob/master/openKylin版本测试参与指南.md 各位小伙伴的支持是openKylin前进最大的动力,欢迎大家下载0.9版本体验之后,积极参与公测活动,帮助我们更好的解决问题和优化系统,快来和我们一起携手共建吧! openKylin(开放麒麟)社区旨在以“共创”为核心,在开源、自愿、平等、协作的基础上,通过开源、开放的方式与企业构建合作伙伴生态体系,共同打造桌面操作系统顶级社区,推动Linux开源技术及其软硬件生态繁荣发展。 社区首批理事成员单位包括麒麟软件、普华基础软件、中科方德、麒麟信安、凝思软件、一铭软件、中兴新支点、元心科技、中国电科32所、技德系统、北京麟卓、先进操作系统创新中心等13家产业同仁和行业机构。

优秀的个人博客,低调大师

2022年第六届数据质量管理国际峰会重磅开启

据悉,“DQMIS®2022第六届数据质量管理国际峰会”将于2022年12月16日至17日在中国粤港澳大湾区举办,由数据质量管理智库、大数据协同安全技术国家工程研究中心、华矩咨询联合主办。本次峰会以“数据隐擎,提质安航” 为主题,聚焦数据质量、数据安全、隐私计算等热点议题,重点探讨数据要素流通全周期,关注科技理念的创新与突破、落地与转化,从全新角度审视数据产业的前沿发展,思辨新周期下行业数字化的问题与机遇。此峰会作为国内首个专注探讨数据质量管理领域的峰会品牌,多年来以前瞻性专业性的主题探讨引领行业动向而著称,历届活动都倍受行业关注。 本届峰会邀请中国工程院院士沈昌祥作主旨演讲,沈昌祥院士同时是国家信息化专家咨询委员会委员、国家三网融合专家组成员,是中国密码科技、信息系统工程领域的顶级专家,可信计算技术开拓者和奠基人。沈昌祥院士积极推动中国数字经济尤其是数据要素发展,尤其在数据交易中利用可信计算确保数据安全及网络安全等领域,为数据要素市场化发展保驾护航。同时数十位业内知名专家、行业大咖将共同探讨数据行业发展趋势,以开放视角观察数据全产业链,解读最新产业政策,分享最新应用研究成果。 目前,数据要素已当仁不让成为国民经济中的热点,围绕数据要素的数据基础制度构建,包括四大方面:数据的确权、数据流通和交易、数据价值的分配机制、数据的安全治理机制,已成为数据治理优先考虑的问题,而数据质量技术、数据隐私技术,数据安全技术正是当下数据要素流通机制探讨的核心技术和关键问题。本次峰会设置一场高端闭门论坛,一场主题大会,五场行业分论坛横跨数据要素交易、银行与金融、工业与制造、交通与运输、数据人才培养,聚焦新技术与行业的结合应用的发展,探讨产业富有前瞻性和时效性的热点议题,探索数据要素流通领域发展新模式,关注数据流通全链路发展,把脉2022年数据产业风向。因此,峰会也将迎来国内各大数据交易所、银行金融业、能源制造业、交通业车联网等头部机构企业、与国内顶级学术机构的众多嘉宾参会。 同期,2022第四届“数据质量管理”标杆奖项征集活动作为本届峰会亮点和人气项目也同时启动。奖项征集活动将本着创新、引领、开放的原则,鼓励更多的企业和专业人士关注与投身于推动我国数据相关领域的进步的行列中,将评选出数据质量创新论文奖、数据质量杰出专家奖及数据质量卓越实践奖等行业标杆。据了解,往届的获奖单位包括腾讯、百度、中国移动、宝马领悦、中国进出口银行、国信证券、南方电网、思迪博、金域医学等知名企业。 奖项征集预报名登记 目前峰会报名优惠通道限时开放,现购买门票可享受早鸟价7折优惠(优惠截止时间11月15日)。 限时7折优惠,码上登记 关于DQMIS®2022第六届数据质量管理峰会更多详情、更多最新动态资讯,请转至峰会官网http://www.dqmis.com/2022/或关注“数据质量管理智库”公众号。 DQMIS数据质量管理国际峰会 数据质量管理国际峰会(DQMIS®,Data Quality Management International Summit)由北京大学、国家电网全球能源互联网研究院与华矩科技三家产学研代表联合发起,开创中国数据质量管理研讨先河,聚焦数据质量行业趋势洞察与前瞻研判,连续第6年站在中国数据质量管理探讨前沿。DQMIS®2022数据质量管理国际峰会以“数据隐擎,提质安航” 为主题,探讨与研究关于数据如何通过隐私计算技术保护数据,数据溯源及数据确权,如何提高数据质量提高数据价值,如何基于数据安全技术实现数据要素的安全流通与交易。数据要素,将成为各行各业经济发展的隐形引擎,推动业态的变化与进步发展。 组委会联系方式: 奖项/产品路演申报 联系人:Ms Xu 联系电话:181 2394 6231 Email:contact@biz-insight.com 商务合作/组委会咨询 联系人:Cherry 联系电话:180 2856 3654 Email:marketing@biz-insight.com

优秀的个人博客,低调大师

MyCms v1.9.0 开启用户 API、双标题,开源自媒体系统

MyCms是一款基于Laravel开发的开源免费的自媒体博客CMS系统,助力开发者知识技能变现。 软件著作权编号:2021SR1543432。MyCms基于Apache2.0开源协议发布,免费且不限制商业使用,欢迎持续关注我们。 “心之所向,素履以往” v1.9.0[更新内容] 新增:API-文章评论列表接口 新增:API-文章评论发布接口 新增:API-会员登录接口 新增:API-会员注册接口 新增:API-会员信息接口 新增:文章双标题 新增:文章分类双标题 优化:网站地图插件 优化:插件列表显示 更新重点 一、用户接口 二、文章双标题 接口签名方法 获取所有 post 内容,不包括字节类型参数,如文件、字节流,剔除 sign 字段; 按照第一个字符的键值 ASCII 码递增排序(字母升序排序),如果遇到相同字符则按照第二个字符的键值 ASCII 码递增排序,以此类推; 将排序后的参数与其对应值,组合成 参数=参数值 的格式,并且把这些参数用&字符连接起来,此时生成的字符串为待签名字符串。 待签名字符串拼接自己设置的密钥,然后md5加密即可获得签名字符串。 系统功能 后台基础功能 权限管理 内容管理 商品管理 会员管理 插件管理 前台功能实现 首页 文章分类页 文章搜索页 文章标签页 文章详情页 文章评论 商品列表页 商品详情页 会员登录/注册 会员中心 API接口 签名加密 系统时间接口 文章分类列表接口 文章分类详情接口 文章列表接口 整站最新、最热文章 分类最新、最热文章 标签关联文章列表 搜索文章列表 文章详情接口 文章评论列表接口 文章评论发布接口 商品分类列表接口 商品分类详情接口 商品列表接口 商品详情接口 会员登录接口 会员注册接口 系统特性 支持Swoole加速 简易安装程序 简洁优雅、灵活可扩展 完善的插件安装/卸载机制 对SEO优化友好的URL模式 公共函数埋点更好拓展系统 更具拓展性的路由监听功能 更优雅、符合SEO优化的分页 基础缓存功能及数据库索引建立 简单易用的模板函数、制作模板更方便 站点地址 官方网站:https://www.mycms.net.cn/ 使用手册:https://www.mycms.net.cn/shouce API文档:https://www.mycms.net.cn/api-doc 源码下载:https://gitee.com/qq386654667/mycms 演示前台/演示后台:https://demo.mycms.net.cn/system/login 演示后台:admin / admin 优秀案例 在线计算网: https://www.zaixianjisuan.com/ 程序员导航:https://nav.mycms.net.cn/ 古诗词网:https://www.gushici.top/

优秀的个人博客,低调大师

Gitpod 开源新项目,开启在浏览器中运行 VS Code 的大门

Gitpod 是自动化开发环境的主要开源平台之一,近日 Gitpod宣布正在开发一个名为「OpenVSCode Server」的新项目,该项目以 MIT 许可方式开源,是上游的微软 Visual Studio Code(VS Code)的实现,该项目使每个开发人员和企业都能够在浏览器中运行 VS Code。 微软的 VS Code 最初基于 Electron 框架,它本身使用 Node.js 和 Chromium 渲染引擎,因此在传统上它就是一个使用了 Web 技术所构建的桌面 IDE。从几年前起,VS Code 团队开始重构其架构以支持基于浏览器的工作模式。这项工作既复杂又容易出错,因为开发者必须在 VS Code 的大型代码库中进行大量更改。这种架构还被 GitHub 采用并推出了 Github Codespaces。但直到现在,微软都没有开源 VS Code 的服务器实现,而且驱动 Github Codespaces 的源代码也不是开源的。 Gitpod 的联合创始人兼首席执行官 Sven Efftinge 表示: 在过去的几个月里,有多个大型机构和个人开发者与我们取得了联系,询问我们如何运行 Gitpod 的 OpenVSCode Server 实现,因为他们希望在自己的产品和日常工作流程中采用这种方法。由于我们使用了同样的低占用(low-footprint)技术。我希望这能消除开发者对 VS Code 引入不良分叉的需求,这些分叉会引入不必要的复杂性。 有了这个项目,公司和开发者将能够在浏览器中操作上游和稳定的 VS Code。根据 Gitpod 官方说法,该产品的优势包括: 利用云的力量 —— 依赖性、编译、测试、大型数据集都可以在比你的电脑强大得多的机器上运行 远程访问 —— 你可以通过网络浏览器从任何设备上访问,如 iPad 和 Chromebook,获得熟悉的 VS Code 使用体验 节省电池 —— 由于所有的 CPU 和 RAM 密集型任务都在远程机器上运行,开发者可以保持电量 保持源代码安全 —— 你可以保持你的开发环境的集中性和安全性,远离你的本地机器 CNCF 的首席技术官 Chris Aniszczyk 表示: 基于云端的开发环境正迅速成为云原生开发者青睐的方法,该方法可以降低开发者的门槛。跟以往一样,Gitpod 在提供推动整个行业发展的解决方案上走在了前列。他们新推出的 OpenVScode Server 项目能够让专业的开发团队通过浏览器编写代码。 开发团队除了能够通过 OpenVSCode Server 开源项目获得基于云端的 IDE 所带来的全部特性和优势。开发团队还可以通过 Gitpod 的另一个项目 —— OpenVSX Marketplace(VS Code Marketplace 的开源替代品)来访问所有 VS Code 扩展程序,并在任何时间、任何设备上进行部署。此外,开发人员还可以即时获得最新版本的 VS Code,降低所需的维护工作。 目前 TypeFox、Render、Tabnine、SUSE Rancher、Sourcegraph、SAP、RStudio、Uber、VMware 和 GitLab 等多家技术公司都成为了这项计划的合作伙伴。

优秀的个人博客,低调大师

Techo Hub技术巡回北京站开启,共探云上新“视”界

【51CTO.com原创稿件】腾讯云高度重视开发者,通过全方位的服务体系,和强大的开发者生态,来满足开发者需求,全面助力开发者的成长。为了更好地和全国不同省市开发者连接,让更多开发者有机会进行深度技术交流,腾讯云于2021年正式推出了“Techo Hub技术巡回”活动。活动自4月17日首次在深圳召开之后,又陆续走过了西安、长沙、武汉三座城市,带来了关于计算、工业互联网、数字媒体、云原生领域的主题分享。活动紧紧围绕当地特色产业、技术人群关心的话题而策划,众多本地优秀企业参与共建,还邀请了当地优秀开发者进行实践分享。同时,每场活动都建立了线上技术社群,持续进行干货、实战等内容交流分享,受到了众多开发者的好评,纷纷表示期待Techo Hub技术巡回活动能走进更多城市,带来更多精彩! 经过一个半月的悉心准备,腾讯云Techo Hub技术巡回第五站将于9月11日召开。与以往活动不同,此次北京站的活动规模更大、涉及话题更多、内容形式更广泛、时间也更久。在9月11日全天,多位腾讯技术专家以及行业用户专家,将聚焦音视频技术话题,与众多开发者一起探索技术如何赋能云上新“视”界。 疫情之下,大量企业采取了远程办公的模式,众多企业活动、研讨会、展会选择了远程视频的形式举办,而学校则以在线教育的形式为主。这一系列的变化极大地增加了音视频技术的市场需求。此外,随着5G技术商用的大规模推广,移动互联网和智能终端设备的广泛应用,也都为音视频技术的落地实践做好了准备。音视频在教育、社交娱乐、电商等热门领域的应用越来越多,也赋能了更多的应用场景,如医疗、金融、政企服务等。权威数据显示,2019年,全球网络实时通信市场规模为23亿美元,预计从2020年到2027年将以43.4%的复合年增长率(CAGR)增长。 音视频技术虽然让远程办公、远程会议、在线教育这些场景成为了可能,但是视频卡顿、视频内容安全审核效率低下、互动体验不佳、高延迟等现实问题都让用户体验大打折扣。如何利用实时音视频技术实现更好的交流体验?如何利用稳定、易用的云点播技术带来更好的视频观看、管理与应用体验?如何利用低延时、高可用的网络传输带来更稳定的用户体验?此外,如何为用户提供高清低码的视频处理体验?如何利用智能动态编码技术实现视频优化?这些都是音视频技术发展面临的痛点。 当然,音视频技术在给企业发展带来机遇,给人们生活带来便利的同时,也带来了一定的安全风险。比如部分网络音视频信息提供者的安全责任意识不强,有些人则恶意提供涉黄、涉恐、涉政、低俗等违规内容,这些内容都给大众带来了恶略影响,也可能会被一些不法分子利用,传播违法有害信息,实施网络犯罪活动。因此,保障音视频内容的合法、合规,保护用户隐私安全在音视频领域非常重要。那么,如何通过对直播视频截图并自动识别图片来发现违规直播?如何识别直播平台的用户昵称、评论、弹幕等文本信息中的色情、政治、涉恐等内容?如何实现音视频审核服务架构设计?如何搭建审核运营体系?如何通过AI技术手段从音频、视频、文本领域进行内容的识别和违规信息的判断,进而实现音视频的内容风控?如何多维度音视频审核能力,为不同业务场景提供安全保障?如何精准、灵活、全面、稳定的进行音视频审核?这些都是音视频技术落地的难点。 面对这一系列的问题,本次腾讯云Techo Hub技术巡回北京站活动,腾讯云和腾讯安全团队的众多专家将为开发者一一解答。技术离不开实践,除了扎实的理论知识,各位专家还将带来精彩的行业实践,展示音视频技术如何将线上线下体验相连,助力企业创新,实现降本增效! 如果你想了解音视频前沿技术,想学习行业领先企业的成功案例,想与专家进行面对面解惑答疑,想与同行一起探索、交流,就不要错过本次腾讯云Techo Hub技术巡回北京站活动! 速速点击报名! 【51CTO原创稿件,合作站点转载请注明原文作者和出处为51CTO.com】 【责任编辑:赵立京 TEL:(010)68476606】

优秀的个人博客,低调大师

Fluid 0.5 版本发布:开启数据集缓存在线弹性扩缩容之路

作者 | 顾荣 南京大学PASALab, Fluid项目co-founder 来源 | 阿里巴巴云原生公众号 导读:为了解决大数据、AI 等数据密集型应用在云原生场景下,面临的异构数据源访问复杂、存算分离 I/O 速度慢、场景感知弱调度低效等痛点问题,南京大学PASALab、阿里巴巴、Alluxio 在 2020 年 6 月份联合发起了开源项目 Fluid。 Fluid 是云原生环境下数据密集型应用的高效支撑平台,项目自开源发布以来吸引了众多相关方向领域专家和工程师的关注,在大家的积极反馈下社区不断演进。近期 Fluid 0.5 版本正式发布,在该版本中,Fluid 主要新增改善以下三个方面内容: 丰富数据集的操作功能,支持在线弹性扩缩容、元数据备份和恢复。 支持多样环境配置部署,满足用户的个性化部署配置需求。 新增数据缓存引擎实现,增加用户在公有云上的引擎选择。 Fluid 开源项目地址:https://github.com/fluid-cloudnative/fluid 这三大主要功能的开发需求来自众多社区用户的实际生产反馈,此外 Fluid v0.5 还进行了一些 bug 修复和文档更新,欢迎使用体验 Fluid v0.5! Fluidv0.5 下载链接:https://github.com/fluid-cloudnative/fluid/releases 下文是本次新版本发布功能的进一步介绍。 丰富数据集的操作功能 在本版本中 Fluid 重点丰富了核心抽象对象 —— Dataset(数据集)的相关操作功能,从而使数据密集型应用能够更好地利用云原生提供的弹性、可观测性等基础功能,并增强了用户对数据集管理的灵活性。 1. 数据集在线弹性缓存扩缩容 这是社区用户一直期待的功能!在 Fluid v0.5 之前,如果用户想要调整数据集的缓存能力,需要以全部卸载缓存引擎再重部署的方式完成。这种方式耗时耗力,还必须考虑数据缓存全部丢失的高昂代价。因此,在新版本中,我们为数据集提供了对缓存弹性扩缩容的支持,用户可以根据自己的场景需求,以不停机方式 on-the-fly 地按需增加某数据集的缓存容量以加速数据访问(扩容)或减少某个不频繁使用的数据集的缓存容量(缩容),从而实现更加精细的弹性资源分配,提高资源利用率。Fluid 内置的控制器会根据策略选择合适的扩缩容节点,例如在缩容时会结合节点上运行任务情况和节点缓存比例作为筛选条件。 执行弹性数据集的缓存能力弹性扩缩容,用户只需运行如下命令: kubectl scale alluxioruntimes.data.fluid.io {datasetName} --replicas={num} 其中 datasetName 对应于数据集的名称,replicas 指定缓存节点的数目。 有关数据集手动扩缩容及其效果的演示视频:http://cloud.video.taobao.com/play/u/2987821887/p/1/e/6/t/1/302459823704.mp4 更多关于数据集手动扩缩容的操作细节,请参考 Github 上的示例文档。 2. 元数据的备份与恢复 该功能增强了 Fluid 数据集元数据管理的灵活性。先前的 Fluid v0.4 已经支持将数据集的元数据(例如,文件系统 inode tree)加载至本地,并且会记录数据集的一些关键统计信息(例如,数据量大小和文件数量)。然而,一旦用户销毁本地数据集,这些元数据信息也都将丢失,重新构建数据集时需再次从底层存储系统获取。 因此,在 Fluid v0.5 中,我们新增了一个 K8s 自定义资源对象 —— DataBackup,为用户提供了声明式的 API 接口,以控制数据备份的相关行为。DataBackup 自定义资源对象构建的一个简单示例如下所示: apiVersion: data.fluid.io/v1alpha1 kind: DataBackup metadata: name: hbase-backup spec: dataset: hbase backupPath: pvc://<pvcName>/subpath1/subpath2/ 再次创建数据集时,只需新增一个指定备份文件位置的字段: apiVersion: data.fluid.io/v1alpha1 kind: Dataset metadata: name: hbase spec: dataRestoreLocation: path: pvc://pvc-local/subpath1/ mounts: - mountPoint: https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/2.2.6/ 此时,Fluid 将首先从备份文件加载元数据和数据集统计信息,从而很大地提高元数据加载速度。 更多关于进行数据集元数据备份与恢复的操作细节,请参考 Github 上的示例文档。 3. 数据集的可观测性优化 Fluid v0.5 还进一步增强了数据集的可观测性能力,具体包括两个部分: 1)与 Prometheus 相结合 该特性能够支持数据集的可用性和性能指标收集,并且通过 Grafana 进行可视化展示。目前已支持 AlluxioRuntime 的实现,使用者可以方便地了解当前可缓存节点、缓存空间、现有缓存比例、远程读、短路读等性能指标。整个配置过程非常简单,达到了对于数据集监控系统“开箱即用"的效果。 具体的使用方法,请参考 Github 上的示例文档。 2)新增数据集缓存命中率指标 该功能可以标识过去 1 分钟内对该数据集的全部访问中有多少访问命中了分布式缓存。该指标一方面能够帮助用户分析他们数据密集型应用中的性能瓶颈,量化查看 Fluid 在整个应用运行的工作流中起到的效果;另一方面能够帮助用户在应用性能提升和缓存资源占用间进行行权衡,做出合理的扩缩容决策。 这一指标被添加在 Fuild v0.5的 Dataset.Status.CacheStates 的 Dataset CRD 资源状态中,具体来说包括: Cache Hit Ratio:过去一分钟分布式缓存命中的访问百分比。 Local Hit Ratio:过去一分钟本地缓存命中的访问百分比。 Remote Hit Ratio:过去一分钟远程缓存命中的访问百分比。 注:对于分布式缓存而言,数据命中有两种不同的缓存命中情况。本地缓存命中指的是访问发起者可直接在同结点访问到缓存数据。远程缓存命中指的是访问发起者需要通过网络访问其他结点上的缓存数据。 在 Fluid v0.5 中,用户可以使用以下命令方便地查看缓存命中率指标: kubectl get dataset <dataset-name> -o wide NAME ... CACHE HIT RATIO AGE <dataset-name> ... 86.2% 16m 支持多样环境配置部署 自 Fluid 0.4 版本发布以来,我们根据社区用户实际部署反馈的问题和需求,对 Fluid 在多样环境下的部署配置增加了更多支持。 1. 支持 Fuse 的 global 模式 在 Fluid 中,Dataset 资源对象中所定义的远程文件是可被调度的,这意味着你能够像管理 Pod 一样管理远程文件缓存到 Kubernetes 集群上的位置。执行计算的 Pod 可以通过 Fuse 客户端访问数据文件。在先前版本的 Fluid 中,Fuse 客户端总是会调度到缓存所在的节点上,但是用户不能自由控制 Fuse 的调度。 在 Fluid v0.5 中,我们为 Fuse 新增了 global 部署模式。在该模式下,Fuse 默认会全局部署到所有节点上。用户也可以通过指定 Fuse 的 nodeSelector 来影响 Fuse 的调度结果。同时,缓存会优先调度部署在执行计算 Pod 数量较多的节点上。 具体使用非常简单,可以参考 Github 上的示例文档。 2. 支持 HDFS 的用户级配置 很多社区用户使用分布式缓存系统 Alluxio作为 Fluid 数据集的缓存引擎。在数据集持久化存储于 HDFS 文件系统的情况下,要使得 Alluxio 能够正常访问底层 HDFS,Alluxio 集群需要提前获取该 HDFS 的各类配置信息。 在 Fluid v0.5 中,我们使用 Kubernetes 的原生资源为上述场景提供支持。用户首先需要将 HDFS 的相关配置文件(e.g. hdfs-site.xml 和 core-site.xml)以 ConfigMap 方式创建到 Kubernetes 环境中,接着在创建的 AlluxioRuntime 资源对象中引用上述创建的 ConfigMap 从而实现上述功能。 AlluxioRuntime 资源对象的一个示例如下所示: apiVersion: data.fluid.io/v1alpha1 kind: AlluxioRuntime metadata: name: my-hdfs spec: ... hadoopConfig: <configmap-name> ... 至此,创建出的 Alluxio 集群将能够正常地访问 HDFS 集群中的数据。更多内容可参考 Github 上的示例文档。 新增数据缓存引擎实现 Fluid 默认使用的分布式缓存 Runtime 是 AlluxioRuntime,为了支持不同环境用户对缓存系统的需求,在之前的版本中 Fluid 已经将分布式缓存 Runtime 接入框架做成了可插拔的架构。在 Fluid v0.5 中,来自阿里云的社区贡献者基于该框架开发了 JindoRuntime,新增了一种支撑 Fluid Dataset 数据管理和缓存的执行引擎实现。用户可以在 Fluid 中通过 JindoRuntime 使用 JindoFS 的 Cache 模式进行远端文件的访问和缓存。在 Fluid 上使用和部署 JindoRuntime 流程简单、兼容原生 K8s 环境、开箱即用。 总结 在 Fluid v0.5 中,我们对 Fluid 的功能特性与用户体验都进行了丰富和增强。 首先,Fluid v0.5 进一步增加了数据集的功能操作: 提供数据集在线弹性扩缩容能力,实现更灵活、更精细的集群资源分配控制。 新增 DataBackup CRD,实现了数据集文件元数据等信息的备份与恢复,帮助完成数据集缓存系统的快速重启。 新增缓存命中率指标,帮助用户更好量化分析 Fluid 提供的加速效果。 其次,Fluid 支持更多环境模式和配置,满足更多真实场景的部署需求。 最后,Fluid 新增了基于 JindoFS 的分布式缓存 Runtime —— JindoRuntime,为用户在多样化部署环境中提供不同的缓存引擎选择。 我们会继续广泛关注和采纳社区建议,推动 Fluid 项目的长期发展,期待听到大家更多的反馈。如果您有任何疑问或建议,欢迎加入 Fluid 用户群参与交流或在 Github 上与我们讨论: 鸣谢 感谢为此版本做出贡献的社区小伙伴们,他们包括来自阿里云的王涛、腾讯云的谢远东、中国电信的仇伶玮、南京大学 PASALab 的徐之浩、候浩军、陈国旺、陈雨铨等同学。 作者简介 顾荣 博士,南京大学计算机系副研究员,Fluid 开源项目 co-founder、Alluxio 开源项目 PMC 成员,研究方向大数据处理系统,已在 TPDS、ICDE、JPDC、IPDPS、ICPP 等领域前沿期刊会议发表论文30余篇,主持国家自然科学基金面上项目/青年项目、中国博士后科学基金特别资助项目多项,研究成果落地应用于阿里巴巴、百度、字节跳动、中国石化、华泰证券等公司和开源项目 Apache Spark、Alluxio,获 2018 年度江苏省科学技术一等奖、2019 年度江苏省计算机学会青年科技奖,担任中国计算机学会系统软件专委会委员/大数据专委会通讯委员、江苏省计算机学会大数据专委会秘书长。

优秀的个人博客,低调大师

《Spring源码解析(二)》构建 Spring5 源码工程,开启研读Spring源码之路

Spring5 源码下载注意事项 首先你的 JDK 需要升级到 1.8 以上。 Spring3.0 开始,Spring 源码采用 github 托管,不再提供官网下载 链接。 这里不做过多赘述,大家可自行去 github 网站下载,我们使用的版本下载链接为: https://github.com/spring-projects/spring-framework/archive/v5.0.2.RELEASE.zip,下载完成后,解压源码包会看到以下文件目录: github上下载的是全英文注释的,如果想要独家中文注释的Spring5源码可以扫描下方二维码关注公众号回复spring即可自动获取。 基于 Gradle 的源码构建技巧 由于 Spirng5 以后都是采用 Gradle 来编译,所以构建源码前需要先安装 Gradle 环境。Gradle 下载地 址:https://gradle.org/releases,我使用的是 Spring5 官方推荐的版本 Gradle4.0,下载链接为: https://gradle.org/next-steps/?version=4.0&format=bin , 下 载 完 成 后 按 以 下 步 骤 操 作 , 以Windows 操作系统为例: 第一步:配置环境变量 第二步:添加环境变量:Path:%GRADLE_HOME%\bin 第三步:检测环境,输入 gradle -v 命令,得到以下结果: 第四步:编译源码,cmd 切到 spring-framework-5.0.2.RELEASE 目录,运行 gradlew.bat 第五步:转换为 eclipse 项目,执行 import-into-eclipse.bat 命令,构建前,请确保网络状态良好,按任意键继续。 第六步:等待构建成功(若中途出现错误,大部分情况是由于网络中断造成的,重试之后一般都能解决问题),构建成功后,会出现如下界面: 到这一步为止,还在使用 Eclipse 的小伙伴已经可以将项目导入到 Eclipse 中了。 而我们推荐使用的 IDEA也比较智能,可以直接兼容 Eclipse 项目。接下来看下面的步骤: 第七步:导入 IDEA。打开 IntelliJ IDEA,点击 Import Project,弹出如下界面,选择spring-framework-5.0.2.RELEASE 文件夹 第八步:等待构建完成,在网络良好的情况下大约需要 10 分钟便可自动构建完成,你会看到如下界面: 第九步:在 IDEA 中,如果 Project 下的子项目文件夹变成粗体字之后,说明已经构建成功。 还有一种验证方式是:找到 ApplicationContext 类,按 Ctrl + Shift + Alt + U,出现类图界面说明构建成功。 “spring-framework-5.0.2.RELEASE-中文注释版”,下载后导入到 IDEA 中 开箱即用无需重复构建。 Gradle 构建过程中的坑 如果项目环境一直无法构建,项目文件夹没有变粗体字,类图无法自动生成。那么你一定是踩到了这样一个坑。 第一步:首先打开 View->Tool Windows -> Gradle 然后,点击右侧 Gradle 视图中的 Refresh,会出现如下的错误: 第二步:看错误,显然跟 Gradle 没有任何关系,解决办法: 1.关闭 IDEA,打开任务管理器,结束跟 java 有关的所有进程。 2.找到 JAVA_HOME -> jre -> lib 目录,将 tools.jar 重命名 tools.jar.bak。 3.重启 IDEA,再次点击 refresh,等待构建完成。 构建完成后,我们就可以开始我们的Spring源码研读之路了,这也是我们走向架构大佬的必经之路。 Spring Cloud 微服务精彩系列 阿里面试官问我:到底知不知道什么是Eureka,这次,我没沉默 万字详解Ribbon架构,针对面试高频题多角度细说Ribbon 什么是Hystrix,阿里技术最终面,遗憾的倒在Hystrix面前! 2万字好文全方位深入学习SpringCloud Fegin,面试不在彷徨 Zuul,听说SpringCloud不准备要我了,可是为什么面试还要天天问我? 全网最全讲解 SpringCloudGateway,认真看完这一篇就够了!

优秀的个人博客,低调大师

鲲鹏技术开放日走进深圳福田,看云智融合如何开启未来

【51CTO.com原创稿件】12月26日本周六下午两点,鲲鹏技术开放日将亮相深圳福田,为开发者带来一场年终盛宴。本次活动由福田区科技创新局指导,鲲鹏产业源头创新中心主办,华为云福田人工智能及软件开发云创新中心承办,深圳福田新一代智慧运营服务有限公司协办。 华为技术专家和生态伙伴们将进行多维度主题分享,覆盖鲲鹏计算产业生态战略发展、行业实例分析、鲲鹏+大数据解决方案、鲲鹏开发工具套件、应用迁移等内容,深入探讨鲲鹏行业解决方案的推广落地,为开发者提供符合自身发展需求的干货,旨在加速云智新生态的构建,助力福田构建世界级湾区高端产业引领区。 近年来,福田区加速高端产业布局,打出“5G+AI”发展的组合拳,推动福田进入全新的智慧应用阶段。去年福田区人民政府与华为签署战略合作协议,合作共建了全国首个人工智能及软件开发云创新中心,带动人工智能等战略性新兴产业在福田的高速发展。同时,新基建浪潮正在为福田经济高质量发展提供新动能。今年4月,福田区集中开工了33个新基建项目,总投资达264亿元,在AI、大数据、5G等领域的建设催生出庞大的算力需求,正是在这一背景下,鲲鹏计算产业生态在福田落地并迅速成长。 为了满足算力的多样性需求,助力福田区企业降本增效,加速产业转型升级,华为不断完善自身基础设施和技术布局,并与各行各业携手共同孵化解决方案,充分发挥鲲鹏处理器的高性能、高吞吐、高集成、高能效优势,为政府、金融、运营商、互联网等行业客户提供了基于鲲鹏处理器的数据中心基础设施和服务。 本周六下午以“鲲鹏展翅 云智福田”为主题的鲲鹏技术开放日内容精彩纷呈,现场专家将:全面解读“华为鲲鹏计算云平台解决方案”,从云平台的发展趋势导入,全面分析鲲鹏云平台的技术特点和优势,精炼总结为什么选择鲲鹏云平台的五大理由;细致分享三类应用迁移案例,针对SO库迁移、Maven工程迁移、Python工程迁移,总结一般性迁移思路,包括切入点、分析过程、解决过程;介绍华为云EI如何助力产业智能化升级,帮助用户进一步提升AI开发、数据处理的性价比与服务体验…… 主题演讲环节结束后,主办方还精心安排了互动环节,参会嘉宾们将围绕鲲鹏计算产业、人工智能、大数据等相关话题畅所欲言。本次活动正在火热报名中,感兴趣的小伙伴们赶紧报名吧!更有机会获得精美礼品,精彩不容错过!点击报名链接 【51CTO原创稿件,合作站点转载请注明原文作者和出处为51CTO.com】 【责任编辑: 张洁 TEL:(010)68476606】

优秀的个人博客,低调大师

腾讯云发布国内首款Serverless数据库 开启全栈Serverless时代

【51CTO.com原创稿件】4月7日,腾讯云正式发布国内首个Serverless数据库新品PostgreSQL for Serverless,百分百兼容PostgreSQL的语法和功能,集成了PG实例本身的高可用、高性能、高安全等特性,用户只需要根据资源响应单元和磁盘容量两个维度付费。目前,该产品已经开放公测,用户可以通过云API来创建。 数据库来到Serverless时代 过去,企业需要自建数据库,无论业务压力多大,数据库的机器都一直存在,企业需要支付包括硬件设备的采购成本、维护成本以及人力成本等高额费用。 进入到云时代,很多企业选用了云上的数据库,企业技术人员可以根据业务提前进行扩容,等到业务量降下来时,再释放资源,这就需要人力成本来完成。此外,云上的资源都是提前预付费模式,用户根据购买资源的用量进行付费,当业务量不大时,资源造成浪费。 而ServerlessDB具有自动化扩容能力,企业只需设定ServerlessDB预定规格的上限,当业务压力变动时,就会自动进行扩缩容,按照请求次数进行收费,节省了资源成本的同时还降低了人力成本。 这种全自动化特性,能够为用户带来更经济的计费模式和更丝滑的扩容体验,它可以让业务根据请求的繁忙程度实现平滑的全自动响应,无需人工介入。用户不需为数据库的闲时进行付费,而是按照数据库资源响应单元来进行计费。若用户对数据库无请求,数据库将自动关闭所有资源响应。这种强大的自扩展能力将为用户最高实现70%的成本降低,真正做到按量付费。 由于没有初始化过程,用户在购买之后只需要通过腾讯云相关组件一键创建数据库实例,最快1秒钟就可以完成部署,大幅提升部署效率。同时,腾讯云PostgreSQL for Serverless在可用性和安全性等方面也具有突出优势,包括支持“一主一备”,当主实例出现意外导致不可用时,将自动启动备份实例,业务连接也将同步转移至备用实例,有效避免了各种意外导致数据库无法使用的风险。此外,还支持标准PostgreSQL数据库本身的功能优点,如丰富的插件、便捷的备份恢复等特性。 腾讯云数据库负责人,数据库领域资深技术专家林晓斌表示,此次发布的数据库是国内第一家基于Serverless技术开发的新型数据库,拥有Serverless化带来的低成本、易扩容等优点,更加适合不常用应用程序、不可预测的工作负载、开发和测试数据库,低流量应用四大场景。 腾讯云Serverless全栈生态完成 腾讯云从几年前开始布局Serverless,发布了计算层的函数计算服务,对象存储,接入层的API网关服务,而随着ServerlessDB的发布,补齐了腾讯云Serverless架构的最后一部分,形成了腾讯云Serverless全栈解决方案。 在接入层,通过API网关的弹性能力、可以实现安全、稳定的流量接入;在计算层则通过腾讯云高可用,高并发的 FaaS 平台实现业务逻辑;在数据存储层,则通过本次发布的 Serverless DB 直接对数据库连接并进行 SQL 操作,无需客户管理连接池,有效降低了开发者的使用门槛。 为了让开发者更便捷的部署Serverless应用,腾讯云联合Serverless Framework提供了全栈的应用开发平台,支持组件型的快速开发、云端调试、秒级部署和智能运维等特性,覆盖软件开发的全生命周期。通过腾讯云的Serverless全栈解决方案,将有效提升企业业务的上线速度,大幅缩短产品从设计到落地交付的时间。 此外, 腾讯云推出了Serverless全线产品扶持计划,Serverless全栈解决方案提供限时30天的免费试用期,让开发者利用腾讯云Serverless产品体验实现业务逻辑。 腾讯云中间件总经理兼首席架构师肖雨浓表示:“Serverless架构有三大核心特点,即自动伸缩、按量计费、降低门槛。这也让用户专注于自己的业务,而不是底层资源,随着开发者生态以及开源生态的不断完善,腾讯云正在将内部服务于众多核心应用的Serverless能力对所有用户开放,提供一站式的开发、部署、运维服务。” 【51CTO原创稿件,合作站点转载请注明原文作者和出处为51CTO.com】 【责任编辑: 鸢玮 TEL:(010)68476606】

优秀的个人博客,低调大师

CentOS7(1708)制作docker镜像之后,开启sshd服务失败的处理办法

最近我把公司产品迁移到了CentOS1708环境下,于是就开始制作对应的docker镜像(虽然我一直“错误”的把docker当成虚机用,用着方便就好) 制作镜像完成之后,创建的容器需要自启动sshd服务,发现ssh无法连接,于是使用docker exec进去查看原因,ps -ef|grep sshd,发现服务没有sshd服务,于是手工启动systemctl start sshd,居然报错。 报错:Failed to get D-Bus connection: Operation not permitted 我在网上查资料(亲测可用): docker run -tid-v /opt/apps:/opt/apps--privileged --name=wang-base-node --hostname=wang-base-node --network=bridge wang-centos7-base /usr/sbin/init 注:关键在于使用 /usr/sbin/init作为入口,同时设置--privileged为超级权限启动,希望对docker初学者能有所帮助!

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册