恭喜 Devlive DataCap 新晋一位 Committer
非常感谢所有对 DataCap 项目的支持和贡献,我们迎来了新的一位来自互联网行业的大数据资深运维工程师,感谢他对 DataCap 的支持以及代码的贡献。
关于 DataCap
DataCap 是数据转换、集成和可视化的集成软件。支持多种数据源,文件类型,大数据相关数据库,关系型数据库,NoSQL 数据库等。通过软件可以实现管理多种数据源,对该源下的数据进行各种操作转换,制作数据图表,监控数据源等各种功能。
DataCap 喜迎一位 Committer 成员
名字 | 职业 | GitHub ID |
---|---|---|
陈文明 | 大数据资深运维工程师 | chenwenming-zj |
个人描述
有多年大数据组件维护经验,对 Hadoop 集群有丰富的经验,同时对 Apache Kafka 以及各个大数据组件有一定的经验。
- 优化过亿 Blocks 的 NameNode,优化解决集群小文件问题,减少 NameNode RPC 压力
- 迁移并运维过 PB 级别的 Hadoop 集群
- 维护管理万级别 Topic 的 Kafka 集群,自动化脚本实现分区均衡迁移,Reassignment 限速等
对 DataCap 的认识
在做公司 Clickhouse 迁移时,从 GitHub 中搜索,发现 datacap 项目,结合公司内部业务,经过一段时间运行后发现缺失,服务功能缺失 JVM 动态加载功能,因为我对 Shell 比较熟悉且做过 JVM 优化工作,特意在源码中支持了服务启动读取 JVM 配置功能。
代码提交之路
- 在 datacap 上提交了相关代码 (commit 57473faf4f45616a96962b7f84b9b5b81ecfbc42(HEAD->dev_get_jvm, origin/dev_get_jvm)
得到的收获
- 作为大数据运维,很少参与工程项目,非常荣幸能在 datacap 上贡献自己微薄的代码
- 这次参与也体会到团队协助的力量,希望 datacap 做的越来越好
对新人的建议
- 上线前整理 checklist
- 一定要写好注释,方便以后维护,要写好注释,可以写某个方法是做什么的,主要步骤是什么
- 测试!一定要多测试,先上测试环境,再上线
- 新参与项目时,可以多参考官方文档
如何参与 DataCap

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
两名玩家利用 DNF 漏洞获利近 1 亿元人民币,已被公诉
日前,南京市玄武区人民检察院依法对2名涉嫌非法获取计算机信息系统数据罪被告人提起公诉。 2022年8月以来,被告人唐某利用深圳市腾讯计算机系统有限公司运营的网络游戏《地下城与勇士》个人背包和仓库程序的漏洞,使用被告人蔡某某提供的脚本,利用游戏漏洞非法复制出“矛盾的结晶体”“扭曲的次元结晶” “无瑕的金绿柱石” 等八种游戏道具,将所复制的游戏道具放在多个游戏公会仓库内,再进行出售。 2022年8月起,被告人唐某先后向王某某、王某、周某出售非法获取的游戏道具,获利人民币9163万余元。被告人蔡某某将被告人唐某复制的游戏道具出售给王某某,获利人民币182万余元。
- 下一篇
AI 生成图片著作权侵权第一案宣判:被告构成侵权,赔偿 500 元
11月29日消息,近日,北京互联网法院针对人工智能生成图片(AI绘画图片)著作权侵权纠纷作出一审判决,据悉该案为AI生成图片相关领域著作权第一案。 法院最终判决,被告构成侵权,需向原告公开道歉,并赔偿500元。 据悉,原告李某使用AI生成涉案图片后发布于小红书平台;被告系百家号博主,发布文章配图使用了原告该AI生成的图片,原告遂起诉。 北互审理认为涉案人工智能生成图片(AI绘画图片)具备“独创性”要件,体现了人的独创性智力投入,应当被认定为作品,受到著作权法保护等。
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- CentOS7,8上快速安装Gitea,搭建Git服务器
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- SpringBoot2全家桶,快速入门学习开发网站教程
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库
- CentOS8编译安装MySQL8.0.19
- CentOS7,CentOS8安装Elasticsearch6.8.6