首页 文章 精选 留言 我的
优秀的个人博客,低调大师

微信关注我们

原文链接:https://my.oschina.net/u/4437985/blog/4553683

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

关于数据质量的思考

这是学习笔记的第 2269篇文章 读完需要 9 分钟 速读仅需7分钟 最近和几个同事聊了下关于数据的一些问题,有一个问题引起了我的好奇。那就是数仓体系和大数据体系的数据质量差异。 因为各种原因,一份数据可能会被多处消费使用,有的用作精确数据可视化,比如报表,对账单等,实时性要求不是很高,一般是T+1的模式,有的用作趋势分析,或者潜在问题分析,对于数据集的时间周期要求较高,有些需要在海量数据中挖掘更多的数据价值,让单一的数据通过连接产生更多维度的意义,总体来说,大家对数据质量的需要不尽相同,有些人主要关注数据的准确性和一致性,有些人则关注数据的实时性和相关性,因此,只要数据能满足使用目的,就可以说数据质量符合要求。 来说说困扰我的数据质量疑问,来自于两拨人的反馈。 第一拨人是大数据方向的同事,他们反馈数据的准确性有时候很难保证,导致在做数据稽核和一些数据统计中,和真实数据的差异较大,这样也会导致一些工作比较被动,业务侧对此的信任度也会大打折扣,而纵观整个数据链路,有些已经可以实现实时流转,却很难直接点出某一处存在明显瓶颈。 而另外一拨人则是做数据统计方向的,他们对于数据有着天然的...

微信群总是有人发广告?看我用Python写一个自动化机器人消灭他!

序幕 微信群牛皮癣,指的是在微信群里毫无下限的群发小广告的用户,是微信群主最痛恨的一波人。如果熟悉早起的读者可以知道我有一个技术交流群,但是自从建群以来就饱受小广告的困扰。他们伪装成正常人混进群然后不停的发送广告轰炸,严重的打乱了群内的技术交流气氛👇或者是一声不吭的去骚扰每一个群成员👇虽然不清楚是什么能够驱使他们这样不折不扣的努力成为最强微信群牛皮癣(可能是钞能力),但在经历太多次的骚扰之后,我开始思考是否可以用Python消灭他们。 第一回合 其实一开始的思路很简单,总共分两步,首先成功识别出这些人再用Python将他们踢出去即可。 但是这两步,每一步都不简单,先来说说第一步如何准确的识别这些用户,网上没有数据也没有一个好的鉴别标准,只能用我的大脑完成特征识别。经过这几个月,近百份发广告用户的样本训练,我这个“人工智能”基本可以判断一个非正常用户至少满足下面几条中的三条以上: 没有设置 微信号 头像为网红女生 微信名为特殊符号或者表情 没发过 朋友圈 没有 朋友圈背景图 通过后不会有除进群申请外的其他回复 并且根据历史数据,符合1、3条的用户有极大概率为小广告爱好者,那么接下来要...

相关文章

发表评论

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册