首页 文章 精选 留言 我的

精选列表

搜索[快速],共10000篇文章
优秀的个人博客,低调大师

数据指标体系如何搭建才最有效,从0到1带你快速入门丨02期直播回顾

一、指标管理背景介绍 大数据时代数字化转型背景下,企业所需要的往往不单单是数据,而是数据背后映射的业务洞察,相比较数据我们更加关心的是其体现的业务价值以及覆盖的业务场景。 庞大的数据只有和业务相结合转化为信息,经过处理呈现才能真正体现他们的价值。指标作为数据计算的结果,是直接反映衡量业务效果的依据,应用在企业的方方面面,如数据报表、分析平台及日常取数等。 ​ 数据指标作为数据计算的结果,是企业数据价值的直观体现,在业务扩张、指标计算需求的暴增背景下,随之而来的指标管理问题也越来越多,例如指标管理不统一、指标口径不一致、指标流程不规范等,这些问题造成指标管理混乱,数据价值未得到充分发挥。 要解决以上问题,帮助企业建立指标体系,我们需要充以下三个方面入手: ●指标平台 建立统一的指标管理平台,集中管理数据指标,沉淀指标资产 ●指标体系 有一套标准规范的指标搭建方法论,搭建企业级数据指标体系 ●流程管理 搭载统一的流程控制机制,全面把控数据指标的生命周期 二、指标体系建设方法论 如何帮助企业搭建指标体系,我们主要从以下五步骤入手,从0到1帮助搭建指标体系 ​ 搭建目标 搭建指标体系的第一步就是明确搭建目标,大部分企业由于目标不清晰造成指标管理混乱,通过指标体系的搭建,我们要实现“一个指标、一个口径、一次加工、多次使用”,做到统一指标口径,减少重复工作,结果统一输出。 ●统一关键指标 创建公司级统一的关键指标,帮助企业通过统一的指标框架来助力业务业务扩张。 ● 减少重复工作 为每一个成员提供统一的平台来协同,了解企业整体数据业务情况,减少数据团队重复性工作和时间花费 ●结果统一输出 针对指标结果,提供一套能将指标和上层应用结合起来的输出方式,发挥数据指标最大的价值 需求分析 明确目标之后,我们开始着手去构建指标体系,在设计指标之前,我们首先要进行需求分析。 同一个企业,不同的业务线、不同的部门,甚至是同一部门的不同人员,提出来的指标计算需求都会有所不同。所以在需求分析的阶段,我们要做到基于不同行业的业务情况,分析数据指标需求,合理划分主题,才能更好地为后续指标设计提供业务支撑。 ​ 指标设计 明确需求后,我们要进行指标体系构建的核心——指标设计,指标设计可分为基础、组成、分类、落地这四个方面,下面我们就来详细介绍: ● 指标设计基础 针对业务需求现状,明确指标的使用者,建立指标分层意识,按照从上往下的方式建立三层指标,层层分解,业务溯源。 ​ ● 指标设计组成 指标设计的组成包含维度、度量、统计周期及过滤条件。 ​ ● 指标设计分类 指标可分为原子指标、派生指标、符合指标和自定义指标。 ​ ● 指标设计落地 最终我们基于上面的方法论,将业务数据指标进行完整地规划落地。 ​ 指标开发 设计明确后,我们就要进行指标的开发工作,真正将我们设计的指标逻辑落实到实处,有输出有应用。指标开发整体包括开发指标和日常运维两部分。 ​ 指标呈现 指标开发完就是指标的上层应用呈现了,也就是上文提到的【多次使用】,一个业务指标,可以根据不同的应用场景,呈现在业务使用的方方面面。 ​ 三、指标体系案例解析 在上文中我们介绍了指标体系建设的方法论,接下来我们将结合实际的项目来为大家分享指标体系建设如何在实际的项目中落地。首先我们为大家介绍下指标管理产品: 一站式指标综合开发管理平台(EasyIndex),覆盖了指标规范定义到开发落地的过程,同时提供上层的综合查询、共享服务、取数分析等应用。消除数据的二义性,降低业务和技术的沟通成本,搭建企业级数据指标体系,沉淀企业指标资产,支撑业务场景分析,精准辅助决策。 ​ 接下来我们以某银行客户的案例,来为大家介绍指标体系建设的实际应用。 某银行客户在初期已完成底层数仓表的建设,但由于业务扩张,数据体量扩大,存在各种大量的数据计算,临时取数的场景,同时存在一些零散的业务指标,需要基于不同的业务场景合理规划杂乱的指标内容 ● 客户痛点 1、指标体系:指标定义混乱,没有完整的指标规划体系,存在同名不同义、同义不同名等情况 2、指标开发:业务取数需求频繁,数据开发每天需要做大量的临时取数工作,开发资源紧张,开发门槛高,过程不可视 3、指标运维:数据计算任务单独维护,无法保证计算结果 4、指标管理:不同部门的指标分散管理,重复建设,指标之间的关系不清晰无法溯源等 ● 建设方案 1、构建完善的指标体系,合理规划现有指标内容 2、提供一个便捷低开发门槛的开发方式,提高指标开发效率 3、提供一个统一串起来的调度运维入口 4、提供一个统一的指标开放平台,能够看到当前所有的指标资产 ​ ● 建设流程 1、需求分析阶段 业务需求调研,了解指标搭建的具体业务使用场景,和业务就整体的搭建思路进行沟通 2、指标设计阶段 围绕着业务场景,按照原子、派生、复合的建设方法论,进行指标的设计,评审通过后落地 3、指标开发阶段 进行数据探查和清洗,明确指标设计对应的具体数据逻辑,对指标进行开发,落地指标计算结果 4、指标验证阶段 对于开发完成的指标进行验证,包括逻辑一致性的验证,数据准确性的验证,场景适用度的验证 5、指标上线应用 上线验证完成的指标内容,提供指标服务供业务系统获取指标数据,在使用过程中不断迭代指标 ● 业务效果 1、绩效考核指标资产沉淀 4大主题分类,包括存款业务、贷款业务、理财业务、网络金融 5大主题对象,围绕着账号、客户、客户经理、机构、产品五大对象进行的指标体系设计 300+指标资产的沉淀输出 75%的临时取数覆盖率,释放了开发资源 开发效率的提高,10个指标的开发时间平均从5人天缩短到1人天,结果复用率提高 2、指标服务提供给业务系统的指标来源 20+指标API提供服务供上层业务系统调用获取指标信息 业务门户展示指标资产 ​

优秀的个人博客,低调大师

用Python爬取了拉勾网的招聘信息+详细教程+趣味学习+快速爬虫入门+学习交流+大神+爬虫入门

关于 一直埋头学习,不知当前趋势,这是学习一门技术过程中最大的忌讳。刚好利用python爬虫,抓取一下拉勾网关于python职位的一些基本要求,不仅能知道岗位的基本技能要求,还能锻炼一下代码能力,学以致用,一举两得。 准备 工具 :python 2.7,PyCharm 类库:urllib2、BeautifulSoup、time、re、sys、json、collections、xlsxwriter 分析及代码实现 进入拉勾网进行分析,要想获取每个岗位的关键词,首先要知道每个岗位详情页面的url,通过对比我们发现,https://www.lagou.com/jobs/4289433.html中,只有4289433这一串数字是不同的,那么就可以知道我们只要获取到每个岗位的这一串数字,我们就可以爬取每个岗位详情页面。 通过F12查看,我们可以看到xhr请求中https://www.lagou.com/jobs/positionAjax.json?px=default&city=%E5%8C%97%E4%BA%AC&needAddtionalResult=false的响应消息里的参数positionId的值为详情页面url的那串数字,如下图 ,那么接下来我们就爬取这个请求来获取所有的positionId。 首先我们通过分析可以看到这是个post请求且form的参数为first、pn、kd,通过不同岗位列表页面的请求,我们可以看到first的取值逻辑是pn为1的时候,first为true,当pn不为1的时候,first的取值为false(其中pn为岗位列表的页数),还有kd为一个固定值(这里是python) def get_positionId(pn): positionId_list = [] url = 'https://www.lagou.com/jobs/positionAjax.json?px=default&city=%E5%8C%97%E4%BA%AC&needAddtionalResult=false' headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36', 'Referer': 'https://www.lagou.com/jobs/list_Python?px=default&city=%E5%8C%97%E4%BA%AC' } if pn == 1: first = 'true' else: first = 'false' data = {'first': first, 'pn': pn, 'kd':kd #这里取变量值,可以获取不同岗位的关键词 } page = get_page(url, headers, data) if page == None: return None max_pageNum = get_pageSize(page) result = page['content']['positionResult']['result'] for num in range(0, max_pageNum): positionId = result[num]['positionId'] positionId_list.append(positionId) return positionId_list #该函数返回一个列表页的所有岗位的positionId 在获取到每个岗位的positionId后,我们就可以根据获取到的positionId进行拼接得到每个岗位详情页面的url,然后爬取这些url,来获取每个岗位的关键词(这里还有一个比较坑人的地方就是通过爬取来的网页内容和通过定位得到的内容竟然是不一样的,害的我纠结了好久),分析该网页如下图: 具体的实现如下: #获取每个岗位的职位要求def get_content(positionId): url = 'https://www.lagou.com/jobs/%s.html' %(positionId) headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36', 'Referer': 'https://www.lagou.com/jobs/list_Python?px=default&city=%E5%8C%97%E4%BA%AC' } page = get_page(url,headers,data=0) soup = Bs(page, 'html.parser') content = soup.find('dd', class_='job_bt').get_text() return content 接下来就是对获取到的岗位描述进行过滤处理,来获取英文关键词,实现如下: #对获取的关键词列表进行过滤去重,获取top50的关键词#处理岗位描述,获取英文关键词def get_keyword(content): pattern = re.compile('[a-zA-Z]+') keyword = pattern.findall(content) return keyword 然后,在通过collections中的Counter模块获取到这些英文关键词中的top50,实现如下: #对获取的关键词列表进行过滤去重,获取top50的关键词def parser_keyword(keyword_list): for i in range(len(keyword_list)): keyword_list[i] = keyword_list[i].lower() keyword_top = Counter(keyword_list).most_common(50) return keyword_top 最后把top50的关键词保存到Excel中,并且生成分析图,实现如下: #数据保存到Excel中,并且生成报表。def save_excel(keyword_top): row = 1 col = 0 workbook = xlsxwriter.Workbook('lagou.xlsx') worksheet = workbook.add_worksheet('lagou') worksheet.write(0, col, u'关键词') worksheet.write(0, col+1, u'频次') for name, num in keyword_top: worksheet.write(row, col, name) worksheet.write(row, col+1, num) row += 1 chart = workbook.add_chart({'type': 'area'}) chart.add_series({ 'categories': 'lagou!$A$2:$A$51', 'values': 'lagou!$B$2:$B$51' }) chart.set_title({'name': u'关键词排名'}) chart.set_x_axis({'name': u'关键词'}) chart.set_y_axis({'name': u'频次(/次)'}) worksheet.insert_chart('C2', chart, {'x_offset':15, 'y_offset':10}) workbook.close() 结果 具体生成的分析图如下: image.png 如果对您有点帮助的话,麻烦您给点个赞,谢谢。 最后附上全部的代码: 大家如果有问题都可以评论区留言,另外如果需要一个学习交流的平台可以加小编的群:719+139+688,群里面有很多学习资料还有大神的直播分享,希望对大家有所帮助,另外在这个上面我回复可能稍微慢一点,但是你们有问题在评论区留言我都会帮你们解决的。

优秀的个人博客,低调大师

2025 年 AI 人才流动报告:AI 新发岗位数量快速增长、平均月薪超 6 万元

近日,脉脉发布《2025 年 AI 人才流动报告》。数据显示,2025年1-7月,AI新发岗位量同比增长超10倍,简历投递量也暴涨了11倍。“算法”相关人才持续紧缺,其中“搜索算法”人才紧缺度最高,5岗争2人。非技术岗数量同比增长7.7倍。 截至2025年7月,脉脉上有超1000家企业发布了7.2万个AI相关岗位,涵盖互联网大厂、外企、车企和AI垂类企业。热招企业和高薪企业均呈现大厂与垂类企业竞相发力的格局。 从新发AI岗位量来看,字节跳动招聘指数29.83位列首位,小红书18.32居第二,阿里巴巴12.25位列第三。小鹏汽车、自变量机器人、黑芝麻智能等垂直企业同样上榜。 不同规模企业的AI化进程显著加速,新发岗位AI渗透率明显提升。2025年1-7月,新经济行业新发岗位AI渗透率超过10%,较去年同期提升10倍以上,且随企业规模扩大而提升。 算法类岗位在AI领域招聘中占据核心地位。从热招岗位TOP20中,过半岗位与算法强相关。“大模型算法”以招聘指数94.16高居热招岗位榜首。在人才紧缺度TOP20的岗位中,“算法”岗位依然霸榜。其中,“搜索算法”成为AI领域人才稀缺度最高的岗位,人才供需比仅为0.39,相当于5个岗位争夺2个人才。 随着企业AI应用加速,非技术岗位数量也在迅速增加。2025年1-7月,AI领域新发非技术类的岗位量相比2024年同期增长7.74倍。产品、运营与设计成为非技术岗位的三大热招方向。

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册