首页 文章 精选 留言 我的
优秀的个人博客,低调大师

微信关注我们

原文链接:https://my.oschina.net/u/4526289/blog/5361126

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

TensorFlow在推荐系统中的分布式训练优化实践

美团内部深度定制的TensorFlow版本,基于原生TensorFlow 1.x架构与接口,从大规模稀疏参数的支持、训练模式、分布式通信优化、流水线优化、算子优化融合等多维度进行了深度优化。在推荐系统场景,分布式扩展性提升10倍以上,单位算力性能也有显著提升,并在美团内部业务中大量使用,本文介绍了相关的优化与实践工作。 1 背景 TensorFlow(下文简称TF)是谷歌推出的一个开源深度学习框架,在美团推荐系统场景中得到了广泛的使用。但TensorFlow官方版本对工业级场景的支持,目前做得并不是特别的完善。美团在大规模生产落地的过程中,遇到了以下几方面的挑战: 所有参数都是用Variable表达, 对于百亿以上的稀疏参数开辟了大量的内存,造成了资源的浪费; 只支持百级别Worker的分布式扩展,对上千Worker的扩展性较差; 由于不支持大规模稀疏参数动态添加、删除,增量导出,导致无法支持Online Learning; 大规模集群运行时,会遇到慢机和宕机;由于框架层不能处理,导会致任务运行异常。 以上这些问题,并不是TensorFlow设计的问题,更多是底层实现的问题。考虑到美团...

原创内容屡屡被盗?从源头对资源盗用说NO

在这个信息化的时代,资源被盗用是一件很让人厌恶,但又很常见的事。比如,之前郭敬明的小说《梦里花落知多少》剽窃庄羽小说《圈里圈外》一事,虽然郭敬明通过个人微博向庄羽道歉,并表示“将把《梦里花落知多少》这本小说出版后获得的线上线下所有的版税以及全部收益汇总计算清楚之后,全部赔偿给庄羽女士”。而庄羽在接受郭敬明道歉后,提议一起成立一个反剽窃基金。 而互联网不单让资源流传越发便利,也让被盗用的资源从文字扩展到了图片、视频等。可是并不是每一个人都会像庄女士那样幸运,能得到应有的赔偿。因此既然不能完全阻止别人盗窃资源,那么采取防盗措施在一定程度上防止自己的资源被盗用,就变得重要起来。那么如何保护我们的资源不被盗用呢? 要知道如何防盗,最优先的是知道自己什么时候被盗了,不然你都不知道自己被盗了,也就无从谈起防盗了。以个人网站为例,你刚上传好了自己拍摄的新图,却发现网站访问速度越来越慢。你以为是自己拍摄的新图吸引了大波用户,就打开网站后台查看今天的访客数,却发现只有寥寥几人。 遇到这种情况,很遗憾的告诉您:您的网站资源很大可能被别人盗用了!当你发现此事,并急急忙忙删除了这些资源,想让服务器缓一缓的时候...

相关文章

发表评论

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册