一直播、小咖秀大数据自动化运维实践
前言
一下科技从成立至今一直专注于短视频领域,我们希望分发给用户更多的优质视频,让用户看到这个世界上的美好。
我们公司对于大数据的要求和阿里、搜狗不太一样。当我加入一下科技后发现,在高速成长发展型企业,我们需要大数据做得更多的不是平台,不是让平台做得多么好,让各个部门使用,而是让平台提升用户增长、扩大营收。
我带领团队尝试多次转型,最终我们想到一点,我们需要大数据基础平台,更多的不是走到平台化或智能化,而是简单够用就好。
在此之上我们有很多想法,希望可以跟大家分享,有些处于高速发展期和成长期的公司可能跟我们面临同样的问题,大家可以共同探讨。
一直播、小咖秀大数据架构
我们先看一下一直播和小咖秀大数据的现状。当我们去考虑一直播和小咖秀整体大数据架构时,我把公司所有需要大数据业务的需求整理好,我尽量把它压缩到只需要到ES、HDFS、Kafka、H
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
我所认知的分布式系统(一)分布式系统概览
前言 我们身处于一个充斥着分布式系统解决方案的计算机时代,而分布式系统是一个很大的概念,从架构设计、研发流程、运维部署、工程效率等多个角度均有很深的知识可以挖掘。 近期整理了过去阅读过的一些和分布式相关书刊和文章,加上自己做分布式开发的一些的心得分享给大家,本文作为开篇,总体上给出知识概览,后续将分篇结合代码实践来进行阐述。起草仓促,水平有限,欢迎大家一起学习指正。 版本历史 版本 更新日期 说明 1.0 2018.07.25 初稿 分布式系统大图 一、设计 网关模式,Gateway 功能 请求路由,客户端直接调用Gateway,Gateway负责路由转发到注册服务上 服务注册,后端服务将API注册,Gateway负责路由 负载均衡,支持多种负载策略 round robin 随机均衡算法 多权重负载 session粘连 其它 安全特性,支持HTTPS,账户鉴权,及其它安全特
- 下一篇
美国下注15亿美元重点搞芯片!电子复兴5年计划首批入围项目曝光
上周,数以百计的工程师齐聚旧金山。 在这个靠近硅谷湾区的明星城市,美国首次“电子复兴计划”峰会(ERI Summit)拉开帷幕。 峰会的组织者,是美国国防部高级研究计划局DARPA。大会演讲者,包括今年的图灵奖得主、Google母公司Alphabet的董事会主席、前任斯坦福校长John Hennessy等多位高科技公司的掌门人和学界领袖。 在这场为期三天的大会上,讨论的议题包括下一代人工智能的硬件,如何应对摩尔定律的终结,材料与集成等等。 但大会的详细讨论,在网上披露甚少。 不过,至少有一个信息,明确的传达了出来。就在这次的大会上,美国的电子复兴五年计划,选出了第一批入围扶持项目。 追踪入围项目详情 然而,这些项目并没有完整的公布出来。经过一番努力,量子位终于在海量信息中,整理出一个较为完整的答案。 这些项目共分成三组,共计六个类别。 有两类项目
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Docker安装Oracle12C,快速搭建Oracle学习环境
- Windows10,CentOS7,CentOS8安装MongoDB4.0.16
- CentOS8编译安装MySQL8.0.19
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS8安装Docker,最新的服务器搭配容器使用
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- SpringBoot2整合Redis,开启缓存,提高访问速度
- CentOS7,8上快速安装Gitea,搭建Git服务器
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- CentOS关闭SELinux安全模块