QCon思考之通过Quora和Spotify案例，直击数据处理背后的魅影-低调大师

QCon思考之通过Quora和Spotify案例，直击数据处理背后的魅影

2017-07-31 960

有的同学很困惑米国人不看知乎怎么知道那么多知识呢？米国人当然看Quora啦，Quora是一个问答社交软件，问答社交的特点就是有各种各样的计数器，比如帖子的支持、反对、评论数量，用户的关注、粉丝数量等等，随着用户量的增加、帖子的增多、以及带来的互动的增长，Quora处理的数据也是爆炸式增长。Quora从第一天开始就长在云上（AWS），生产环境使用MySQL和HBase做存储，使用RefShift和Spark用来做数据分析，在这些组件的基础上Quora做了一个数据服务叫Quanta，Quanta的设计约束是：

A：数据更新之后不能丢失，要求持久化到disk

B：有billion级别的counter，单机放不下，所以需要分布式集群

C：每秒写>10W次，每秒读>100W次，只能用追加写

D：读写都要很快

E：资源和负载能够线性扩展，而

微信关注我们

原文链接：https://yq.aliyun.com/articles/175305

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

安防存储技术优势及在智能领域的应用

大数据在安防行业的应用使得安防更加智能化，大数据的技术一般分为数据采集、存储、挖掘和分析技术。其中，智能分析居于核心地位。而智能分析是安防大数据区别于IT大数据的重点之一，只有利用智能分析技术将安防大数据的非结构化数据转换为结构化数据，才能将IT大数据成熟的技术体系应用到安防大数据中，充分发挥安防大数据的作用。安防存储技术发展现状存储在安防行业的发展过程中经历了磁带存储、DVR、NVR、SAN直存等产品形态，新兴的软件定义、云存储等概念也是层出不穷，但无论怎样发展，存储起到的作用始终是是写入和读取两个功能。传统的分布式存储如DVR、NVR产品，只能对监控点位分散的结构通过划分若干监控区域进行分布式存储，保证基本的写入需求，对于大规模读取的性能无法按需满足；监控领域的集中式存储主要指SAN、一体机设备，这类设备通过RAID、增加扩展柜的方式获得了单机的大规模写入空间，满足了高密度的需求，但是对于视频的读取仍无法做到按需分配；云存储的架构真正做到视频的写入、读取按需分配、线性扩展，增加独立的存储节点即可获得更高的读和写性能。从实际实用的角度来看，用户对于存储的主要需求是建、存、读、管...

2017-07-31

520

区块链(Blockchain)本质上是一个去中心化的数据库，同时作为比特币的底层技术。区块链是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一次比特币网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。近年来，互联网金融凭借更优的用户界面、细分的市场定位及有利的经济环境和监管政策实现了快速发展，但尚未触及金融行业的底层逻辑架构和基础IT设施。区块链的出现，将从基础技术层面真正建立“去中心化”信任，颠覆传统金融信用中心式服务模式，实现价值在网络上的实时传递，进而开启价值互联新时代。区块链可实现信任的数据共享机制区块链是基于现有技术的组合与升级，并不是一种全新、单一的技术。从中心控制力度和信息公开度层面，区块链可分为公有链、联盟链和私有链。相对于公有链的完全开放和公开，联盟链和私有链允许有多个或单个中心控制参与主体范围和信息公开范围。由于金融行业须严格控制交易和信息等的公开范围，且有参与者的准入要求，因此联盟链和私有链对于金融行业更加适用。2015年以来，联盟链和私有链快速发展，为区块链金融应用的落地提供了强有力的技术支持。从影响程度来看，区块链可从技术层面...

2017-07-31

572

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。