开源大数据解决方案
| 解决方案 | 开发商 | 类型 | 描述 |
|---|---|---|---|
| Storm | 流式处理 | Twitter 的新流式大数据分析解决方案 | |
| S4 | Yahoo! | 流式处理 | 来自 Yahoo! 的分布式流计算平台 |
| Hadoop | Apache | 批处理 | MapReduce 范式的第一个开源实现 |
| Spark | UC Berkeley AMPLab | 批处理 | 支持内存中数据集和恢复能力的最新分析平台 |
| Disco | Nokia | 批处理 | Nokia 的分布式 MapReduce 框架 |
| HPCC | LexisNexis | 批处理 | HPC 大数据集群 |
关注公众号 低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有，本站原创内容转载请注明来源。
- 上一篇
周志明的《深入理解JAVA虚拟机》中基于栈的指令集和基于寄存器的指令集，要好好学习
这个知识点是我以前没有的，所以我以前发贴表示完全不理解JAR字节码的执行过程及以本地代码交互的过程。 现在有了这个知识点。 那对JVM的运行机制就了解了大概了。 周志明的《深入理解JAVA虚拟机》这书是本好书呀。 但由于我个人阅读习惯，三天之内要草草看一次的。所以没有按书上代码操作。 以后工作如何有应用时，再慢慢深入吧。 ~~~~~~~~~~~~~~~ NET CLR 和 Java VM 都是堆疊式虛擬機器（Stack-Based VM），也就是說，它們的指令集（Instruction Set）都是採用堆疊運算的方式：執行時的資料都是先放在堆疊中，再進行運算。Java VM 有約 200 個指令（Instruction），每個指令都是 1 byte 的 opcode（操作碼），後面接不等數目的參數；.NET CLR 有超過 220個指令，但是有些指令使用相同的 opcode，所以 opcode 的數目比指令數略少。特別注意，.NET 的 opcode 長度並不固定，大部分的 opcode長度是 1 byte，少部分是 2 byte。 -----------蔡学镛 ~~~~~~~~~~~...
- 下一篇
storm在淘宝
由于storm的内核是clojure编写的(不过大部分的拓展工作都是java编写的)，为我们理解它的实现带来了一定的困难，好在大部分情况下storm都比较稳定，当然我们也在尽力熟悉clojure的世界。我们在使用storm时通常都是选择java语言开发应用程序。 在淘宝，storm被广泛用来进行实时日志处理，出现在实时统计、实时风控、实时推荐等场景中。一般来说，我们从类kafka的metaQ或者基于hbase的timetunnel中读取实时日志消息，经过一系列处理，最终将处理结果写入到一个分布式存储中，提供给应用程序访问。我们每天的实时消息量从几百万到几十亿不等，数据总量达到TB级。对于我们来说，storm往往会配合分布式存储服务一起使用。在我们正在进行的个性化搜索实时分析项目中，就使用了timetunnel + hbase + storm + ups的架构，每天处理几十亿的用户日志信息，从用户行为发生到完成分析延迟在秒级。
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Mario游戏-低调大师作品
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- CentOS6,7,8上安装Nginx，支持https2.0的开启
- CentOS关闭SELinux安全模块
- CentOS7设置SWAP分区，小内存服务器的救世主
- Docker安装Oracle12C，快速搭建Oracle学习环境
- Docker快速安装Oracle11G，搭建oracle11g学习环境
- CentOS7编译安装Gcc9.2.0，解决mysql等软件编译问题
- SpringBoot2整合MyBatis，连接MySql数据库做增删改查操作
- Windows10,CentOS7,CentOS8安装MongoDB4.0.16
微信收款码
支付宝收款码