首页 文章 精选 留言 我的

精选列表

搜索[apache storm],共10000篇文章
优秀的个人博客,低调大师

Apache Flink 漫谈系列(08) - SQL概览

SQL简述 SQL是Structured Query Language的缩写,最初是由美国计算机科学家Donald D. Chamberlin和Raymond F. Boyce在20世纪70年代早期从 Early History of SQL 中了解关系模型后在IBM开发的。该版本最初称为[SEQUEL: A Structured English Query Language](结构化英语查询语言),旨在操纵和检索存储在IBM原始准关系数据库管理系统System R中的数据。SEQUEL后来改为SQL,因为“SEQUEL”是英国Hawker Siddeley飞机公司的商标。我们看看这款用于特技飞行的英国皇家空军豪客Siddeley Hawk T.1A (Looks great): 第一款SQL数据库 在20世纪70年代后期,Oracle

优秀的个人博客,低调大师

Apache Spark的部署环境的小记

Spark的单机版便于测试,同时通过SSH用Spark的内置部署脚本搭建Spark集群,使用Mesos、Yarn或者Chef来部署Spark。对于Spark在云环境中的部署,比如在EC2(基本环境和ECMR)上的部署。 请移步,见我的下面博客 Spark运行模式概述 注意:EMR(Elastic MapReduce),即弹性MapReduce。 亚马逊弹性MapReduce(Amazon EMR) 1、从Spark源码搭建Spakr环境 2、在云环境搭建搭建Spakr环境 3、通过SSH搭建Spakr环境 如果集群未安装任何集群管理软件,你能用一些方便Spark部署的脚本通过SSH部署Spark,这种方式在Spark文档中叫“standlone”模式。 4、在YARN上搭建Spakr环境 5、在Mesos上搭建Spakr环境 进一步学习,请移步Spark集群搭建(1、3和5节点)(含CentOS系统和Ubuntu系统) (博主推荐) 本文转自大数据躺过的坑博客园博客,原文链接:http://www.cnblogs.com/zlslch/p/5717422.html,如需转载请自行联系原作者

优秀的个人博客,低调大师

Apache Spark GraphX的体系结构

1. 整体架构 GraphX 的整体架构如图 1所示可以分为三部分。 图 1 GraphX 架构 存储和原语层 Graph 类是图计算的核心类。内部含有 VertexRDD、 EdgeRDD 和RDD[EdgeTriplet] 引用。 GraphImpl 是 Graph 类的子类实现了图操作。 接口层在底层 RDD 的基础之上实现了 Pregel 模型 BSP 模式的计算接口。 算法层基于 Pregel 接口实现了常用的图算法。包括 PageRank、 SVDPlusPlus、TriangleCount、 ConnectedComponents、 StronglyConnectedConponents 等算法。 2. 存储结构 在正式的工业级的应用中图的规模极大上百万个节点是经常出现的。为了提高处理速度和数据量希望能够将图以分布式的方式来存储、处理图数据。图的分布式存储大致有两种方式边分割 Edge Cut和点分割 Vertex Cut如图 2所示。最早期的图计算的框架中使用的是 Edge Cut边分割的存储方式。而 GraphX 的设计者考虑到真实世界中的大规模图大多是边多于点的图所以采用点分割方式存储。点分割能够减少网络传输和存储开销。底层实现是将边放到各个节点存储而在进行数据交换时将点在各个机器之间广播进行传输。对边进行分区和存储的算法主要基于PartitionStrategy中封装的分区方法。这里面的几种分区方法分别是对不同应用情景的权衡用户可以根据具体的需求进行分区方式的选择。用户可以在程序中指定边的分区方式。例如 val g = Graph(vertices, partitionBy(edges, PartitionStrategy.EdgePartition2D)) 图 2 GraphX 存储模型 一旦边已经在集群上分区和存储大规模并行图计算的关键挑战就变成了如何将点的属性连接到边。 GraphX 的处理方式是集群上移动传播点的属性数据。由于不是每个分区都需要所有的点属性因为每个分区只是一部分边 GraphX 内部维持一个路由表routing table这样当需要广播点到需要这个点的边的所在分区时就可以通过路由表映射将需要的点属性传输到指定的边分区。 点分割的好处是在边的存储上是没有冗余数据的而且对于某个点与它的邻居的交互操作只要满足交换律和结合律。例如求顶点的邻接顶点权重的和可以在不同的节点进行并行运算最后把每个节点的运行结果进行汇总网络开销较小。代价是每个顶点属性可能要冗余存储多份更新点数据时要有数据同步开销。 3. 使用技巧 采样观察可以通过不同的采样比例先从小数据量进行计算、观察效果、调整参数再逐步增加数据量进行大规模的运算。可以通过 RDD 的 sample 方法进行采样。同 时通过 Web UI 观察集群的资源消耗。 1内存释放保留旧图对象的引用但是尽快释放不使用的图的顶点属性节省空间占用。通过 unPersistVertices 方法进行顶点释放。 2 GC 调优请读者参考性能调优章节介绍。 3调试在各个时间点可以通过 graph.vertices.count() 进行调试观测图现有状态。进行问题诊断和调优。 GraphX 通过提供简洁的 API 以及优化的图数据管理简化了用户开发分布式图算法的复杂度。在大数据分析中更多的应用场景是进行机器学习。 Spark 之上的 MLlib 进行复杂的机器学习。详细见http://www.cnblogs.com/zlslch/p/5726346.html 本文转自大数据躺过的坑博客园博客原文链接http://www.cnblogs.com/zlslch/p/5726325.html如需转载请自行联系原作者

优秀的个人博客,低调大师

CentOS下Apache 防盗链配置

首先在httpd.conf文件中把如下的配置放开,默认是注释掉的 LoadModule rewrite_module modules/mod_rewrite.so 下面是域名 ServerName http://www.xxxx.com 防盗链配置 RewriteEngine On RewriteCond %{HTTP_REFERER} !^http://www.xxxx.com/.*$ [NC] RewriteCond %{HTTP_REFERER} !^http://www.xxxx.com$ [NC] RewriteRule .*\.(gif|png|jpg|swf)$ http://www.xxxx.com/images/error.png [R,NC] RewriteRule .*\.(gif|png|jpg|swf)$ /ALLOW/img/error.jpg [R,NC] RewriteEngine on:开启Rewrite RewriteCond %{HTTP_REFERER} !^http://www.xxxx.com$[NC]:如果网站不是从http://www.xxxx.com域名点开的都会显示error.png RewriteCond中的正则很普通,所以不做说明。RewriteRule中的正则,(.*)代表任意字符,^是开始锚,$是结束锚。

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

用户登录
用户注册