低调大师

显示筛选

文章筛选

  • 全部文章
  • 龙果学院
  • CentosChina
  • 51CTO
  • 推荐
  • 云计算
  • 大数据
  • 移动
  • 网络
  • 安全
  • 系统
  • 开发
  • 服务器
  • 存储
  • 数据库
  • 虚拟化
  • 云栖社区
  • 云计算
  • 大数据
  • 人工智能
  • 架构
  • 移动开发
  • 物联网
  • 编程语言
  • 阿里云
  • OsChina
  • 博客
  • 软件更新资讯
  • 行业资讯
  • 编程语言资讯
  • 综合资讯
您现在的位置是:首页>文章列表

文章列表

  • Storm构建分布式实时处理应用初探(转)

    Storm构建分布式实时处理应用初探(转)

    最近利用闲暇时间,又重新研读了一下Storm。认真对比了一下Hadoop,前者更擅长的是,实时流式数据处理,后者更擅长的是基于HDFS,通过MapReduce方式的离线数据分析计算。对于Hadoop,本身不擅长实时的数据分析处理。两者的共同点都是分布式的架构,而且,都类似有主/从关系的概念。本文中我就不具体阐述Strom集群和Zookeeper集群如何部署的...

    2016-04-22 115热度
  • 大数据安全规范

    大数据安全规范

    大数据安全规范 一、概述 大数据的安全体系分为五个层次:周边安全、数据安全、访问安全(认证 - authentication和授权 - authorization)、访问行为可见、错误处理和异常管理。下面依次说明: 1.周边安全技术即传统意义上提到的网络安全技术,如防火墙等; 2.数据安全包括对数据的加解密,又可细分为存储加密和传输加密;还包括对数据的...

    2016-04-22 107热度
  • Spark-理解RDD

    Spark-理解RDD

    问题 spark的计算模型是如何做到并行的呢?如果你有一箱香蕉,让三个人拿回家吃完,如果不拆箱子就会很麻烦对吧,哈哈,一个箱子嘛,当然只有一个人才能抱走了。这时候智商正常的人都知道要把箱子打开,倒出来香蕉,分别拿三个小箱子重新装起来,然后,各自抱回家去啃吧。 Spark和很多其他分布式计算系统都借用了这种思想来实现并行:把一个超大的数据集,切分成N个小堆,找...

    2016-04-22 162热度
  • Docker的安装,配置,更新和卸载

    Docker的安装,配置,更新和卸载

    版权声明:您好,转载请留下本人博客的地址,谢谢 https://blog.csdn.net/hongbochen1223/article/details/51226700 在Linux中开启Docker引擎 我们可以在Linux中安装Docker并运行Hello world应用程序。通过下面这些操作,我们将会学到更多有关于Docker的基础特征。我们将会学到...

    2016-04-22 155热度
  • 什么是Docker?

    什么是Docker?

    版权声明:您好,转载请留下本人博客的地址,谢谢 https://blog.csdn.net/hongbochen1223/article/details/51214450 什么是Docker? Docker允许我们打包我们的应用以及其所有的依赖包到一个标准化单元中用于软件开发。 Docker容器将一块应用打包到一个完整的文件系统中,在该文件系统中包含了该应用...

    2016-04-21 121热度
  • Nova 组件如何协同工作 - 每天5分钟玩转 OpenStack(24)

    Nova 组件如何协同工作 - 每天5分钟玩转 OpenStack(24)

    Nova 物理部署方案 前面大家已经看到 Nova 由很多子服务组成,同时我们也知道 OpenStack 是一个分布式系统,可以部署到若干节点上,那么接下来大家可能就会问: Nova 的这些服务在物理上应该如何部署呢? 对于 Nova,这些服务会部署在两类节点上:计算节点和控制节点。 计算节点上安装了 Hypervisor,上面运行虚拟机。 由此可知: 1....

    2016-04-21 112热度
  • Oracle VM VirtualBox配置文件

    Oracle VM VirtualBox配置文件

    Linux 虚拟机配置文件分为两处。 windows下:1、用户名/.VirtualBox/ 这里面有2个配置文件: VirtualBox.xml 和 VirtualBox.xml-prev. 后面一个是备份文件, 可以不用管他, 前面一个我们可以看看里面的内容: <?xml version="1.0"?> <!-- ** DO NOT E...

    2016-04-21 118热度
  • 网站访问日志统计分析

    网站访问日志统计分析

    场景 用户使用ECS搭建网站,网站的访问日志(Nginx,Apache访问日志)收集到阿里云日志服务中供查询。为了从访问日志中挖掘出更多价值,日志服务提供了一个docker镜像,用于实时统计和展示网站访问的一系列指标,例如PV,UV,延时,地理,状态码,爬虫,网络流量等指标。 指标 PV 分别以5分钟、1小时、1天为统计周期,统计每个周期内的日志总数。 UV...

    2016-04-21 177热度
  • docker WARNING: bridge-nf-call-iptables is disabled 处理

    docker WARNING: bridge-nf-call-iptables is disabled 处理

    在CentOS中 vim /etc/sysctl.conf net.bridge.bridge-nf-call-ip6tables = 1 net.bridge.bridge-nf-call-iptables = 1 net.bridge.bridge-nf-call-arptables = 1 然后就解决了 docker info 就不显示了

    2016-04-21 240热度
  • 智能家居网络安全攻与防

    智能家居网络安全攻与防

    背景 物联网将会成为继互联网之后的下一个暴发点,目前以有不少公司已进入该领域。 智能家居作为物联网中最具有潜力的领域,网络安全是必须引起重视的课题。在互联网领域中,用户去安全性的敏感度并不是那个高。但是在智能家居领域中,如果系统被黑客攻击:半夜房门自动打开、无故解除安防系统、灯不亮等严重威胁到了用户的财产人身安全。 所以,智能家居想发展,安全性是决不可忽视的...

    2016-04-21 116热度
  • MapReduce源码分析之新API作业提交(二):连接集群

    MapReduce源码分析之新API作业提交(二):连接集群

    MapReduce作业提交时连接集群是通过Job的connect()方法实现的,它实际上是构造集群Cluster实例cluster,代码如下: private synchronized void connect() throws IOException, InterruptedException, ClassNotFoundException { // 如果...

    2016-04-21 126热度
  • MapReduce源码分析之JobSubmitter(一)

    MapReduce源码分析之JobSubmitter(一)

    JobSubmitter,顾名思义,它是MapReduce中作业提交者,而实际上JobSubmitter除了构造方法外,对外提供的唯一一个非private成员变量或方法就是submitJobInternal()方法,它是提交Job的内部方法,实现了提交Job的所有业务逻辑。本文,我们将深入研究MapReduce中用于提交Job的组件JobSubmitter。...

    2016-04-21 119热度
  • 基于阿里云混合云架构的华大基因的BGIOnline,让基因检测从千年到21小时

    基于阿里云混合云架构的华大基因的BGIOnline,让基因检测从千年到21小时

    【云栖社区】在接到华大基因的感谢信之后,4月22日,阿里云总裁胡晓明发出全员信:我们在践行阿里云的使命——计算,为了无法计算的价值。 下述报道来自新浪微博:《基因检测“进化史”:从千年到一天》。 21小时47分12秒,这组数据被定格为了千人全基因测序的“中国速度”。 4月20日,来自“华大基因”的公号发出了一则消息:“华大基因、阿里云和安徽医科大学在深圳、杭...

    2016-04-21 136热度
  • MapReduce源码分析之JobSplitWriter

    MapReduce源码分析之JobSplitWriter

    JobSplitWriter被作业客户端用于写分片相关文件,包括分片数据文件job.split和分片元数据信息文件job.splitmetainfo。它有两个静态成员变量,如下: // 分片版本,当前默认为1 private static final int splitVersion = JobSplit.META_SPLIT_VERSION; // 分片文...

    2016-04-20 113热度
  • Hadoop Common源码分析之服务Service

    Hadoop Common源码分析之服务Service

    Service是定义Hadoop中服务生命周期的一个接口。Service内部定义了服务的状态及生命周期,在服务被构造后,其一个生命周期内的状态为NOTINITED未初始化--INITED已初始化--已启动STARTED--已停止STOPPED,而这一生命周期内服务状态的变化,是随着如下方法链的调用而变化的:init()--start()--stop(),服务...

    2016-04-20 101热度
  • MapReduce实例浅析

    MapReduce实例浅析

    1.MapReduce概述 Hadoop Map/Reduce是一个使用简易的软件框架,基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上,并以一种可靠容错的方式并行处理上T级别的数据集。 一个Map/Reduce作业(job)通常会把输入的数据集切分为若干独立的数据块,由map任务(task)以完全并行的方式处理它们。框架会对map的输出先进...

    2016-04-20 92热度
  • MapReduce深度分析(一)

    MapReduce深度分析(一)

    MapReduce深度分析(一) 一、数据流向分析 图为MapReduce数据流向示意图 步骤1、输入文件从HDFS流向到Mapper节点。在一般情况下,存储数据的节点就是Mapper运行的节点,不需要在节点之间进行数据传输,也就是尽量让存储靠近计算。 步骤2、mapper输出到内存缓冲区。Mapper的输入是解析后的键值对,输出是经过处理后新的<ke...

    2016-04-20 103热度
  • Hadoop2.6.0配置参数查看小工具

    Hadoop2.6.0配置参数查看小工具

    版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/beliefer/article/details/51145397 前言 使用Hadoop进行离线分析或者数据挖掘的工程师,经常会需要对Hadoop集群或者mapreduce作业进行性能调优。也许你知道通过浏览器访问http://master:18088/con...

    2016-04-20 101热度
  • MapReduce深度分析(二)

    MapReduce深度分析(二)

    MapReduce深度分析(二) 五、JobTracker分析 JobTracker是hadoop的重要的后台守护进程之一,主要的功能是管理任务调度、管理TaskTracker、监控作业执行、运行作业容错机制等。 首先启动interTrackerServer,将端口配置为mapred.job.tracker绑定的地址和端口。interTrackerServe...

    2016-04-20 157热度
  • hadoop中的序列化与Writable类

    hadoop中的序列化与Writable类

    hadoop中自带的org.apache.hadoop.io包中有广泛的writable类可供选择,它们形成下图所示的层次结构: java基本类型的Writable封装器 Writable类对java基本类型提供封装,short和char除外,所有的封装包含get()和set()两个方法用于读取或设置封装的值 java基本类型的Writable类 java原...

    2016-04-20 105热度
« 上页 6842/6971 下页 »