搜索[伪集群]结果-低调大师优秀个人博客

精选列表

搜索[伪集群]，共10000篇文章

基于RHCS的conode对WEB做高可用集群

一、RHCS简介 RHCS是Red Hat Cluster Suite的缩写，也就是红帽子集群套件，RHCS是一个能够提供高可用性、高可靠性、负载均衡、存储共享且经济廉价的集群工具集合，它将集群系统中三大集群架构融合一体

2017-11-07

Haproxy+Keepalived+Jboss集群实施架构一例

一、基础环境两台IBM x3650M3，操作系统CentOS5.9 x64 ，连接一台IBM DS3400存储，系统底层采用GFS文件系统实现文件共享，数据库是另一套独立的oracle rac集群，本架构无需考虑数据库的问题

2017-11-06

Centos7 安装 Kubernetes 集群详细步骤（安装篇）

Master&etcd k8s_node1 192.168.234.131 Node1 k8s_node2 192.168.234.132 Node2 Kubernetes是goole开源的大规模容器集群管理系统

2017-11-03

Docker Swarm入门：如何搭建原生态Docker集群

本文讲的是Docker Swarm入门：如何搭建原生态Docker集群【编者的话】我们已花大量时间研究Docker及亚马逊的弹性云计算（EC2）容器服务（ECS）组建Docker容器集群的解决方案。

2017-10-12

容器化MYSQL集群在Uber系统中的应用

Schemaless 是一个构建在MySQL集群上，可扩展高可用的数据存储。但管理Uber数据量庞大的数据库集群服务需要应用Docker技术。

2017-10-11

hadoop hbase集群断电数据块被破坏无法启动

集群机器意外断电重启，导致hbase 无法正常启动，抛出reflect invocation异常，可能是正在执行的插入或合并等操作进行到一半时中断，导致部分数据文件不完整格式不正确或在hdfs上block

2017-10-02

解析大数据时代的数据库集群技术

本文将对集群的概念、形式以及目前主流的数据库集群技术进行探讨。

2017-09-06

Hadoop集群环境下网络架构的设计与优化

本文介绍了思科公司在Hadoop 集群环境下的网络架构设计与优化经验。

2017-09-04

基于zookeeper的高可用Hadoop HA集群安装(转载)

转自：http://blog.csdn.net/zilong_zilong/article/details/51703399

2017-09-04

Kubernetes集群上基于Jenkins的CI/CD流程实践

本节我们通过在Kubernetes集群上创建并配置Jenkins Server实现应用开发管理的CI/CD流程，并且利用Kubernetes-Jenkins-Plugin实现动态的按需扩展jenkins-slave

2017-08-29

OpenStack集群支持多虚拟化技术的实现方法

其中被企业用户问的最多的一个问题是：同一个 OpenStack 集群能同时支持多种虚拟化技术么(Mutil-Hypervisor)？答案当然是 Yes！

2017-08-02

Hadoop集群datanode磁盘不均衡的解决方案

一、引言： Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，比如集群中添加新的数据节点，节点与节点之间磁盘大小不一样等等。

2017-08-02

实现Spark集群部署这些公司都经历了什么?

软件公司Intuit和Novantas经过深思熟虑，决定部署他们的第一个Spark集群，限制初始用户访问并寻找坚实的商业用途。

2017-08-01

在E-MapReduce集群内运行Spark GraphX作业

Spark GraphX是一个比较流行的图计算框架，如果你使用了阿里云的E-MapReduce服务，可以很方便的运行图计算的作业。下面以PageRank为例，看看如何运行GraphX作业。这个例子来自Spark官方的example（examples/src/main/scala/org/apache/spark/examples/graphx/PageRankExample.scala），直接调用GraphOps的pageRank方法，计算出ranks： object PageRankExample { def main(args: Array[String]): Unit = { // Creates a SparkSession. val spark = SparkSession .builder

2017-07-24

构千兆楼宇集群筑物联网+产业基地

发挥千兆城市智慧优势打造“通信枢纽”应用示范基地应用场景:1：“物联网+双创基地”构建新兴产业集群市民对于性能日益强大的便携性设备并不感到陌生，但日常携带的大部分设备从物联网的角度衡量还远远不够“

2017-07-04

OpenStack Swift跨地域存储集群的部署与优化

OpenStack Swift，大家会说它是OpenStack的对象存储服务，或者对象存储项目，但是实际上对象存储这个词它的含义，不同的人有不同的理解。首先，让我们先看一个例子，就是淘宝在06、07年的时候，开始用他们自己研发的分布式存储系统，或者用现在时髦的话说叫SDS存储系统，来替代NAS设备。就以前淘宝的图片都是放在NAS里面的，但是从06年开始逐步的替换，当然很快，现在早已经不见了，没有一台NAS，负责一台SAN在淘宝的后端里面。中间有一个数据，当然更新的数据在2010年的时候，淘宝后端的图片数量已经突破了280亿，这个数量也是非常巨大的。这也是造成他们为什么要替换NAS一个很重要的原因，就是因为对于海量数据存储，传统的NAS、传统的文件系统可能会遇到问题，这是一方面。另一方面，就是他要支持客户端直接访问。也就是说，我们现在随着互联网的发展、移动互联网的发展，我们的手机，我们的移动互联网的发展，像网页如果要读取存储或者读取数据的话，我们会希望他能够直接访问存储系统，而不像再像以前，先通过Http服务，访问应用服务器或者访问web前端服务器，然后web再往后给到应用服务器。应用服务器再往后接到存储，然后再把数据吐出来，现在可能会希望能够由客户端直接访问存储，这样的话对整个存储系统的并发，一方面是对整个系统的并发有一个非常好的提升。另一方面，也对存储系统的并发提出了一个挑战，当然这样做以后就会大量节省中间那两层，web服务器和应用服务期的开销，简化整个系统的架构，所以他带来的好处也是很多的，这就是为什么像淘宝，他会在当年用，其实用现在的话就是SDS或者对象存储系统来替代当初的NAS。那么淘宝只是一个例子，其实在互联网公司中，类似的架构、类似的技术在广泛的得到使用，互联网公司是这样。那对于传统行业，我们现在所谓的传统行业，或者我更习惯说是非互联网行业，而过去将近一年多，将近两年时间我所从事的主要工作，就是我把所了解的互联网公司里面用到的比较好的技术推荐或者传播或者说帮助传统行业的非互联网产业的企业怎么样应用、怎么样改造他们的IT系统。以前我们去银行办卡，需要排几十分钟的队才能办到一张卡，或者需要去指定网点才能办，而现在，比如在招行，进去10分钟，就可以办一张卡出来。为什么?因为我们不用再到柜台去排队了，虽然也要去网点，但是也有这样的一个机器，你站在这个机器前边，跟机器那边的人对话几句，然后签署几个电子档的文件就可以了。然后在他的后端，会把你的这段视频，实际上声音是要单独存储的。因为声文识别比视频识别目前来看，还是要更容易和准确一些，所以声音文件是要单独存储的，这是他们的业务，这是他们的应用，那后端的存储用什么?用以前传统存储还行不行，同样会面对像淘宝面对的两个问题，第一个是数据量的激增，以前银行可以说多长时间能存满100T的数据，，存100T会需要很长时间的数据积累，但是上了这套系统以后，因为大量的视频需要存储，所以很快这个存储容量就会发生一个非常大的增长，那以前传统的存储架构可能会有问题。另外这也是一种客户端，这个客户端，我们也会希望它能够直接访问存储系统，还有类似的，像以前我们去银行要复印一些，现在我们去了话，如果办借助卡，可能主要是复印一个身份证，但是实际上银行有很多贷款业务，中间有大量的票据需要复印、需要存档，那现在用什么?全都是扫描件，全都是电子档的数字图片存档。面对这样的存储需求，背后最好的解决方案是什么? 就是我们今天在这里谈论的对象存储。对象存储，也可以叫类似于S3的存储，S3—like storgae，它主要有两个特征。第一个是没有一级一级的文件夹、目录数的东西，它是用户在它的存储空间只能看到一级，类似于目录动，叫做桶或者叫做容器。然后它就把对象放到那些桶里面、容器里面，这个就跟我们使用传统文件系统一级一级建目录的方式不一样。大家知道在亚马逊的云上面，最早提出的服务，在它的虚机、云主机推出之先，最早提供的服务也是对象存储。另外一个特点，提供REST API ，也就是说直接能够HTTP的访问。这个是HTTP的接口，它非常简单，因为它是REStful的，所以他主要通过put、get、Delete、post，四类接口对数据进行操作。文件存储跟文件存储非常类似，叫Object Storage。Object Storage是对象，这个在台湾那边给它翻译为物件存储，我觉得更准确一些，他说实际上这个Object 就是东西，东西往框里放，就是这样一个意思。那Object本质上或者从另外一个角度来说，它就是我们今天说的文件，只不过它的系统这种形态方面不太一样。这个也涉及到一个问题，就是这个东西没有文件夹，没有目录数了，我们怎么管理数据对吧，现在很多人会想到这个事，他又会有疑虑，就是我的应用，以前用的文件夹管理数据，现在没有了，怎么管理数据? 其实仔细想一下，现在在很多场景下文件存储没有用到文件夹。这个听起来很疯狂，文件的存储没有用到文件夹，其实大家仔细想一下，举一个非常直接的例子，你知道你手记拍的照片存在哪个目录下，文件名是什么吗?其实你不知道，但是你用的很好。如果程序员来编程的话，在后端实现一个系统的时候，其实也是类似的，现在很多地方，都不需要用文件夹来管理数据的，不需要用目录来管理数据的。当然并不是说这种东西要否定它，只是说我们在遇到某些问题的时候可以多想一下，像buckets实现，还有像操作系统的实现，它肯定得依赖文件系统。海量数据存储的场景大数据存储场景主要包括这两个，一个是超大文件存储，一个是海量小文件存储。另外一个是极高的可靠性与可用性，就是极高的。就是这个基本上可以很容易做到你的数据永远不丢失，然后永远在线的访问，这个对于Swift来说要做到很容易。当然必须得做正确，不正确的做法其实也是很容易出问题的，所以我们强调运维这个事情。特别是对分布式系统来说，正确的做事情，运维在中间基本上，做OpenStack，有一句话叫三分产品、七分运维，这个是很重要的。由于Swift采用的是全分布式架构，所以它的扩展性非常好，没有集中节点。比如说HDFS，包括像淘宝的TFS，其实还是有NAS接点的，那NAS接点往往就会成为大家关注瓶颈的关键，这个在Swift里面是没有的，所以它的扩展性非常好。而且很多存储系统，随着规模的扩展到一定程度，规模特别大的时候，性能可能会下降，或者说衰减的很厉害，但是Swift不会。Swift几乎在非常大的规模，仍然做到性能随着规模的线性提升。那么，还有就是目前可以支持纠删码，所以分布式存储三副本或者多副本，不再耗裸存储容量的事情，其实在Swift里面目前已经是得到解决，现在在Swift基础上，做了哪些企业级用户比较关心事情? 第一个是安全性。第二个是我们除了支持对象结构以外，我们为了照顾以前习惯NAS的应用，我们也可以支持POSIX兼容的接口。第三个就是就是支持应用开发。另外，说到在跨地域的基础之上，我们其实还可以提供双活或者多活的存储解决方案。所以在我们存储解决方案里面，针对目前这种企业级客户比较关注的双活和多活的事情，提供了这种定制化的解决方案。跨域部署主要是三个方面：第一个是在硬件上第二个就是Ring的创建第三个是最终一致性的问题本文转自d1net（转载）

2017-07-03

《Hadoop集群与安全》一1.2 Hadoop发行版

本节书摘来自华章出版社《Hadoop集群与安全》一书中的第1章，第1.2节，作者（美）Danil Zburivsky Sudheesh Narayanan，更多章节内容可以访问云栖社区“华章计算机”公众号查看

2017-07-03

《Hadoop与大数据挖掘》一2.3 Hadoop集群命令

2.3 Hadoop集群命令一般操作Hadoop集群都是使用相关的Hadoop命令，比如文件上传、下载、删除，文件夹新建、删除、拷贝等；又或者提交MapReduce任务并执行、查看MapReduce任务执行状态等

2017-06-26

集群管理器 Mesos 能在 Windows 上运行了！

Mesosphere 和微软合作，把 Mesos 移植到 Windows，Mesos 能在 Windows Server 上运行了！ Mesosphere，一家致力于构建一个基于 Mesos 项目的容器集中化“数据中心的操作系统”的公司，在 MesosCon 上公开了在 Windows Server 2016 预览版本上运行 Mesos 的第一个 demo。微软在昨天刚刚发布了支持 Docker 容器的 Windows Server 技术预览版，开发人员都希望这些特性能很快在生产环境使用。 Mesosphere 联合创始人 Ben Hindman 说，团队跟微软在进行密切的合作，基于 Apache Mesos 项目源代码的情况下进行密切的配合。同时提到，已经有大量的 Mesosphere 企业用户提出 Windows Server 支持的需求，也已经准备好使用容器，然后使用到生产环境上。现实中许多企业在数据中心是同时使用 Linux 和 Windows 负载。所以，使用 Mesos（Mesosphere）的用户会希望能使用一个既能在 Linux 机器又能在 Windows Servers 上运行的容器管理工具来执行任务。微软已经在最新的 Windows Servers 预览版上提供 Mesos 移植到 Windows Server 的插件，都放到 Docker APIs 中。有了这个，开发者很快就可以使用 Windows Server 容器和更多安全的 Hyper-V 容器。 Microsoft Azure CTO Mark Russinovich 说，微软参与这个项目是因为公司希望能让用户访问其他容器编排技术，这也是 Windows 用户的需求。公司已经在 Azure 云上演示运行 Mesos，但这是一个基于 Linux 的 demo。 Mesos 移植到 Windows 这个项目的所有代码会在这一两周内发布到 GitHub repository。值得关注的是，最近一些报道说微软正在考虑是否要收购 Mesosphere。这两家公司现在合作非常友好，微软也很清晰的引入了容器概念，不管是云平台还是服务器平台。在过去几年里，微软也提出想参与开源社区的意愿，Google 也是，如果 Mesosphere 参与进来，无疑会有一场竞价战争。文章转载自开源中国社区 [http://www.oschina.net]

2017-06-08

使用hadoop restful api实现对集群信息的统计

（适用于hadoop 2.7及以上版本）涉及到RESTful API ResourceManager REST API’s：https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/ResourceManagerRest.html WebHDFS REST API：https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/WebHDFS.html MapReduce History Server REST API’s：https://hadoop.apache.org/docs/stable/hadoop-mapreduce-client/hadoop-mapreduce-clie

2017-06-06

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。