首页 文章 精选 留言 我的

精选列表

搜索[伪集群],共10000篇文章
优秀的个人博客,低调大师

利用Traefik+Docker构建可弹性扩展的微服务或服务集群

简介 Traefik是一个与Nginx、HAProxy有些相似的HTTP反向代理服务器,兼有负载均衡的功能。Nginx和HAProxy都有一个相同的问题就是,后端服务(通常称之为upstream或backend)变化(是否能正常工作、上线、下线、扩展)时,不容易动态更新Nginx和HAProxy的配置文件和重载服务,尽管有一些类似于Registrator,Consul和Consul-Template这样的工具可以来做这样的事。 图1:微服务常见的一种请求分发图。 与Nginx、HAProxy不同的是,Traefik更适合需要服务发现和服务注册的应用场景。例如,Traefik与Docker相结合非常容易,只需要指定label即可(虽然可以使用docker run指定label,但更推荐使用docker-compose.yml指定)。演示的例子直接可以参考官方网站,也可以参考下面的例子,非常简单并通俗易懂。需要指出的是Traefik并不是只能与Docker相结合,Docker,Swarm,Mesos/Marathon,Consul,Etcd,Zookeeper,BoltDB,Amazon ECS, Rest API, file...都可以。具体的可以参考官方网站和Google it。 图2:Traefik是如何管理请求的 一个简单的演示: 1.创建Traefik服务,可以使用Docker也可以使用命令行的方式。 注意:不熟悉docker-compose的可以先学习一下docker-compose的语法和应用,或者直接忽略它,再根据下文的相对目录结构、文件和命令创建。 docker-compose.yml 文件内容如下: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 version: '2' services: traefik: image:traefik:latest restart:unless - stopped command: - - web - - docker - - docker.domain = docker.localhost - - logLevel = DEBUG networks: - webgateway ports: - "80:80" - "8080:8080" - "443:443" volumes: - / var / run / docker.sock: / var / run / docker.sock - / dev / null: / traefik.toml networks: webgateway: driver:bridge 2.使用whoami应用作为一个简易的HTTP Web服务: docker-compose.yml 文件内容如下: 1 2 3 4 5 6 7 8 9 10 11 12 13 version: '2' services: whoami: image:emilevauge / whoami networks: - web labels: - "traefik.backend=whoami" - "traefik.frontend.rule=Host:whoami.docker.localhost" networks: web: external: name:traefikself_webgateway 3.通过docker-compose logs traefik命令查看Traefik日志: 4.使用docker-compose scale whoami=3 命令扩展3个whoami应用,观察访问情况,通过CURL结果可以发现默认是轮询的wrr。 5.Traefik有一个Dashboard Web UI,可以通过网页了解当前Traefik中的运行情况和节点的健康状态。 更多参考: 官方网站(英文):https://docs.traefik.io/ 使用Docker和Traefik构建微服务(英文)http://blog.hypriot.com/post/microservices-bliss-with-docker-and-traefik/ tag:traefik,docker,微服务 --end-- 本文转自 urey_pp 51CTO博客,原文链接:http://blog.51cto.com/dgd2010/1896255,如需转载请自行联系原作者

优秀的个人博客,低调大师

ubuntu16.04安装Storm数据流实时处理系统 集群

root@master:~# wgethttp://mirror.bit.edu.cn/apache/storm/apache-storm-1.1.1/apache-storm-1.1.1.tar.gz root@master:/usr/local/apache-storm-1.1.1# vim conf/storm.yaml storm.zookeeper.servers: - "master" - "slave1" - "slave2" 复制到其它节点 root@master:/usr/local/apache-storm-1.1.1# bin/storm nimbus & [1] 33251 root@slave1:/usr/local/apache-storm-1.1.1# bin/storm supervisor & [1] 15896 root@master:/usr/local/apache-storm-1.1.1# bin/storm ui & [2] 33436 root@slave1:/usr/local/apache-storm-1.1.1# bin/storm ui & [2] 16009 root@master:/usr/local/apache-storm-1.1.1# jps 14033 Master 33251 nimbus 33525 Jps 14901 QuorumPeerMain 13033 SecondaryNameNode 33436 core 12813 NameNode 13182 ResourceManager root@slave1:/usr/local/apache-storm-1.1.1# root@slave1:/usr/local/apache-storm-1.1.1# jps 16096 Jps 15457 HRegionServer 7219 DataNode 15896 Supervisor 8632 QuorumPeerMain 16009 core 8330 Worker 8268 Worker 本文转自 OpenStack2015 博客,原文链接:http://blog.51cto.com/andyliu/1967308 如需转载请自行联系原作者

优秀的个人博客,低调大师

hadoop集群运行jps命令以后Datanode节点未启动的解决办法

出现该问题的原因:在第一次格式化dfs后,启动并使用了hadoop,后来又重新执行了格式化命令(hdfs namenode -format),这时namenode的clusterID会重新生成,而datanode的clusterID 保持不变。 1:其实网上已经有解决办法了,这里自己脑补一下,也可以让别人看到我是怎么解决的。出现这个问题主要是和配置这个文件相关:core-site.xml; <!-- 指定HADOOP所使用的文件系统schema(URI),HDFS的老大(NameNode)的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> <!-- 指定hadoop运行时产生文件的存储目录 --> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/hadoop-2.4.1/tmp</value> </property> 主要和配置的这个/home/hadoop/hadoop-2.4.1/tmp的这个tmp目录里面的(这个tmp目录是自己起的,自己开心就好); 而网上是这样解决的: 打开hdfs-site.xml里配置的datanode和namenode对应的目录,分别打开current文件夹里的VERSION,可以看到clusterID项正如日志里记录的一样,确实不一致,修改datanode里VERSION文件的clusterID 与namenode里的一致,再重新启动dfs(执行start-dfs.sh)再执行jps命令可以看到datanode已正常启动。 我感觉这样不是很畅快解决问题,所以直接/home/hadoop/hadoop-2.4.1/tmp/dfs/data/current下面的VERSION删除了,然后再执行一下又重新执行了格式化命令(hdfs namenode -format),最后启动start-dfs.sh和start-yarn.sh就可以了; 2:启动start-dfs.sh和start-yarn.sh显示节点的类别: 1:HDFS的守护进程 (1):主节点:Namenode、SecondaryNamenode (2):从节点:Datanode 2:YARN的守护进程 (1):主节点:ResourceManager (2):从节点:NodeManager 3:心灵鸡汤: 有时候,也许坚持下去也不会有所成就,但是放弃肯定是一无所有......致自己;

优秀的个人博客,低调大师

【Spark Summit EU 2016】Apptopia:仅凭勇气、速度与Spark集群,构建APP市场

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data;此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps。 本讲义出自Johnathan Mercer在Spark Summit EU 2016上的演讲,主要介绍了作为移动应用智能公司的Apptopia,Apptopia致力于解决移动应用市场的问题,他们通过Spark将共有数据以及自己的私有数据进行结合,并利用结合后的数据进行分析预测。 Johnathan Mercer还分享了Spark以及开源工具如何改变了Apptopia,以及从改变中学习到的四点经验。

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册