搜索[分布式调度]结果-低调大师优秀个人博客

精选列表

搜索[分布式调度]，共10000篇文章

分布式日志收集系统scribe介绍

它能够从各种日志源上收集日志，存储到一个中央存储系统（可以是NFS，分布式文件系统等）上，以便于进行集中统计分析处理。它为日志的“分布式收集，统一处理”提供了一个可扩展的，高容错的方案。

2017-11-07

MFS分布式文件系统介绍

一、MooseFS介绍 1、MooseFS是一款网络分布式文件系统，基于GoogleFS的实现方式。即一个MasterServer和多个ChunkServer构成的存储集群。

2017-11-06

容器时代的分布式日志架构

本文讲的是容器时代的分布式日志架构，微服务与宏观问题现代的科技公司强调微服务架构，容器也越来越重要。在需要为多种平台和应用提供服务的世界里，微服务是必不可少的。

2017-10-17

TFS分布式文件系统应用

除了自建文件系统，在应用上云的大趋势下，还可以使用阿里云的对象存储OSS服务：阿里云对象存储OSS首页一、关于TFS TFS（Taobao File System）是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统

2017-10-12

用Docker构建分布式Redis集群

本文讲的是用Docker构建分布式Redis集群，【编者的话】本文介绍了如何使用Docker搭建Redis集群，很多读者都在问Docker能带来哪些实质性的好处，我想本文就是一个很好的例子。

2017-09-20

Openstack 之分布式存储技术比较

关于Openstack的分布式存储,我关注Ceph,swift,hdfs的功能实现和优缺点，适用场景。

2017-08-01

说说分布式文件存储系统

分布式文件存储系统主要被分为三种类型：分布式文件存储、块存储、对象存储。这三种存储系统都有着自己的特点和适用场景。

2017-08-01

一文读懂分布式系统

我的 Phd 研究方向是分布式系统，我老板也是搞分布式系统出身，我们实验室在这方面的积累还算不错，所以借此问题谈谈自己的看法。

2017-07-31

大型分布式网站架构技术总结

本文是学习大型分布式网站架构的技术总结。对架构一个高性能，高可用，可伸缩，可扩展的分布式网站进行了概要性描述，并给出一个架构参考。一部分为读书笔记，一部分是个人经验总结。

2017-07-31

用Mesos分布式架构进行工作

主master节点使用可插拔的分配模块或调度算法来分发资源供给至各种调度器，从而决定将什么资源提供给某一特定的framework。调度器依据其上是否有任务需要执行来决定接收或拒绝资源供给。

2017-05-31

Apache Storm 官方文档 —— 分布式 RPC

分布式 RPC（DRPC）的设计目标是充分利用 Storm 的计算能力实现高密度的并行实时计算。Storm 接收若干个函数参数作为输入流，然后通过 DRPC 输出这些函数调用的结果。

2017-05-21

Ceph分布式存储实战3.1 引言

智能分布CRUSH 3.1 引言数据分布是分布式存储系统的一个重要部分，数据分布算法至少要考虑以下3个因素。 1）故障域隔离。同份数据的不同副本分布在不同的故障域，降低数据损坏的风险。

2017-05-01

分布式搜索Elasticsearch——QueryBuilders.matchPhrasePrefixQuery

注：该文项目基础为分布式搜索Elasticsearch——项目过程（一）和分布式搜索Elasticsearch——项目过程（二），项目骨架可至这里下载。

2016-10-19

Spark——分布式并行计算概念

一，概念一个资源密集型的任务，需要一组资源并行的完成，当计算机任务过重，就把计算任务拆分，然后放到多个计算节点上同时执行，这就是分布式并行计算啦。分布式并行计算，强调用硬件的堆叠，来解决问题。

2016-08-20

zabbix分布式监控部署proxy安装

之前写过一篇源码安装zabbix2.2.9版本，server端安装文档； http://mofansheng.blog.51cto.com/8792265/1679728 下面分享一下zabbix分布式监控

2016-08-03

MapReduce中的分布式缓存使用

https://blog.csdn.net/qq1010885678/article/details/50751007 MapReduce中的分布式缓存使用 @(Hadoop) 简介 DistributedCache

2016-02-25

配置单节点伪分布式Hadoop

虽然我们现在搭建的是一个伪分布式的平台，但是Hadoop没有区分开集群式和伪分布式，对于伪分布式，Hadoop会采用与集群相同的处理方式，即按次序启动文件conf/slaves中记载的主机进程，只不过在伪分布式中

2015-06-15

flume分布式日志收集系统操作

https://blog.csdn.net/qq1010885678/article/details/44681127 1.flume是分布式的日志收集系统，把收集来的数据传送到目的地去。

2015-03-26

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/44228263 修改主机名和IP的映射关系 vi /etc/hosts 192.168.61.134 hadoop 关闭防火墙 #查看防火墙状态 service iptables status #关闭防火墙 service iptables stop #查看防火墙开机启动状态 chkconfig iptables --list #关闭防火墙开机启动 chkconfig iptables off 重启Linux reboot 安装JDK 上传JDK文件到linux中解压jdk 创建文件夹 mkdir /usr/java 在/usr/java目录下安装 chmod 755jdk-6u45-linux-i586.bin 安装 ./jdk-6u45-linux-i586.bin 安装完成之后重命名jdk的安装文件夹为jdk 将java添加到环境变量中 vi /etc/profile #在文件最后添加 export JAVA_HOME=/usr/java/jdk export PATH=$PATH:$JAVA_HOME/bin 刷新配置 source /etc/profile 安装Hadoop 上传hadoop安装包到hadoop宿主目录下解压hadoop安装包到hadoop根目录 tar -zxvf hadoop-2.2.0-64bit.tar.gz 修改配置文件（5个）第一个：hadoop-env.sh #在27行修改 export JAVA_HOME=/usr/java/jdk 第二个：core-site.xml <configuration>  <property> <name>fs.defaultFS</name> <value>hdfs://hadoop:9000</value> </property>  <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/hadoop/tmp</value> </property> </configuration> 第三个：hdfs-site.xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> 第四个：mapred-site.xml.template 需要重命名： mv mapred-site.xml.template mapred-site.xml <configuration>  <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> 第五个：yarn-site.xml <configuration>  <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration> 3.4将hadoop添加到环境变量 vi /etc/profile export JAVA_HOME=/usr/java/jdk export HADOOP_HOME=/home/hadoop/hadoop export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin source /etc/profile 3.5格式化HDFS（namenode）第一次使用时要格式化 hadoop namenode -format 3.6启动hadoop 先启动HDFS sbin/start-dfs.sh 再启动YARN sbin/start-yarn.sh 3.7验证是否启动成功使用jps命令验证 27408 NameNode 28218 Jps 27643 SecondaryNameNode 28066 NodeManager 27803 ResourceManager 27512 DataNode http://hadoop:50070 (HDFS管理界面) 在这个文件中添加linux主机名和IP的映射关系 C:\Windows\System32\drivers\etc\hosts 192.168.61.134 hadoop http://hadoop:8088 （MR管理界面） 4.配置ssh免登陆在服务器上输入命令 chmod -R 755 /home/hadoop mkdir ~/.ssh ssh-keygen -t rsa ssh-keygen -t dsa rsa和dsa分别生成不同加密格式的ssh密钥，直接一直按回车键保存在默认的路径在节点上配置authorized_keys文件输入命令 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 将本地的密钥保存在authorized_keys 输入命令 chmod -R 700 ~/.ssh 注意当前你所在的路径

2015-03-11

PyTorch 发布分布式编程框架 Monarch：让分布式 AI 训练像单机一样简单

PyTorch 团队发布了全新分布式编程框架 Monarch，旨在彻底简化大规模机器学习任务的开发与部署。

2025-10-24

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。