文章列表-低调大师优秀的个人博客

您现在的位置是：首页>文章列表

文章列表

腾讯大规模Hadoop集群实践

腾讯大规模Hadoop集群实践转自：http://www.csdn.net/article/2014-02-19/2818473-Tencent-Hadoop ID lishilong404740787 TDW是腾讯最大的离线数据处理平台。本文主要从需求、挑战、方案和未来计划等方面，介绍了TDW在建设单个大规模集群中采取的JobTracker分散化和Nam...
2019-10-19 117热度收藏
mysql管理工具Maatkit介绍

Maatkit是不错的mysql管理工具，已经成为Percona的一部分。包含以下主要工具： 1、mk-table-checksum 检查主从表是否一致的有效工具 2、mk-table-sync 有效保证表一致的工具，不必重载从表而能够保证一致。 3、mk-visual-explain exlpain解释工具 4、mk-heartbeat 主从同步的监视工具...
2019-10-19 11热度收藏
Spark 大规模机器学习官方文档 - 中文翻译

Spark官方文档 - 中文翻译 Spark版本：1.6.0 转载请注明出处：http://www.cnblogs.com/BYRans/ 1 概述(Overview) 2 引入Spark(Linking with Spark) 3 初始化Spark(Initializing Spark) 3.1 使用Spark Shell(Using the Shell)...
2019-10-19 10热度收藏
揭秘全球最大网站 Facebook 背后应用软件

2010年6月，Google公布全球Top1000网站。Facebook独占鳌头。以Facebook现在的经营规模，诸多传统服务器的技术均将崩溃或根本无法支撑。那么面对5亿的活跃用户，Facebook的工程师们又将如何让网站平稳运转呢？这篇文章将展示Facebook的工程师完成这个艰巨任务所用到的一系列软件。Facebook级别规模的挑战在我们深入细节之...
2019-10-19 35热度收藏
Hadoop集群选择合适的硬件配置

为Hadoop集群选择合适的硬件配置随着Apache Hadoop的起步，云客户的增多面临的首要问题就是如何为他们新的的Hadoop集群选择合适的硬件。尽管Hadoop被设计为运行在行业标准的硬件上，提出一个理想的集群配置不想提供硬件规格列表那么简单。选择硬件，为给定的负载在性能和经济性提供最佳平衡是需要测试和验证其有效性。（比如，IO密集型工作负载的...
2019-10-19 12热度收藏
阿里云CentOS 7.2 MySQL服务启动失败的解决思路

阿里云 CentOS 7.2 MySQL服务启动失败的解决思路前言：昨天刚刚搭建好的MySQL让老大看了一下，经过测试已经完成任务。但是今天早晨来的时候发现服务器被关了，此时我的心情崩溃的，但是我非常冷静的解决了MySQL问题。如下： [root@spark01~]#journalctl-xe 但，可惜的时，这些信息并不能提供服务启动失败的真正原因。 ...
2019-10-19 11热度收藏
教你搭建elasticsearch与实现zabbix对接

一. 搭建elasticsearch 上传jdk-8u181-linux-x64.tar.gz和elasticsearch-6.1.4.tar.gz文件到系统任意目录，安装java解压jdk-8u181-linux-x64.tar.gz文件tar -zxvf jdk-8u181-linux-x64.tar.gz 编辑profile文件，添加jdk环境变量v...
2019-10-19 49热度收藏
Google的十个核心技术，互联网营销

曾任职于IBM中国研究院，从事与云计算相关研究的CSDN博客专家吴朱华曾写过一篇文章《探索Google App Engine背后的奥秘(1)--Google的核心技术》，对Google的核心技术和其整体架构进行详细的分析。本篇将主要介绍Google的十个核心技术，而且可以分为四大类： 1.分布式基础设施：GFS，Chubby和Protocol Buffer...
2019-10-19 12热度收藏
Hadoop集群部署实战

Hadoop 集群搭建目录集群简介服务器准备环境和服务器设置 JDK环境安装 Hadoop安装部署启动集群测试集群简介在进行集群搭建前，我们需要大概知道搭建的集群都是些啥玩意。 HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者在逻辑上分离，但物理上常在一起（啥意思？就是说：HDFS集群和YARN集群，他们俩是两个不同的玩...
2019-10-19 25热度收藏
Hadoop分布式文件系统设计要点与架构

Hadoop分布式文件系统设计要点与架构 Hadoop简介：一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署...
2019-10-19 38热度收藏
Docker在windows下的使用【二】

可参考学习地址：极客学院docker教程，还不错，可以参考 1.Dockerhub下载镜像下载地址：Dockerhub地址有两种方式可以获得新的镜像直接从dockerhub下载编译好的image（该编译过程在docker hub的云端完成）（见3.1）下载docekrfile文件，在本机进行build 直接在dockerhub上pull pre-bu...
2019-10-19 65热度收藏
Docker在windows下的使用【一】

1.windows按照docker的基本要求（1）64为操作系统，win7或者更高（2）支持“ Hardware Virtualization Technology”，并且，“virtualization ”可用 2.具体安装步骤即安装Docker Toolbox，同时还附加安装 Docker Client for Windows Docker Tool...
2019-10-19 44热度收藏
Spark官方文档: Spark Configuration（Spark配置）

Spark官方文档: Spark Configuration（Spark配置） Spark主要提供三种位置配置系统：环境变量：用来启动Spark workers，可以设置在你的驱动程序或者conf/spark-env.sh 脚本中； java系统性能：可以控制内部的配置参数，两种设置方法：编程的方式（程序中在创建SparkContext之前，使用Syst...
2019-10-19 59热度收藏
Zabbix 的 Docker 映像

在Docker中使用zabbix进行监控Container 容器提供了以下* Zabbix服务*，请参阅[ Zabbix文件]（http://www.zabbix.com/）附加信息。 Zabbix Server端口号10051. Zabbix Java Gateway端口号 10052. Zabbix Web UI端口号 80 (例子 http://$co...
2019-10-19 28热度收藏
IOS内测分发策略

当苹果应用没有上交appstore审核，出于开始内侧阶段时，我们如何邀请别人测试和使用？ plist苹果安装包实现使用七牛云存储解决ios7.1的app部署问题推荐两个现在比较流行的app内测辅助网站蒲公英和Fir。这样的创业网站都是抓住了企业开发app，在appstore提交之前需要内测的需求，前者通过企业证书发包用户上传的应用，而后者则更多依赖U...
2019-10-19 40热度收藏
云安全：防护“工具”还是攻击“利器”

困惑的云安全随着云计算的大潮的到来，“云安全”的概念也像袭击全球的酷暑热浪一样，快速升温。然而，这一指向“安全”的概念，给大多数用户带来的却是更强的“不安全”感和困惑。用户的担忧与困惑来自两方面，一方面，依托于云计算、云存储、虚拟化、SaaS的“云应用”已经势不可挡，然而相关的安全问题始终有增无减，按照美国《信息周刊》的话说，这种“竞争与应用上的迫切感进...
2019-10-19 15热度收藏
Docker 快速入门

更简单的管理使用 Docker，只需要小小的修改，就可以替代以往大量的更新工作。所有的修改都以增量的方式被分发和更新，从而实现自动化并且高效的管理。对比传统虚拟机总结特性容器虚拟机启动秒级分钟级硬盘使用一般为 MB 一般为 GB 性能接近原生弱于系统支持量单机支持上千个容器一般几十个基本概念 Docker 包括三个基本...
2019-10-19 13热度收藏
云安全是云计算大规模应用前提

上周云储存服务商Dropbox遭遇了一次严重的安全问题，任何用户的帐号不用密码就可以直接访问。问题与程序代码有关，Dropbox在当天更新了代码，结果引进了一个影响认证系统的bug；直至4小时后他们才发现问题，并立即进行了修正。官方博客证实，已经向在此期待登录的帐号发送了电子邮件通知，Dropbox公司表示只有一小部分的账户被匿名访问。同时Dropbox联合...
2019-10-19 15热度收藏
mysql之innodb引擎使用方法

前言闲来无事做不如MySQL。一.简介:1.Linux下使用MySQL数据库时,为了支持事务操作需要用到InnoDB引擎,对于表中处理的插入,更新等操作失败时,回滚前面不应该完成的操作是必须的. 2.一般MySQL默认的数据库引擎是MyISAM,不支持事务和外键,则可使用支持事务和外键的InnoDB引擎. 3.本笔记着重讲解MySQL的autocom...
2019-10-19 74热度收藏
asp.net core webapi 使用ef 对mysql进行增删改查，并生成Docker镜像构建容器运行

1.构建运行mysql容器，添加数据库user 参考Docker创建运行多个mysql容器，地址http://www.cnblogs.com/heyangyi/p/9288402.html 添加user数据库，添加tbusers表 2.创建asp.net core webapi 应用程序参考Docker 为 ASP.NET Core WebApi 应用程序...
2019-10-19 58热度收藏

« 上页 287/5339 下页 »

文章筛选

文章列表