文章列表-低调大师优秀的个人博客

您现在的位置是：首页>文章列表

文章列表

从 "No module named pyspark" 到远程提交 spark 任务

版权声明：本文为半吊子子全栈工匠（wireless_com，同公众号)原创文章，未经允许不得转载。 https://blog.csdn.net/wireless_com/article/details/51170246 能在本地Mac环境用python提交spark 任务会方便很多，但是在安装了 spark-1.6-bin-without-hadoop (s...
2016-04-15 206热度收藏
学习Docker容器网络模型 - 搭建分布式Zookeeper集群

ZooKeeper是一个流行的分布式协调服务。它提供了两种不同的部署方式：单机模式和分布式模式。其中单机模式的部署非常简单，网上也有很多资料，我们今天会利用Docker搭建分布式Zookeeper集群，并来帮助大家熟悉Docker中容器网络模型的使用。 ZooKeeper集群中所有的节点作为一个整体对分布式应用提供服务。节点中有两个的角色：Leader和Fo...
2016-04-15 157热度收藏
创建 Image - 每天5分钟玩转 OpenStack（21）

本节演示如何通过 Web GUI 和 CLI 两种方法创建 Image。OpenStack 为终端用户提供了 Web UI（Horizon）和命令行 CLI 两种交换界面。两种方式我们都要会用。可能有些同学觉得既然有更友好的 Web UI 了，干嘛还要用 CLI？这里 CloudMan 给出下面的理由： Web UI 的功能没有 CLI 全，有些操作只提...
2016-04-14 139热度收藏
Docker 镜像加速器

Docker 镜像加速器我们使用Docker的第一步，应该是获取一个官方的镜像，例如mysql、wordpress，基于这些基础镜像我们可以开发自己个性化的应用。我们可以使用Docker命令行工具来下载官方镜像。但是因为网络原因，我们下载一个300M的镜像需要很长的时间，甚至下载失败。因为这个原因，阿里云容器Hub服务提供了官方的镜像站点加速官方镜像的下载...
2016-04-14 115热度收藏
ElasticSearch 简介

es是一个基于lucene的全文搜索引擎。它是一个可以处理数以亿计的文档和每秒数以百计的搜索请求的分布式解决方案。 1.节点和集群为了实现容错与高可用性，es可以运行在集群(cluster)中，每一台集群中的机器称为节点(node)。 2.分片每个分片都是一个独立的lucene索引，不同的分片运行在不同的机器中。当用户查询的索引分布在多个分片上时，es会...
2016-04-14 102热度收藏
java.util.ServiceLoader使用

近期在项目中需要实现能在配置文件中定义多个统一接口类型的类，可以在程序中获取到所有配置的类，刚开始打算配置到properties中，然后去程序读取，感觉这种方式不太灵活，于是，研究研究java中有没有这种支持，最终确认ServiceLoader可以实现这种功能，下面讲解如何使用ServiceLoader类。首先定义一个接口程序的定义如下： public i...
2016-04-14 90热度收藏
CDH5之Found class jline.Terminal, but interface was expected

一.背景: 公司CDH5集群已经部署完毕,需要通过web界面添加hive组件,一般来说通过web界面来添加,会报两个错误, 一个是配置hive的元数据的/usr/share/java/mysql-connector-java.jar驱动包, 还有一个错误就是如图:二.错误明细: ++ exec /opt/cloudera/parcels/CDH/lib...
2016-04-14 97热度收藏
在阿里云上遇见更好的Oracle（三）

鬼扯完“去IOE”，继续回来说说这个系列文章的主角Oracle。在DB-Engine的数据库排行榜中，Oracle已经占据了多年的第一（最新排名可以点击“阅读原文”）。当然因为互联网行业的兴起，MySQL已经攀升到第二位，并且和Oracle的差距在逐渐缩小。未来随着云计算的发展，可以预期有一天MySQL会最终登顶。但这是总体的排名，如果抛去互联网行业，单...
2016-04-14 96热度收藏
Nginx/tengine做cache时缓存机制—存不存、存多久、用不用方法论

Nginx/tengine(后面名称只写nginx了)单纯做cache性能比不过ats，特别是在磁盘处理方面，不过论综合能力nginx就是大拿了，他集web服务器、负载均衡、cache三种能力于一身，可以说是非常综合性的选手。比如说一个中型网站的场景选型，前端是负载，后端托着一堆apache服务器，现在该到前端负载选型的了，虽然lvs和ha单纯从负载的性能要...
2016-04-14 164热度收藏
阿里封神谈hadoop生态学习之路

引言当前，越来越多的同学进入大数据行业，有的是底层的技术，有的是工程，有的是算法，有的是业务。每个产品、都需要工程化的实现，以前，工程师都是操练着java/python/c等各种语言操纵中各类的软件，比如jquery，spring、mysql，实现产品的业务逻辑。在大数据时代，要想个性化实现业务的需求，还是得操纵各类的大数据软件，如：hadoop、hive...
2016-04-13 89热度收藏
docker（3）：配置rancher网络环境，下载启动tomcat容器

1，关于rancher 上次搭建好了rancher的环境但是网络啥的没有配置好。没有成功创建容器。这次搞定了，原来是网络的问题。之前virtualbox安装的coreos没有配置ip，造成网络访问不到。 agent没有注册成功，没有主机环境，创建不了docker应用。 2，配置网络如果没有配置virtualbox的网络环境的时候，网络是nat的环境，...
2016-04-13 197热度收藏
docker（4）：coreos+docker+rancher真厉害

本文的原文连接是: http://blog.csdn.net/freewebsys/article/details/51154388 未经博主允许不得转载。博主地址是：http://blog.csdn.net/freewebsys 1，docker真方便使用docker的好处是可以节省服务器费用，快速部署，快速扩展。使用rancher的好处是简化doc...
2016-04-13 108热度收藏
Centos 7 DNS配置及理论详解

DNS是什么及BIND讲解内容域名系统（英文：Domain Name System，缩写：DNS）是internet的一项服务。它作为将域名和IP地址相互映射服务，能够使人更方便地访问互联网。DNS使用TCP和UDP端口53。当前，对于每一级域名长度的限制是63个字符，域名总长度则不能超过253个字符。讲解内容： DNS名称解析方式 DNS查询类型 ...
2016-04-13 201热度收藏
对Python装饰器的个人理解方法

0.说明在自己好好总结并对Python装饰器的执行过程进行分解之前，对于装饰器虽然理解它的基本工作方式，但对于存在复杂参数的装饰器（装饰器和函数本身都有参数），总是会感到很模糊，即使这会弄懂了，下一次也很快忘记，其实本质上还是没有多花时间去搞懂其中的细节问题。虽然网络上已经有很多这样的文章，但显然都是别人的思想，因此自己总是记不牢，所以花点时间自己好好...
2016-04-13 348热度收藏
理解 Glance - 每天5分钟玩转 OpenStack（20）

OpenStack 由 Glance 提供 Image 服务。理解 Image 要理解 Image Service 先得搞清楚什么是 Image 以及为什么要用 Image？在传统 IT 环境下，安装一个系统是要么从安装 CD 从头安装，要么用 Ghost 等克隆工具恢复。这两种方式有如下几个问题：如果要安装的系统多了效率就很低时间长，工作量大安装...
2016-04-12 103热度收藏
基于Docker的持续交付系列（二）：阿里云code帮你实现持续交付第一步

前言在上一篇博文：基于docker的持续交付系列（一）：如何将app与docker整合并部署中，我们对app与Docker的整合、部署进行了简单介绍，但在实践中你会发现，每当你修改代码之后，都要手动push代码，build image，push image以及重新部署，整个流程走下来繁琐且耗时较长，给我们提倡的持续交付徒增了许多烦恼。在容...
2016-04-12 142热度收藏
DockerFile 参数详解

Docker 指令: From --- ENV ---设置环境变量ENV App_DIR /appp Add 和 Copy 可以复制文件到容器里面 1.区别 Add 可以写网络的链接地址 Add 支持解压功能 Run 指令: ENTRYPOINT : 只有最后一条生效 docker build -t register_ip/centos7 . 帮助 dock...
2016-04-12 101热度收藏
PostgreSQL 物联网黑科技 - 阅后即焚

在物联网应用场景中，有大量的传感器，会产生非常大量的消息以极高的并发进入数据库。这些数据如果直接进入面向OLAP场景设计的数据仓库，数据实时入库会成为瓶颈，并且OLAP系统很难接受非常高并发的请求。面对这样的应用场景，这些既要又要还要怎么满足呢？ .1. 既要实时入库， .2. 又要实时分析， .3. 还要历史留档，应对随时变化的分析需求。实时入库比较...
2016-04-12 113热度收藏
PostgreSQL 物联网黑科技 - 瘦身500倍的索引(范围索引)

在数据库中用得最多的当属btree索引，除了BTREE，一般的数据库可能还支持hash, bitmap索引。但是这些索引到了物联网，会显得太重，对性能的损耗太大。为什么呢？物联网有大量的数据产生和入库，入库基本都是流式的。在使用这些数据时，基本是FIFO，或者范围查询的批量数据使用风格。 btree索引太重，因为索引需要存储每条记录的索引字段的值和寻址...
2016-04-12 116热度收藏
Spark学习之Hadoop安装与测试

Spark是跑在Hadoop上（依赖YARN和HDFS）的内存计算引擎，内置了多种丰富组件如Spark SQL、Spark Stream等，是大数据分析挖掘的一种技术趋势。本文为学习Spark技术的第一篇日志，主要记录了Hadoop环境的搭建、安装与测试。资源准备操作系统：CentOS 7 ；JDK：1.7；Hadoop版本：hadoop-2.6.0.t...
2016-04-12 82热度收藏

« 上页 6719/6842 下页 »

文章筛选

文章列表