笔记列表-低调大师优秀个人博客

文章列表

共 13379 篇

2016-07-08

python 实现汽车之家车型数据爬虫

爬虫保存数据库的样子: 详细数据在json_text字段里面安装使用方法： gitclonehttps://github.com/shancang/spider.git pipinstall-rrequirements.txt mysqlspider<sql/createTable.sql 修改配置 spider/config.py #-*-codi...

979

阅读约3分钟

2016-07-08

Xtrabackup构建MySQL主从环境

环境：HE3主库，HE1从库 HE1:192.168.1.248 HE3:192.168.1.250 从库my.cnf加入以下参数并重启数据库： read_only=1 log_slave_updates=1（这里推荐开启，从库记录binlog）主库授权备份账户 mysql>grant SELECT,RELOAD,SHOW DATABASES,SU...

681

阅读约5分钟

2016-07-07

shell快速迁移海量文件

业务需求：需要把一个目录下的1000多万个文件迁移到远程机器思路：用wget来把文件一个一个的迁移过去，因为文件数量比较大，如果一下在循环操作，会非常慢。所以分批操作，采用化整为零的方法。 #!/bin/sh home=/usr/local/www/skate/p_w_picpath63delback cd$home if[`pwd`==$home];the...

650

阅读约5分钟

2016-07-07

RedHat 7.2 KVM通过V2V迁移VMware的虚拟机

一、前言最近想测试一下RedHat 7 KVM的V2V功能，结果发现Redhat 7.0没有V2V的包，上RedHat官网才发现要RedHat 7.2才包含Virt-V2V的包。官网说明如下： Virt-v2v became a supported product starting with Red Hat Enterprise Linux 7.2. T...

794

阅读约6分钟

2016-07-07

挂牌新三板，只为图名？

【大咖・来了第7期】10月24日晚8点观看《智能导购对话机器人实践》今年5月，又一家科技公司正式挂牌新三板，它是上海英方软件股份有限公司，一家做数据灾备的公司。在7月6日英方软件召开的媒体交流会上，笔者关注的焦点并不仅仅是发布《2016年中国灾备技术和行业白皮书》和推出英方软件V6.1，更多的是英方软件在挂牌新三板后，将会有哪些改变。在会后的交流中，...

753

阅读约5分钟

2016-07-07

Office 365 允许 distribution group接收外部邮件

今天同事遇见个问题，他新建的distribution group 无法接收外部发送的邮件。我们使用的是Office365，所有的AD改动都会通过dirsync同步到Office365上。豆子从hotmail发送了一个邮件作为测试。邮件成功的发送出去，没有任何弹回，那么豆子估计是在Office365上被拦截掉了。登录Office365，追踪一下信息，发现失...

675

阅读约2分钟

2016-07-06

hadoop源码解析---INodeReference机制

本文主要介绍了hadoop源码中hdfs的INodeReference机制。在hdfs2.6版本中，引入了许多新的功能，一些原有的源代码设计也有一定的改造。一个重要的更新就是引入了快照功能。但是当HDFS文件或者目录处于某个快照中，并且这个文件或者目录被重命名或者移动到其他路径时，该文件或者目录就会存在多条访问路径。INodeReference就是为了解决...

641

阅读约10分钟

2016-07-06

python for循环remove同一个list

下午在用python将Linux的conf配置文件转化成字典dict时遇到了一个奇怪的问题，原先conf配置文件中没有注释行（以#开头的行），后来为了避免这种情况，添加了一个对以#开头的行删除的操作。实践结果颠覆了已有的认知，直接上代码示例。代码片段1 #!/usr/bin/python #encoding:utf-8 #-*-coding:utf8-...

640

阅读约7分钟

2016-07-06

Saltstack源码安装zabbix_agent客户端

Saltstack源码安装zabbix_agent客户端安装和环境介绍略，直接上正题：一，首先是树状图 [root@saltmaster salt]# pwd /srv/salt [root@saltmaster salt]# tree . ├──init │└──init.sls ├──top.sls └──zabbix ├──conf.sls ├──...

628

阅读约16分钟

2016-07-06

SDN/NFV:定义网络未来发展的两个不同面

【大咖・来了第7期】10月24日晚8点观看《智能导购对话机器人实践》软件定义网络(SDN)的目标是让网络和存储以及虚拟服务器那样动态和敏捷。这种敏捷性是通过在在网络硬件上的软件层实现的，这个软件层可以让管理员为网络传输路由制定业务规则，然后将这些规则运用到网络路由器和其他硬件上，这样就不需要手动配置硬件了。软件定义网络对于大多数企业机构来说仍然是一个很...

598

阅读约7分钟

2016-07-06

iPerf 测试网速的小教训

最近使用iPerf有个小教训，简单记载引以为戒。上周，豆子公司升级WAN宽带从20M到1G。光纤，SPF，交换机端口，VLAN, iBGP的设定等等都严格按照ISP的要求，最后升级完成以后，豆子做iPerf做了个网速测试。在我看来，iperf的测试应该很简单，在一端机器上运行 ipferf.exe -s 监听，另外一端运行iperf.exe -c IPa...

871

阅读约2分钟

2016-07-06

logstash将Kafka中的日志数据订阅到HDFS

前言：通常情况下，我们将Kafka的日志数据通过logstash订阅输出到ES，然后用Kibana来做可视化分析，这就是我们通常用的ELK日志分析模式。但是基于ELK的日志分析，通常比较常用的是实时分析，日志存个十天半个月都会删掉。那么在一些情况下，我需要将日志数据也存一份到我HDFS，积累到比较久的时间做半年、一年甚至更长时间的大数据分析。下面就来说如何最...

797

阅读约5分钟

2016-07-06

Lync就地升级Skype for Business报错处理一例

Lync Server 2013就地升级Skype for Business Server 2015，So easy ，So do. 一切都按部就班进行，一路过关斩妖，安装必须的IIS KB补丁、SQL RtcLocal/LYNCLocal with sp1、删除原来的Lync Server 2013相关的组件和数据库，再安装Skype for Busine...

740

阅读约5分钟

2016-07-05

MySQL删除单列重复或多列同时重复值并保留一条

在生产环境中，我们有的列是不允许出现重复值的，亦或是某两列不允许同时重复，但由于前端未做限制，或者没限制住，出现了单列重复值，或者两列本应组成唯一组合却也出现重复，这两种情况都是不允许的。现在由于前端应用限制不住，要做删除操作后，添加唯一索引，从数据库层面进行限制，以下是处理过程： mysql> select * from aixuan1;+----+...

647

阅读约5分钟

2016-07-04

使用amoeba配置mysql读写分离

一，背景介绍： Amoeba(变形虫)项目，专注分布式数据库 proxy 开发。座落与Client、DB Server(s)之间。对客户端透明。具有负载均衡、高可用性、sql过滤、读写分离、可路由相关的query到目标数据库、可并发请求多台数据库合并结果。要想搭建Amoeba读写分离，首先需要知道MySQL的主从配置。具体的架构图如下图：二，配置所需的环...

700

阅读约53分钟

2016-07-04

Python面向对象之为何要用类

对于非程序员科班出身的技术人员，理解很多开发思想领域里面的事情，其实是一件挺痛苦的事情，直到接触到了Python当中的类，我才明白了什么是面向对象，更多的理解还是要通过实际的代码操练才能够慢慢的掌握。今天记录一下什么是面向对象，在Python的编程世界里为什么要用到类。一、面向对象将大家共有的特性剥离出来进行抽象的过程就是面向对象，这是我对面向对象最直...

543

阅读约11分钟

2016-07-04

京多条地铁线实现4G全覆盖：同时预留5G信号空间

【大咖・来了第7期】10月24日晚8点观看《智能导购对话机器人实践》在地铁上看新闻、刷朋友圈时，时好时坏的手机信号着实让人不痛快。不过，这一现状将陆续得到改变。近日，北京市交通委官网发布消息称，为全面提升地铁民用通信信号质量，更好地为广大乘客提供优质的民用通信服务，北京地铁信息发展有限公司与北京移动、联通签订了多条地铁新线4G服务，成功实现4G网络全覆盖...

709

阅读约2分钟

2016-07-03

ELK日志服务器的快速搭建并收集nginx日志

今天给大家带来的是开源实时日志分析 ELK , ELK 由 ElasticSearch 、 Logstash 和 Kiabana 三个开源工具组成。官方网站：https://www.elastic.co 其中的3个软件是： Elasticsearch 是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制， restful...

846

阅读约16分钟

2016-07-03

微软Azure云之企业Exchange 2016部署7—安装邮件服务器

本节我们来部署Exchange2016邮件服务器，如下图红框所示。 Exchange2016相对于Exchange2013来说，改变不大。最大的改变还是客户端访问服务器角色（CAS）和邮箱服务器角色（MBX）的角色合并。也就是说我们无法将CAS和MBX分开部署。这一更改反映了Exchange服务器角色归置（自 Exchange 2010 起的推荐最佳做法）...

779

阅读约7分钟

2016-07-03

Centos 6 搭建zabbix 3监控系统

系统环境：Centos 6.8，LNMP，zabbix 3.0.3 一、前言 Zabbix是一个企业级的，开源的、分布式的监控套件，可监控linux，windows，交换路由设备等，其已成为时下最主流的监控系统。本次Zabbix搭建均基于上篇博文LNMP环境搭建部署，部分前期准备与原LNMP有关。 LNMP环境搭建请参照：http://zhoufan.blo...

695

阅读约10分钟

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

文章列表

python 实现汽车之家车型数据爬虫

Xtrabackup构建MySQL主从环境

shell快速迁移海量文件

RedHat 7.2 KVM通过V2V迁移VMware的虚拟机

挂牌新三板，只为图名？

Office 365 允许 distribution group接收外部邮件

hadoop源码解析---INodeReference机制

python for循环remove同一个list

Saltstack源码安装zabbix_agent客户端

SDN/NFV:定义网络未来发展的两个不同面

iPerf 测试网速的小教训

logstash将Kafka中的日志数据订阅到HDFS

Lync就地升级Skype for Business报错处理一例

MySQL删除单列重复或多列同时重复值并保留一条

使用amoeba配置mysql读写分离

Python面向对象之为何要用类

京多条地铁线实现4G全覆盖：同时预留5G信号空间

ELK日志服务器的快速搭建并收集nginx日志

微软Azure云之企业Exchange 2016部署7—安装邮件服务器

Centos 6 搭建zabbix 3监控系统

资源下载

优质分享App

Mario

Nacos

Sublime Text

欢迎您来访！