搜索[运维监控]结果-低调大师优秀个人博客

精选列表

搜索[运维监控]，共10000篇文章

每日一博 | 中间件运维之故障自愈

2.以前处理问题需要人工介入，人力成本较大，运维流程缺乏规范。 2.目标 1. 标准化，规范运维流程，制定标准的运维流程。 2. 可视化，运维流程可视化、平台化，做到可追踪，可回溯。 3.

2021-08-16

基于Jira的运维发布平台的设计与实现

作者：乔克公众号：运维开发故事上线发布是运维的日常工作，常见的发布方式有：手动发布 Jenkins发布平台 Gitlab CI ......

2021-05-31

摘要：本文主要研究了HDFS文件系统的读写流程以及基于MRS在windows客户端下读写HDFS文件的实现。 HDFS（Hadoop分布式文件系统）是Apache Hadoop项目的一个子项目。 HDFS支持海量数据的存储，允许用户把成百上千的计算机组成存储集群，其中的每一台计算机称为一个节点。用户通过HDFS的终端命令可以操作其中的文件和目录，如同操作本地文件系统（如Linux）中的文件一样。用户也可以通过HDFS API或MapReduce来编程访问其中的文件数据。本文主要研究了HDFS文件系统的读写流程以及基于MRS在windows客户端下读写HDFS文件的实现。 1. HDFS的架构和元数据 1.1 HDFS采用master/slaves主从结构模型管理数据，结构模型图如下 1.2 元数据的相关概念 Fsimage：文件系统映射文件，也是元数据的镜像文件（磁盘中），存储某段时间namenode内存元数据信息 Edits log：操作日志文件 1.3 元数据的工作特点 (1) namenode始终在内存中存储元数据,使得“读操作”更加快 (2)写请求时,向edits文件写入日志,成功返回后才修改内存,并向客户端返回 (3) NameNode内存中存储的是=fsimage+edits 2. 文件的读写流程 2.1 文件的读取流程 1)客户端Client调用FileSystem的open(),返回FSDataInputStream对象给客户端.DistributeFileSystem对象通过RPC和NameNode通信,查询元数据信息,确定文件路径是否存在以及检查权限,返回这个文件的数据块位置列表(数据块位置是有先后顺序) 2)客户通过FSDataInputStream read()方法读取数据.FSDataInputStream对象按照数据块位置优先顺序建立一条连接,读取数据.当此数据块读取完毕后,FSDataInputStream对象关闭和此数据节点的连接,然后继续按照优先顺序建立下一个数据块连接,读取数据…….在据读取过程中,如果客户端在与数据节点通信时出现错误,则会尝试读取包含有此数据块的下一个数据节点,并且失败的数据节点会被记录,以后不会再连接 3)当数据读取完毕后，调用FSDataInputStream对象的close()函数。 2.2 文件的写入流程 1)客户端Client调用FileSystem的create()函数,返回FSDataOutputStream对象给客户端DistributedFileSystem对象通过RPC与namenode通信,确定文件存在不存在以及是否有创建文件的权限,先将操作写入log,再载入内存,将DataNode列表返回 2) 客户端通过FSDataOutputStream对象,写数据.FSDataOutputStream对象将数据按照128M分成块,写入Data Queue.然后将DataNode列表和Data Queue通过DataNode列表一同发送给最近的DataNode.这样之后client端和NameNode分配的多个DataNode构成pipeline管道.client每次向第一个DataNode写入一个packet,这个packet便会直接在pipeline里传给第二个、第三个DataNode.每个DataNode写完一个块后,会返回确认信息. FSDataoutputStream将确认信息保存在ACK Queue.所有的数据块写入pipeline中的数据节点,并且ACK Queue成功返回. 3) FSDataOutputStream对象close()方法关闭流.通知元数据节点写入完毕 3. 基于华为云MRS windows下读写HDFS的实现 3.1 创建2.1.0非安全集群 3.2 安全组规则入方向放开windows 客户端ip和所有端口 3.3 为集群的各个节点绑定弹性ip 3.4 将弹性ip和集群节点主机名写入windows的hosts文件 3.5 打开https://github.com/huaweicloud/huaweicloud-mrs-example/tree/mrs-2.1,将样例代码下载下来,然后是idea打开hdfs-examples项目 3.6 在huawei下面创建test文件夹,并且Test.java文件放到这个文件夹内 3.7 从集群下载配置文件,置于项目conf文件夹下 3.8 将下面配置配置于hdfs-site.xml中 <property> <name>dfs.client.use.datanode.hostname</name> <value>true</value> </property> 3.9 idea执行程序,执行结果如下附件下载： Test.rar1.06KB 文档.docx455.30KB 本文分享自华为云社区《HDFS读写原理和代码简单实现》，原文作者：剑指南天。点击关注，第一时间了解华为云新鲜技术~

2021-01-12

蚂蚁智能运维：单指标异常检测算法初探

1 背景介绍 AntMonitor：蚂蚁集团研发的一款面向云原生时代的全功能智能运维产品，包含业务监控、应用监控、基础设施监控、云原生可观测、一站式多维分析等功能。

2020-08-19

运维编排场景系列----基于镜像的日常发布

运维编排(OOS) 简介什么是OOS Operation Orchestration Service，简称OOS，是全面、免费的云上自动化运维平台，提供运维任务的管理和执行。

2019-11-03

运维编排场景系列----下载JVM堆栈到OSS

OOS运维编排是安全免费的服务，请放心开通。开通后进入运维编排界面，点击自定义模板，点击创建模板按钮。在创建模板页面Yaml栏中粘贴以下模板。

2019-09-05

运维编排场景系列----自动定时升级临时带宽

运维编排时间触发器功能的出现很好的解决了这个问题，让您可以即省时又省钱。解决方案请登录OOS控制台。如果您之前从未开通过OOS服务，请点击“立即开通”按钮，即可一键开通。

2019-08-15

你有一份Redis运维秘籍，请查收！

2.计数器好多不熟悉业务或者开发的运维同学可能会问，计数器究竟是什么？我们可以通过我们实际的例子来说明，比如博主写了一篇博文，有多少人来浏览，51CTO都会有记录。

2019-03-14

OceanBase在蚂蚁金服的智能运维实践之路

蚂蚁金服资深技术专家虞舜将在本文为大家分享蚂蚁金服数据库所面对的业务挑战，解读OceanBase的自治数据库体系，解密OceanBase在天猫双11大促期间的稳定性解决方案，探索OceanBase在蚂蚁金服的智能运维实践之路

2019-01-30

腾讯织云 Metis 智能运维学件平台正式开源

Metis 是 AIOps（Algorithmic IT Operations），即智能运维领域的首个开源产品，它是聚焦在智能运维的应用实践集合，基于腾讯已有的运维数据，将机器学习领域的分类、聚类、回归

2018-10-21

Linux运维必会的MySQL企业面试题大全

mysql;update user set passowrd = PASSWORD('newpassword') where user = 'root';flush privileges;" （2）MySQL运维基础知识面试问答题

2018-03-25

微信月活9亿的高效运维之路

开发/测试/现网的差异配置项管理前期也会有这个问题，开发环境我们一般不管，测试环境也是运维来负责管理，现网当然是运维管理的。

2018-01-29

新浪Linux运维工程师面试真题曝光

作为Linux运维工程师，进入大公司是开启职业新起点的关键，今天马哥linux运维及云计算智囊团的小伙伴特别分享了其在新浪面试Linux运维及云计算工程师的题目和经历，希望对广大Linux运维及云计算的求职者有一个帮助

2018-01-16

Linux 企业运维人员最常用 150 个命令汇总

我们用它来监控用户空间进程和内核的交互，比如系统调用、信号传递、进程状态变更等。 ltrace 命令会跟踪进程的库函数调用, 它会显现出哪个库函数被调用。

2017-12-29

总结老男孩Linux运维就业以及职场规划

操作系统 Linux运维职位的职位及薪资：（1）企业网管技术支持宽带支持薪资3-6k （2）机房上架网站值班游戏值班薪资3-6k （3）网站运维游戏运维数据库管理员薪资5-15k基础应用（4

2017-11-26

运维人员使用wireshark抓包详细图文教程

Wireshark(网络嗅探抓包工具) v1.4.9 中文版(包含中文手册+主界面的操作菜单)评分: 2.7 类别：远程监控大小：22M 语言：中文查看详细信息 >> wireshark

2017-11-19

CentOS企业运维人员最常用150个命令汇总

2017-11-17

Centos运维管理员常用命令大全

1.删除0字节文件 find-type f -size 0 -exec rm -rf {} \; 2.查看进程按内存从大到小排列 PS-e -o "%C : %p : %z : %a"|sort -k5 -nr 3.按cpu利用率从大到小排列 ps-e -o "%C : %p : %z : %a"|sort -nr 4.打印说cache里的URL grep -r-a jpg /data/cache/* | strings | grep"http:" | awk -F'http:' '{print "http:"$2;}' 5.查看http的并发请求数及其TCP连接状态： netstat-n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}' 6. sed -i'/Root/s/no/yes/' /etc/ssh/sshd_configsed在这个文里Root的一行，匹配Root一行，将no替换成yes. 7.1.如何杀掉mysql进程： ps aux|grep mysql |grep -v grep |awk '{print$2}' |xargs kill -9 (从中了解到awk的用途) killall -TERMmysqld kill -9`cat /usr/local/apache2/logs/httpd.pid`试试查杀进程PID 8.显示运行3级别开启的服务: ls/etc/rc3.d/S* |cut -c 15- (从中了解到cut的用途，截取数据) 9.如何在编写SHELL显示多个信息，用EOF cat<< EOF +--------------------------------------------------------------+ | === Welcome to Tunoff services === | +--------------------------------------------------------------+ EOF 10. for 的巧用(如给mysql建软链接) cd/usr/local/mysql/bin for i in* do ln/usr/local/mysql/bin/$i /usr/bin/$i done 11. 取IP地址： ifconfigeth0 |grep "inet addr:" |awk '{print $2}'|cut -c 6- 或者 ifconfig | grep 'inet addr:'| grep -v '127.0.0.1' |cut -d: -f2 | awk '{ print $1}' 12.内存的大小: free -m|grep "Mem" | awk '{print $2}' 13. netstat-an -t | grep ":80" | grep ESTABLISHED | awk '{printf "%s%s\n",$5,$6}' | sort 14.查看Apache的并发请求数及其TCP连接状态： netstat-n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}' 15.因为同事要统计一下服务器下面所有的jpg的文件的大小,写了个shell给他来统计.原来用xargs实现,但他一次处理一部分,搞的有多个总和....,下面的命令就能解决啦. find /-name *.jpg -exec wc -c {} \;|awk '{print $1}'|awk '{a+=$1}END{print a}' CPU的数量（多核算多个CPU，cat/proc/cpuinfo |grep -c processor）越多，系统负载越低，每秒能处理的请求数也越多。 16 CPU负载 # cat /proc/loadavg 检查前三个输出值是否超过了系统逻辑CPU的4倍。 18 CPU负载 #mpstat 1 1 检查%idle是否过低(比如小于5%) 19 内存空间 # free 检查free值是否过低也可以用 # cat/proc/meminfo 20 swap空间 # free 检查swap used值是否过高如果swap used值过高，进一步检查swap动作是否频繁： # vmstat1 5 观察si和so值是否较大 21 磁盘空间 # df -h 检查是否有分区使用率(Use%)过高(比如超过90%) 如发现某个分区空间接近用尽，可以进入该分区的挂载点，用以下命令找出占用空间最多的文件或目录： # du -cks* | sort -rn | head -n 10 22 磁盘I/O负载 # iostat -x 1 2 检查I/O使用率(%util)是否超过100% 23 网络负载 # sar -n DEV 检查网络流量(rxbyt/s,txbyt/s)是否过高 24 网络错误 # netstat -i 检查是否有网络错误(drop fifocolls carrier) 也可以用命令：# cat/proc/net/dev 25 网络连接数目 # netstat -an | grep -E “^(tcp)” | cut -c68- | sort | uniq -c | sort -n 26 进程总数 # ps aux | wc -l 检查进程个数是否正常 (比如超过250) 27 可运行进程数目 # vmwtat 1 5 列给出的是可运行进程的数目，检查其是否超过系统逻辑CPU的4倍 28 进程 # top -id 1 观察是否有异常进程出现 29 网络状态检查DNS, 网关等是否可以正常连通 30 用户 # who | wc -l 检查登录用户是否过多 (比如超过50个) 也可以用命令：# uptime 31 系统日志 # cat /var/log/rflogview/*errors 检查是否有异常错误记录也可以搜寻一些异常关键字，例如： # grep -ierror /var/log/messages # grep -ifail /var/log/messages 32 核心日志 # dmesg 检查是否有异常错误记录 33 系统时间 # date 检查系统时间是否正确 34 打开文件数目 # lsof | wc -l 检查打开文件总数是否过多 35 日志 # logwatch –print 配置/etc/log.d/logwatch.conf，将 Mailto 设置为自己的email 地址，启动mail服务(sendmail或者postfix)，这样就可以每天收到日志报告了。缺省logwatch只报告昨天的日志，可以用#logwatch –print –range all 获得所有的日志分析结果。可以用# logwatch –print –detail high 获得更具体的日志分析结果(而不仅仅是出错日志)。 36.杀掉80端口相关的进程 lsof -i:80|grep -v "ID"|awk '{print "kill -9",$2}'|sh 37.清除僵死进程。 ps -eal |awk '{ if ($2 == "Z") {print $4}}' | kill -9 38.tcpdump抓包，用来防止80端口被人攻击时可以分析数据 # tcpdump-c 10000 -i eth0 -n dst port 80 > /root/pkts 39.然后检查IP的重复数并从小到大排序注意 "-t\ +0" 中间是两个空格 # lesspkts | awk {'printf $3"\n"'} | cut -d. -f 1-4 | sort | uniq -c | awk{'printf $1" "$2"\n"'} | sort -n -t\ +0 40.查看有多少个活动的php-cgi进程 netstat-anp | grep php-cgi | grep ^tcp | wc -l 41.查看系统自启动的服务 chkconfig--list | awk '{if ($5=="3:on") print $1}' 42.kudzu查看网卡型号 kudzu--probe --class=network 匹配中文字符的正则表达式：[\u4e00-\u9fa5] 评注：匹配中文还真是个头疼的事，有了这个表达式就好办了匹配双字节字符(包括汉字在内)：[^\x00-\xff] 评注：可以用来计算字符串的长度（一个双字节字符长度计2，ASCII字符计1）匹配空白行的正则表达式：\n\s*\r 评注：可以用来删除空白行匹配HTML标记的正则表达式：<(\S*?)[^>]*>.*?</\1>|<.*?/> 评注：网上流传的版本太糟糕，上面这个也仅仅能匹配部分，对于复杂的嵌套标记依旧无能为力匹配首尾空白字符的正则表达式：^\s*|\s*$ 评注：可以用来删除行首行尾的空白字符(包括空格、制表符、换页符等等)，非常有用的表达式匹配Email地址的正则表达式：\w+([-+.]\w+)*@\w+([-.]\w+)*\.\w+([-.]\w+)* 评注：表单验证时很实用匹配网址URL的正则表达式：[a-zA-z]+://[^\s]* 评注：网上流传的版本功能很有限，上面这个基本可以满足需求匹配帐号是否合法(字母开头，允许5-16字节，允许字母数字下划线)：^[a-zA-Z][a-zA-Z0-9_]{4,15}$ 评注：表单验证时很实用匹配国内电话号码：\d{3}-\d{8}|\d{4}-\d{7} 评注：匹配形式如 0511-4405222或 021-87888822 匹配腾讯QQ号：[1-9][0-9]{4,} 评注：腾讯QQ号从10000开始匹配中国邮政编码：[1-9]\d{5}(?!\d) 评注：中国邮政编码为6位数字匹配身份证：\d{15}|\d{18} 评注：中国的身份证为15位或18位匹配ip地址：\d+\.\d+\.\d+\.\d+ 评注：提取ip地址时有用匹配特定数字： ^[1-9]\d*$ //匹配正整数 ^-[1-9]\d*$ //匹配负整数 ^-?[1-9]\d*$ //匹配整数 ^[1-9]\d*|0$ //匹配非负整数（正整数 +0） ^-[1-9]\d*|0$ //匹配非正整数（负整数 +0） ^[1-9]\d*\.\d*|0\.\d*[1-9]\d*$ //匹配正浮点数 ^-([1-9]\d*\.\d*|0\.\d*[1-9]\d*)$ //匹配负浮点数 ^-?([1-9]\d*\.\d*|0\.\d*[1-9]\d*|0?\.0+|0)$ //匹配浮点数 ^[1-9]\d*\.\d*|0\.\d*[1-9]\d*|0?\.0+|0$ //匹配非负浮点数（正浮点数+ 0） ^(-([1-9]\d*\.\d*|0\.\d*[1-9]\d*))|0?\.0+|0$ //匹配非正浮点数（负浮点数+ 0）评注：处理大量数据时有用，具体应用时注意修正匹配特定字符串： ^[A-Za-z]+$ //匹配由26个英文字母组成的字符串 ^[A-Z]+$ //匹配由26个英文字母的大写组成的字符串 ^[a-z]+$ //匹配由26个英文字母的小写组成的字符串 ^[A-Za-z0-9]+$ //匹配由数字和26个英文字母组成的字符串 ^\w+$ //匹配由数字、26个英文字母或者下划线组成的字符串评注：最基本也是最常用的一些表达式

2017-11-15

Linux运维的必备技能【我的技术我做主】

Linux运维的必备技能无论你是准备从事Linux运维工作的菜鸟，还是早已入门的老鸟。在互联网时代，设备和IT技术更新永无止境。

2017-11-08

Docker持续部署图文详解 | 高效运维最佳实践06

基于这些情况，虽然我们专栏定位为运维管理性文字，但本篇是个特例，实操性的案例讲解——JAVA项目如何通过Docker实现持续部署（只需简单四步），即：相关厂商内容 Twitter如何处理十亿量级的metrics

2017-11-07

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。