首页 文章 精选 留言 我的

精选列表

搜索[学习],共10000篇文章
优秀的个人博客,低调大师

Java学习笔记--可变参数

可变参数的格式: 数据类型... 变量名 可变参数要 注意的细节: 1. 如果一个函数 的形参使用上了可变参数之后,那么调用该方法的时候可以传递参数也可以不传递参数。 2. 可变参数实际上是一个数组对象。 3. 可变参数必须位于形参中的最后一个参数。 4. 一个函数最多只能有一个可变 参数,因为可变参数要位于形参中最后一个位置上。 public class Demo4 { public static void main(String[] args) { int[] arr = {1,2,3,4}; add(1,2,3,4);//输出10 add(arr);//输出10 add();//输出0 } public static void add(int... arr){ //长度是0 int result = 0; for(int item : arr){ result+=item; } System.out.println("总和:"+ result); } }

优秀的个人博客,低调大师

java学习笔记--增强for循环

什么是增强for循环? 原来的for循环是这样子的: for(int i=0;i<10;i++) 那我们来看一下增强for循环: for(object a:x)//不只是object 数组存储的是什么类型的就填什么类型 x是数组或者集合 里面是Interator迭代器实现的 注意:遍历的时候不能用集合增删元素 只能通过迭代器进行操作 因为迭代器创建的时候会创建一个单链表 如果是通过集合来操作元素数量的话那么 实际的数量是变化了 可是迭代器创建的那个单链表却还是原来的样子 这样子 迭代器往下遍历的时候 就找不到实际的值 重点: 增强for循环的适用范围: 如果是实现了Iterable接口的对象或者是数组对象(包括int)都可以使用增强for循环。 //注意: Map集合没有实现Iterable接口,所以map集合不能直接使用增强for循环,如果需要使用增强for循环需要借助于Collection // 的集合。 HashMap<String, String> map = new HashMap<String, String>(); map.put("001","张三"); map.put("002","李四"); map.put("003","王五"); map.put("004","赵六"); Set<Map.Entry<String, String>> entrys = map.entrySet(); for(Map.Entry<String, String> entry :entrys){ System.out.println("键:"+ entry.getKey()+" 值:"+ entry.getValue()); } 举例: 实现了Iterable接口的对象 package cn.itcast.jdk15; import java.util.Iterator; //自定一个类使用增强for循环 class MyList implements Iterable<String>{ Object[] arr = new Object[10]; int index = 0 ; //当前的指针 public void add(Object o){ arr[index++] = o; // 1 } public int size(){ return index; } @Override public Iterator<String> iterator() { return new Iterator<String>() { int cursor = 0; @Override public boolean hasNext() { return cursor<index; } @Override public String next() { return (String) arr[cursor++]; } @Override public void remove() { } }; } } public class Demo3 { public static void main(String[] args) { MyList list = new MyList(); list.add("张三"); list.add("李四"); list.add("王五"); for(String item :list){ System.out.println(item); } } }

优秀的个人博客,低调大师

Effective C++学习笔记

导读 本书的最佳用途:彻底了解C++如何行为,为什么那样行为,以及如何运用其行为形成优势。 size_t是一个typedef,是某种不带正负号的unsigned类型。 签名(signature):函数的参数和返回值。即std::size_t num(int number) 的签名是 std::size_t ( int ) explicit可组织他被用来隐式转换(implicit type conversions),但他仍可以被进行显示转换(explicit type conversions)。 如图: 拷贝构造---以同型对象初始化自我对象。 拷贝赋值---从另一个同性对象中拷贝其值到自我对象。 1、让自己习惯C++ 条款一:视C++为一个语言联邦 c++是四种语言的联邦 每种语言都有自己的规约。C++高效编程守则视状况而变化,取决于你使用C++的哪一部分。 条款2:尽量以const、enum、inline替换#define 也就是“宁可以编译器替换预处理”。因为define或许不被视为语言的一部分。 class专属常量:为了将常量的作用域(scope)限制于class内,必须让它成为class的一个成员(member);而为了确保此常量最多只有一份实体,必须让它成为static成员。 我们无法用#define创建一个专属常量。 menu hack: 1、menu hack的行为更像#define,而不是const。例如取const地址是合法的,而取menu hack或者#define的地址是不合法的。 2、如果不希望别人活得一个pointer或reference指向你的某个常量,enum可以帮你实现这个约束。 3、enum和#define绝不会导致没必要的内存分配,因为有的编译器会为const对象设定另外的存储空间。 4、enum hack是模板元编程的技术基础。 对于单纯的常量,最好以const对象或enum替换#define;对于形似函数的宏,最好用inline函数替换#define。 条款3:尽可能使用const 令函数的返回值为const,可以降低因客户错误而造成的意外。如下图: class R{.....} const R poerator *(const R& lns, const R& rhs) 两个成员函数如果只是常量性(constness)方面不同,可以被重载,如下图: 上图中non-const operator[]的返回值类型是char &,而不是char,因为如果函数的返回类型是一个内置类型,那么改动函数返回值就不合法(what?我不懂。。。吴老师:这个说法有点令人困惑。关键不是内置类型与否,而是值类型与否。需要修改内容,函数需要返回一个非const的引用。。。还是不太懂。。。) 条款4:确定对象被使用前已先被初始化 int x; c++语言中,上述语句在某些语境下,x被初始化为0,某些情况下x不被初始化。读取未初始化的值会导致不明确的行为。在某些平台上,仅仅只是读取未初始化的值,就可以让你的程序终止运行。 不要混淆赋值和初始化,如下图: c++规定:对象成员变量的初始化动作发生在进入构造函数本体之前。 使用初始列进行初始化的效率更高,因为比起先调用default构造函数然后再调用copy assignment操作符,单只调用一次copy构造函数比较高效,有时甚至高效得多。 (1)在初始化列表中,成员的初始化顺序和成员的声明顺序相同,与初始化列表的位置顺序无关。(2) 初始化列表先于构造函数执行。 (3) 类中可以定义const成员变量,它并非真正意义的常量,而是只读变量,其初始化方式只能依靠初始化列表。 const只读变量虽然不可出现在赋值符号的左边,但是可以通过指针去修改其值的。(what???) 当你想要default构造一个成员变量,你都可以使用初值列,只要指定无物(nothing)作为初始化实参即可。如下图: 规定总是在初值列中列出所有成员变量,以免去记忆哪些成员变量可以无需初值。 如果成员变量是const或references,它就需要初值,而不能被赋值。具体原因详见链接: https://blog.csdn.net/qq_29344757/article/details/76093216 在class中,变量不能直接初始话,需要通过构造函数(或拷贝构造函数)来初始话,如果程序员没有定义构造函数系统会有一个默认构造函数。 除了静态数据成员外,数据成员不能在类体内显式的初始化 不同编译单元内定义之non-local static 对象 条款5:了解C++默默编写并调用哪些函数 当你写一个空类没有声明的时候,编译器会为他声明一个copy构造函数、一个copy assignment函数和一个析构函数。如果你没有声明任何构造函数,编译器会为你声明一个default构造函数。如下图: 当这些函数被调用的时候,编译器才会把他们创建出来。 注意:编译器产生的析构函数是一个non-virtual,除非这个class的base class自身声明有virtual析构函数(不明觉厉,先记下来) 如果类中你声明了一个带实参的构造函数,编译器便不会创建default构造函数,如此,你写的构造函数就不会被创建出来的无实参的default构造函数覆盖掉。 条款6:若不想使用编译器自动生成的函数,就应该明确的拒绝 驳回编译器自动提供的功能,可将相应的成员函数声明为private并且不予实现。或者使用上图所示的手法也可以(上图所示的手法感觉更好一点) 条款7:为多态基类声明virtual析构函数 如果一个类里面不含虚函数,通常意味着他并不意图被用做一个base class(基类)。当类不企图被当做base class,灵其析构函数为virtual往往是个馊主意。C++标准库中很多都是没有虚函数的class,比如string、vector、list等,所以不要把标准库中的类作为基类。 虚指针vptr(virtual table pointer)用于在运行期决定哪一个虚函数被调用。vptr指向一个由函数指针构成的数组,该数组称为虚表vtbl(virtual table):每个带有虚函数的类都有对应的虚表。 纯虚函数导致抽象类(不能被实例化(instantiated)的类) 虚析构函数的作用:为了当用一个基类的指针删除一个派生类的对象时,派生类的析构函数会被调用。(用C++开发的时候,用来做基类的类的析构函数是虚函数。) Class ClxBase { public: ClxBase() {}; //虚虚构函数 virtual ~ClxBase() {}; virtual void DoSomething() { cout << "Do something in class ClxBase!" << endl; }; }; 条款8:别让异常逃离析构函数 析构函数绝对不要吐出异常。如果一个被析构函数调用的函数可能会抛出异常,析构函数应该捕捉任何异常,然后吞下他们(不传播)或结束程序。 如果客户需要对某一操作函数运行期间抛出的异常做出反应,那么class应该提供一个普通函数(而非在析构函数中)执行该操作。 条款9:绝不在构造和析构过程中调用虚函数 class Transation { public: Transation(); virtual void logTransaction() const = 0; ... }; Transation::Transation() { ... logTransaction();//构造函数调用虚函数 } class BuyTransation :public Transation { public: virtual void logTransation() const; ... };上述代码执行: BuyTransation b; 在该调用logTransaction时,调用的虚函数是base class中的,而不是BuyTransaction中的。 因为:base class(基类)构造期间,虚函数不会下降到derived classes(子类)阶层。由于base classes构造函数的执行更早于的derived classes构造函数,当base class 构造函数执行时derived class的成员变量尚未初始化,如果器件调用的virtual函数下降至derived classes阶层,而derived classes的函数机会必然去用local成员变量,而那些成员变量尚未初始化,因此无法调用derived classes中的虚函数,而是调用base class的虚函数。 更根本原因:在derived class对象的base class 构造期间,对象的类型是base class而不是derived class。不止虚函数会被编译器解析至base class,若使用运行期类型信息,也会把对象是为base class。 logTransaction是纯虚函数,除非他被定义,否则程序无法连接,因为连接器找不到必要的Transaction::logTransaction实现代码。 弥补措施:在构造期间,可以藉由“令derived classes将必要的构造信息向上传递至base class构造函数”。 条款10:令operator= 返回一个 reference to *this 赋值采用右结合定律,因此x=y=z=15等价于(x=(y=(z=15)))。为了实现“连锁赋值”,赋值操作符必须返回一个reference指向操作符的左侧实参。 条款11:在operator= 中处理“自我赋值” “自我赋值”发生在对象被赋值给自己时。拷贝构造函数里面应该先判断一下传入的参数是不是自己。 条款12:复制对象时勿忘其每一个成分 如果你自己写拷贝构造函数,而不用编译器默认构造的拷贝构造函数,当你为class添加一个成员变量后,你必须同时修改拷贝构造函数,如果你忘记,编译器也不太可能会提醒你。一旦你给这个class添加了子类,而忘记修改基类的拷贝构造函数,子类就无法对从父类那里继承下来的变量进行赋值。 拷贝构造函数应该确保复制“对象内的所有成员变量”及“所有base class成分”。 不要试图使拷贝赋值函数调用拷贝构造函数,同时也不要试图让拷贝构造函数调用拷贝赋值函数。如果上述两个函数有重复代码,可以在private里面写一个函数供上述两个函数调用,该函数常备命名为init 条款13:对象管理资源

优秀的个人博客,低调大师

Python 学习(十)--数据解析

1. 什么是XML? XML 指可扩展标记语言(eXtensible Markup Language),标准通用标记语言的子集,是一种用于标记电子文件使其具有结构性的标记语言。 XML 被设计用来传输和存储数据。XML是一套定义语义标记的规则,这些标记将文档分成许多部件并对这些部件加以标识。它也是元标记语言,即定义了用于定义其他与特定领域有关的、语义的、结构化的标记语言的句法语言。 python对XML的解析 常见的XML编程接口有DOM和SAX,这两种接口处理XML文件的方式不同,当然使用场合也不同。python有三种方法解析XML,SAX,DOM,以及ElementTree: SAX (simple API for XML ) python 标准库包含SAX解析器,SAX用事件驱动模型,通过在解析XML的过程中触发一个个的事件并调用用户定义的回调函数来处理XML文件。 DOM(Document Object Model) 将XML数据在内存中解析成一个树,通过对树的操作来操作XML。 下面用到的movies.xml内容: <collection shelf="New Arrivals"> <movie title="Enemy Behind"> <type>War, Thriller</type> <format>DVD</format> <year>2003</year> <rating>PG</rating> <stars>10</stars> <description>Talk about a US-Japan war</description> </movie> <movie title="Transformers"> <type>Anime, Science Fiction</type> <format>DVD</format> <year>1989</year> <rating>R</rating> <stars>8</stars> <description>A schientific fiction</description> </movie> <movie title="Trigun"> <type>Anime, Action</type> <format>DVD</format> <episodes>4</episodes> <rating>PG</rating> <stars>10</stars> <description>Vash the Stampede!</description> </movie> <movie title="Ishtar"> <type>Comedy</type> <format>VHS</format> <rating>PG</rating> <stars>2</stars> <description>Viewable boredom</description> </movie> </collection> 2. SAX解析xml 1). SAX是一种基于事件驱动的API。利用SAX解析XML文档牵涉到两个部分:解析器和事件处理器。解析器负责读取XML文档,并向事件处理器发送事件,如元素开始跟元素结束事件;而事件处理器则负责对事件作出相应,对传递的XML数据进行处理。 1、对大型文件进行处理; 2、只需要文件的部分内容,或者只需从文件中得到特定信息。 3、想建立自己的对象模型的时候。 2). 在python中使用sax方式处理xml要先引入xml.sax中的parse函数,还有xml.sax.handler中的ContentHandler。 ContentHandler类方法介绍 characters(content)方法 调用时机: 1>. 从行开始,遇到标签之前,存在字符,content的值为这些字符串。 2>. 从一个标签,遇到下一个标签之前, 存在字符,content的值为这些字符串。 3>. 从一个标签,遇到行结束符之前,存在字符,content的值为这些字符串。 4>. 标签可以是开始标签,也可以是结束标签。 startDocument()方法: 文档启动的时候调用。 endDocument()方法: 解析器到达文档结尾时调用。 startElement(name, attrs)方法: 遇到XML开始标签时调用,name是标签的名字,attrs是标签的属性值字典。 endElement(name)方法: 遇到XML结束标签时调用。 3). make_parser方法 以下方法创建一个新的解析器对象并返回。 xml.sax.make_parser( [parser_list] ) 参数说明: parser_list - 可选参数,解析器列表 4). parser方法 以下方法创建一个 SAX 解析器并解析xml文档: xml.sax.parse( xmlfile, contenthandler[, errorhandler]) 参数说明: xmlfile - xml文件名 contenthandler - 必须是一个ContentHandler的对象 errorhandler - 如果指定该参数,errorhandler必须是一个SAX ErrorHandler对象 5). parseString方法 parseString方法创建一个XML解析器并解析xml字符串: xml.sax.parseString(xmlstring, contenthandler[, errorhandler]) 参数说明: xmlstring - xml字符串 contenthandler - 必须是一个ContentHandler的对象 errorhandler - 如果指定该参数,errorhandler必须是一个SAX ErrorHandler对象 6). 示例: import xml.sax class MovieHandler(xml.sax.ContentHandler): """docstring for MovieHandler""" def __init__(self): super(MovieHandler, self).__init__() self.CurrendData = "" self.type = "" self.format = "" self.year = "" self.rating = "" self.stars = "" self.description = "" # 元素开始调用 def startElement(self, tag, attributes): self.CurrendData = tag if tag == "movie": print("******Movie******") title = attributes["title"] print("Title: ", title) pass pass # 元素结束调用 def endElement(self, tag): if self.CurrendData == "type": print("Type: ", self.type) elif self.CurrendData == "format": print("Format: ", self.format) elif self.CurrendData == "year": print("Year: ", self.year) elif self.CurrendData == "rating": print("Rating: ", self.rating) elif self.CurrendData == "stars": print("Stars: ", self.stars) elif self.CurrendData == "description": print("Description: ", self.description) self.CurrendData = "" pass # 读取字符时调用 def characters(self, content): if self.CurrendData == "type": self.type = content elif self.CurrendData == "format": self.format = content elif self.CurrendData == "year": self.year = content elif self.CurrendData == "rating": self.rating = content elif self.CurrendData == "stars": self.stars = content elif self.CurrendData == "description": self.description = content pass if (__name__ == "__main__") : # 创建一个XMLReader parser = xml.sax.make_parser() # 关闭命名空间 parser.setFeature(xml.sax.handler.feature_namespaces, 0) # 重写 ContextHandler handler = MovieHandler() parser.setContentHandler(handler) parser.parse("movies.xml") pass 打印结果: 图1.png 3. Dom解析xml 文件对象模型(Document Object Model,简称DOM),是W3C组织推荐的处理可扩展置标语言的标准编程接口。一个 DOM 的解析器在解析一个 XML 文档时,一次性读取整个文档,把文档中所有元素保存在内存中的一个树结构里,之后你可以利用DOM 提供的不同的函数来读取或修改文档的内容和结构,也可以把修改过的内容写入xml文件。python中用xml.dom.minidom来解析xml文件. 示例: from xml.dom.minidom import parse import xml.dom.minidom # 使用minidom解析器打开XML文档 DOMTree = xml.dom.minidom.parse("movies.xml") # 获取collection节点 collection = DOMTree.documentElement if collection.hasAttribute("shelf"): print("Root element: %s" % collection.getAttribute("shelf")) pass # 在集合获取所有电影 movies = collection.getElementsByTagName("movie") # 打印每部电影的详细信息 for movie in movies: print("*******Movie********") if movie.hasAttribute("title"): print("Title: %s" % movie.getAttribute("title")) pass pass type = movie.getElementsByTagName("type")[0] print("Type: %s" % type.childNodes[0].data) format = movie.getElementsByTagName("format")[0] print("Format: %s" % format.childNodes[0].data) rating = movie.getElementsByTagName("rating")[0] print("Rating: %s" % rating.childNodes[0].data) description = movie.getElementsByTagName("description")[0] print("Description: %s" % description.childNodes[0].data) 打印结果: 图2.png 4. JSON解析 JSON (JavaScript Object Notation) 是一种轻量级的数据交换格式。它基于ECMAScript的一个子集。 Python3 中可以使用 json 模块来对 JSON 数据进行编解码,它包含了两个函数: json.dumps(): 对数据进行编码。 json.loads(): 对数据进行解码。 import json # 字典 data = { 'no' : 1, 'name' : 'mazaiting', 'url' : 'https://www.jianshu.com/u/5d2cb4bfeb15' } # 将python字典类型装换为JSON对象 json_str = json.dumps(data) print("Python 原始数据: ", repr(data)) print("JSON 对象: ", json_str) # 将JSON对象转化为Python字典 data2 = json.loads(json_str) print("data2['name']: ", data2['name']) print("data2['url']: ", data2['url']) 打印结果: 图3.png 5. 时间 Python 程序能用很多方式处理日期和时间,转换日期格式是一个常见的功能。Python 提供了一个 time 和 calendar 模块可以用于格式化日期和时间。时间间隔是以秒为单位的浮点小数。每个时间戳都以自从1970年1月1日午夜(历元)经过了多长时间来表示。Python 的 time 模块下有很多函数可以转换常见日期格式。如函数time.time()用于获取当前时间戳。 1). 获取当前时间戳 # 引入time模块 import time ticks = time.time() print("当前时间戳为:", ticks) 打印结果: 图4.png 2). 时间元组 很多Python函数用一个元组装起来的9组数字处理时间: 序号 字段 值 0 4位数年 2008 1 月 1 到 12 2 日 1到31 3 小时 0到23 4 分钟 0到59 5 秒 0到61 (60或61 是闰秒) 6 一周的第几日 0到6 (0是周一) 7 一年的第几日 1到366 (儒略历) 8 夏令时 -1, 0, 1, -1是决定是否为夏令时的旗帜 上述也就是struct_time元组。这种结构具有如下属性: 序号 属性 值 0 tm_year 2008 1 tm_mon 1 到 12 2 tm_mday 1 到 31 3 tm_hour 0 到 23 4 tm_min 0 到 59 5 tm_sec 0 到 61 (60或61 是闰秒) 6 tm_wday 0到6 (0是周一) 7 tm_yday 一年中的第几天,1 到 366 8 tm_isdst 是否为夏令时,值有:1(夏令时)、0(不是夏令时)、-1(未知),默认 -1 3). 获取当前时间 从返回浮点数的时间辍方式向时间元组转换,只要将浮点数传递给如localtime之类的函数。 import time localtime = time.localtime(time.time()) print("本地时间为:", localtime) 打印结果: 图5.png 4). 获取格式化的时间 你可以根据需求选取各种格式,但是最简单的获取可读的时间模式的函数是asctime() import time localtime = time.asctime(time.localtime(time.time())) print("本地时间为:", localtime) 打印结果: 图6.png 5). 格式化日期 我们可以使用 time 模块的 strftime 方法来格式化日期: time.strftime(format[, t]) 示例: import time # 格式化成2016-03-20 11:45:39 print(time.strftime("%Y-%m-%d %H:%M:%S", time.localtime())) # 格式化成Wed Apr 11 16:56:32 2018形式 print(time.strftime("%a %b %d %H:%M:%S %Y", time.localtime())) # 将格式字符串转换为时间戳 a = "Wed Apr 11 16:56:32 2018" print(time.mktime(time.strptime(a, "%a %b %d %H:%M:%S %Y"))) 打印结果: 图7.png 6). python中时间日期格式化符号: %y 两位数的年份表示(00-99) %Y 四位数的年份表示(000-9999) %m 月份(01-12) %d 月内中的一天(0-31) %H 24小时制小时数(0-23) %I 12小时制小时数(01-12) %M 分钟数(00=59) %S 秒(00-59) %a 本地简化星期名称 %A 本地完整星期名称 %b 本地简化的月份名称 %B 本地完整的月份名称 %c 本地相应的日期表示和时间表示 %j 年内的一天(001-366) %p 本地A.M.或P.M.的等价符 %U 一年中的星期数(00-53)星期天为星期的开始 %w 星期(0-6),星期天为星期的开始 %W 一年中的星期数(00-53)星期一为星期的开始 %x 本地相应的日期表示 %X 本地相应的时间表示 %Z 当前时区的名称 %% %号本身 7). 日期 Calendar模块有很广泛的方法用来处理年历和月历. # 获取某月日历 import calendar cal = calendar.month(2018, 4) print("以下输出2016年1月份的日历:") print(cal) 打印结果: 图8.png

优秀的个人博客,低调大师

Elastic Stack学习--Beats组件

简介 beats组件是一系列用于采集数据的轻量级代理程序,用于从服务端收集日志、网络、监控数据,并最终汇总到elasticsearch。beats组件收集的数据即可以直接上报给elasticsearch,也可以通过logstash中转处理后上报给elasticsearch。 beats根据功能划分有多种: PacketBeat:用于分析和收集服务器的网络包数据; FileBeat:用于收集服务器的日志文件; MetricBeat:用于收集操作系统及业务的运行状态等监控数据; HeartBeat: WinlogBeat:用于收集windows系统的event log; beats组件也支持根据需求定制实现自己的beat。整个beats框架使用go语言实现,提供了对接elasticsearch、配置输入选项、日志记录等API。 FileBeat对接ES,监控logback日志 filebeat用于采集服务器上的各种日志文件数据,由多个prospector组成,每个prospector负责监控和采集某一类日志。prospector由用户自定义配置,多个prospector可以独立配置和运行; 第1步. 修改logback配置,输出json格式日志(非必需) 该步骤不是必需步骤,只是为了能够方便日志的后续处理,配置日志格式为json格式;1)在pom.xml中添加如下依赖: <!--日志转json格式存储--> <dependency> <groupId>net.logstash.logback</groupId> <artifactId>logstash-logback-encoder</artifactId> <version>5.0</version> </dependency> 2)修改logback.xml配置文件,新增输出json的appender: <!--json日志文件输出--> <appender name="json" class="ch.qos.logback.core.rolling.RollingFileAppender"> <file>${jsonLogfile}</file> <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy"> <fileNamePattern>${LOG_PATH}/${LOG_FILE}.%d{yyyy-MM-dd}.json</fileNamePattern> <maxHistory>10</maxHistory> </rollingPolicy> <encoder class="net.logstash.logback.encoder.LoggingEventCompositeJsonEncoder"> <providers> <pattern> <pattern> { "logfile": "${LOG_FILE}", "service": "omark-profile-microservice", "timestamp": "%date{\"yyyy-MM-dd'T'HH:mm:ss,SSSZ\"}", "log_level": "%level", "thread": "%thread", "logger": "%logger", "line_number": "%line", "message": "%message", "stack_trace": "%exception" } </pattern> </pattern> </providers> </encoder> </appender> 上面pattern标签中配置的json格式日志,在日志中会以一行输出;类似如下: {"logfile":"profile-service.log","service":"omark-profile-microservice","timestamp":"2018-04-10T15:32:55,488+0800","log_level":"INFO","thread":"main","logger":"org.elasticsearch.plugins.PluginsService","line_number":"177","message":"loaded plugin [org.elasticsearch.percolator.PercolatorPlugin]","stack_trace":""} {"logfile":"profile-service.log","service":"omark-profile-microservice","timestamp":"2018-04-10T15:32:55,488+0800","log_level":"INFO","thread":"main","logger":"org.elasticsearch.plugins.PluginsService","line_number":"177","message":"loaded plugin [org.elasticsearch.script.mustache.MustachePlugin]","stack_trace":""} {"logfile":"profile-service.log","service":"omark-profile-microservice","timestamp":"2018-04-10T15:32:55,489+0800","log_level":"INFO","thread":"main","logger":"org.elasticsearch.plugins.PluginsService","line_number":"177","message":"loaded plugin [org.elasticsearch.transport.Netty3Plugin]","stack_trace":""} {"logfile":"profile-service.log","service":"omark-profile-microservice","timestamp":"2018-04-10T15:32:55,489+0800","log_level":"INFO","thread":"main","logger":"org.elasticsearch.plugins.PluginsService","line_number":"177","message":"loaded plugin [org.elasticsearch.transport.Netty4Plugin]","stack_trace":""} 3)将appender添加到logger中,使appender生效: <!--生产环境--> <springProfile name="prod"> <logger name="org.springframework" level="info" additivity="false"> <appender-ref ref="system"/> <appender-ref ref="json"/> </logger> <logger name="org.hibernate" level="error" additivity="false"> <appender-ref ref="system"/> <appender-ref ref="json"/> </logger> <!--根日志--> <root level="info"> <appender-ref ref="system"/> <appender-ref ref="json"/> </root> </springProfile> 第2步. FileBeat安装&配置 linux下filebeat的安装很简单,直接下载压缩包解压即可:1)下载beat,上传服务器并解压; tar -zxvf filebeat-6.2.2-linux-x86_64.tar.gz cd filebeat-6.2.2-linux-x86_64 可以看到filebeat的目录结构如下: data fields.yml filebeat filebeat.reference.yml filebeat.yml kibana LICENSE.txt logs module modules.d NOTICE.txt README.md 主要文件功能如下: filebeat:filebeat执行的二进制文件; filebeat.yml:filebeat的核心配置文件; fields.yml:filebeat上报日志前,需要先在elasticsearch上建好index模板,从而在日志上报时,elasticsearch能够根据index模板自动创建index;该配置文件用于指定创建index时所需要的字段名及类型; filebeat.reference.yml:存放filebeat所有配置样例;实际运行不会使用,仅作为配置参考; 2)修改filebeat.yml: # prospector配置,可以配置多个; filebeat.prospectors: # 日志组件类型,此处是普通日志,故使用log - type: log # 启用prospector的开关,设置为true下面配置才生效 enabled: true # 收集日志路径,支持通配符; paths: - /home/work/logs/mylog*.json # 日志、日志文件过滤规则,支持正则表达式,此处不配置; #exclude_lines: ['^DBG'] #include_lines: ['^ERR', '^WARN'] #exclude_files: ['.gz$'] #fields: # level: debug # review: 1 #multiline.pattern: ^\[ #multiline.negate: false #multiline.match: after # 配置组件配置文件加载路径,默认即可; filebeat.config.modules: # Glob pattern for configuration loading path: ${path.config}/modules.d/*.yml # Set to true to enable config reloading reload.enabled: false # Period on which files under path should be checked for changes #reload.period: 10s # 配置filebeat生成index模板时的规则 setup.template.settings: index.number_of_shards: 6 index.refresh_interval: 10s index.number_of_replicas: 1 index.codec: best_compression #_source.enabled: false # 允许自动生成index模板 setup.template.enabled: true # 生成index模板时字段配置文件 setup.template.fields: fields.yml # 生成index模板的名称 setup.template.name: mytemplate-name # 生成index模板匹配的index格式 setup.template.pattern: myindex-name-* # 生成kibana中的index pattern,便于检索日志 setup.dashboards.index: myindex-name-* # 在kibana中生成filebeats的图标模板,此处没有用到,故不启用; setup.dashboards.enabled: false # 设置对接的kibana,主要用于生成dashboard时使用; setup.kibana: host: "ip:port" username: "myuser" password: "mypasswd" # 设置对接的elasticsearch信息 output.elasticsearch: # Array of hosts to connect to. hosts: ["ip1:port1", "ip2:port2",] # 设置上报index名称格式,需要和setup.template.pattern匹配; index: myindex-name-%{+yyyy.MM.dd} # Optional protocol and basic auth credentials. protocol: "http" username: "myuser" password: "mypasswd" # 启用xpack监控 xpack.monitoring.enabled: true # 设置filebeat自身监控数据上报elasticsearch信息,如果未指定,则默认使用output.elasticsearch配置 xpack.monitoring.elasticsearch: username: "myuser" password: "mypasswd" protocol: http 3)修改fields.yml文件,删除不必要的字段;因为我们只用到了log组件以及beat自身的监控组件,因而仅保留key为beat和log的字段配置,其余组件的字段配置均删除; 4)启动filebeat: nohup ./filebeat -e -c filebeat.yml > /dev/null 2>&1 & 注:启动filebeat时,会在elasticsearch中自动生成index模板,如果设置setup.template.enabled: false,则不会自动生成。可以通过如下命令手工生成index模板: ./filebeat setup template 第3步. 在kibana上查看是否有日志上报: 1)查看Monitor菜单,发现新增beat组件监控: 2)查看Monitor菜单的index菜单栏,发现已经创建所需index; 3)在Discover页面检索日志,发现已经有日志上报过来; 使用HeartBeat监控java进程 HeartBeat组件用来监控远程服务器上的服务是否正常运行。heartbeat由一系列的monitor组成,这些monitor能够周期性的检查服务的运行状态,每个monitor都可以独立配置和运行。heartbeat目前支持ICMP/TCP/HTTP协议接口的检测。 1)下载安装包,并解压至部署目录; tar -zxvf heartbeat-6.2.2-linux-x86_64.tar.gz cd heartbeat-6.2.2-linux-x86_64 heartbeat目录结构如下: fields.yml heartbeat heartbeat.reference.yml heartbeat.yml kibana LICENSE.txt NOTICE.txt README.md 和filebeat类似,heartbeat的核心文件如下: heartbeat:运行heartbeat的二进制程序; heartbeat.yml:heartbeat的核心配置文件; fields.yml:heartbeat自动创建index模板时,用于指定模板中的字段配置; heartbeat.reference.yml:存放heartbeat所有配置样例,用作参考; 2)修改heartbeat.yml: # monitor配置,支持多个; heartbeat.monitors: # 监控类型配置,支持icmp/tcp/http等 - type: http # 监控url配置,支持多个; urls: ["http://ip1:port1/addr1", "http://ip2:port2/addr2", "http://ip3:port3/addr3"] # 监控周期配置,支持crontab表达式 schedule: '@every 10s' # 监控模式:any,只要有一个url正常即可;all,所有url均正常才算正常; mode: all # 连接及请求超时时间 #timeout: 16s # index模板配置,同filebeat setup.template.settings: index.number_of_shards: 6 index.refresh_interval: 10s index.number_of_replicas: 1 index.codec: best_compression #_source.enabled: false # 允许自动生成index模板 setup.template.enabled: true setup.template.fields: fields.yml setup.template.name: mytemplate_name setup.template.pattern: myindex-* setup.dashboards.index: myindex-* # 允许自动生成dashboard图表 setup.dashboards.enabled: true # kibana配置,同filebeat setup.kibana: host: "ip:port" username: "myuser" password: "mypasswd" # 数据上报elasticsearch配置,同filebeat output.elasticsearch: # Array of hosts to connect to. hosts: ["ip1:port1", "ip2:port2", "ip3:port3"] index: myindex-%{+yyyy.MM.dd} # Optional protocol and basic auth credentials. protocol: "http" username: "myuser" password: "mypasswd" # heartbeat监控配置,同filebeat xpack.monitoring.enabled: true xpack.monitoring.elasticsearch: protocol: "http" username: "myuser" password: "mypasswd" 通过上面配置可以看出,heartbeat和filebeat配置相似,对接elasticsearch、logstash、配置xpack监控、配置index模板的代码完全相同。 3)启动heartbeat: nohup ./heartbeat -e -c heartbeat.yml > /dev/null 2>&1 & 注:启动heartbeat时,会在elasticsearch中自动生成index模板,如果设置setup.template.enabled: false,则不会自动生成。可以通过如下命令手工生成index模板: ./heartbeat setup --template 同理,如果设置setup.dashboards.enabled: false,则启动heartbeat时不会自动生成dashboard图表。可以通过如下命令手工生成dashboard: ./heartbeat setup --dashboards 4)登录kibana,查看index模板、index pattern、index以及dashboard是否创建成功,是否有心跳监控数据上报; 监控数据dashboard图表展现: heartbeat自身监控: 使用Metricbeat收集指标数据 metricbeat用于收集服务器及服务的监控指标,比如cpu、内存、网络、进程等;metricbeat由一些列module组成,每个module负责收集某一类指标; 1)下载metricbeat,上传服务器并解压; tar -zxvf metricbeat-6.2.2-linux-x86_64.tar.gz cd metricbeat-6.2.2-linux-x86_64 可以看到metricbeat的目录结构如下: fields.yml kibana LICENSE.txt metricbeat metricbeat.reference.yml metricbeat.yml modules.d NOTICE.txt README.md 主要文件功能如下: metricbeat:metricbeat执行的二进制文件; metricbeat.yml:metricbeat的核心配置文件; fields.yml:metricbeat上报日志前,需要先在elasticsearch上建好index模板,从而在日志上报时,elasticsearch能够根据index模板自动创建index;该配置文件用于指定创建index时所需要的字段名及类型; metricbeat.reference.yml:存放metricbeat所有配置样例;实际运行不会使用,仅作为配置参考; 2)修改metricbeat.yml:除了modules外,其余配置包括elasticsearch配置、logstash配置、xpack监控、index模板配置等,与filebeat、heartbeat的配置相同。 metricbeat.modules: - module: system metricsets: - cpu # CPU usage - filesystem # File system usage for each mountpoint - fsstat # File system summary metrics - load # CPU load averages - memory # Memory usage - network # Network IO - process # Per process metrics - process_summary # Process summary - uptime # System Uptime #- core # Per CPU core usage #- diskio # Disk IO #- socket # Sockets and connection info (linux only) enabled: true period: 10s processes: ['.*'] # Configure the metric types that are included by these metricsets. cpu.metrics: ["percentages"] # The other available options are normalized_percentages and ticks. core.metrics: ["percentages"] # The other available option is ticks. 3)启动metricbeat: nohup ./metricbeat -e -c metricbeat.yml > /dev/null 2>&1 & 使用Packetbeat收集网络数据 packetbeat是轻量级的网络包分析工具,用于收集网络包数据; 1)下载packetbeat,上传服务器并解压; tar -zxvf packetbeat-6.2.2-linux-x86_64.tar.gz cd packetbeat-6.2.2-linux-x86_64 可以看到packetbeat的目录结构同其它beat组件目录结构相似: fields.yml kibana LICENSE.txt NOTICE.txt packetbeat packetbeat.reference.yml packetbeat.yml README.md 主要文件功能如下: packetbeat:packetbeat执行的二进制文件; packetbeat.yml:packetbeat的核心配置文件; fields.yml:packetbeat上报日志前,需要先在elasticsearch上建好index模板,从而在日志上报时,elasticsearch能够根据index模板自动创建index;该配置文件用于指定创建index时所需要的字段名及类型; packetbeat.reference.yml:存放packetbeat所有配置样例;实际运行不会使用,仅作为配置参考; 2)修改packetbeat.yml:除了网络协议相关配置外,其余配置包括elasticsearch配置、logstash配置、xpack监控、index模板配置等,与filebeat、heartbeat的配置相同。 # 网卡选择策略,any表示任意一个; packetbeat.interfaces.device: any # Set `enabled: false` or comment out all options to disable flows reporting. packetbeat.flows: # Set network flow timeout. Flow is killed if no packet is received before being # timed out. timeout: 30s # Configure reporting period. If set to -1, only killed flows will be reported period: 10s # 设置监听的协议类型及端口信息,根据实际需要配置; packetbeat.protocols: - type: http # Configure the ports where to listen for HTTP traffic. You can disable # the HTTP protocol by commenting out the list of ports. ports: [8088] 3)启动packetbeat: nohup ./packetbeat -e -c packetbeat.yml > /dev/null 2>&1 & 注:packetbeat需要GLIBC >= 2.7,否则运行报错如下: ./packetbeat: /lib64/tls/libc.so.6: version `GLIBC_2.7' not found (required by ./packetbeat) 参考 beats官方文档Getting Started With Filebeatslf4j-logback 日志以json格式导入ELKGetting Started With HeartbeatGetting started with MetricbeatGetting started with Packetbeat

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册