首页 文章 精选 留言 我的

精选列表

搜索[学习]，共10000篇文章
优秀的个人博客,低调大师

Python 学习(九)--多线程

1. 多线程 1). 多线程类似于同时执行多个不同程序，多线程运行有如下优点： 使用线程可以把占据长时间的程序中的任务放到后台去处理。 用户界面可以更加吸引人，这样比如用户点击了一个按钮去触发某些事件的处理，可以弹出一个进度条来显示处理的进度 程序的运行速度可能加快 在一些等待的任务实现上如用户输入、文件读写和网络收发数据等，线程就比较有用了。在这种情况下我们可以释放一些珍贵的资源如内存占用等等。 2). 线程在执行过程中与进程还是有区别的。每个独立的线程有一个程序运行的入口、顺序执行序列和程序的出口。但是线程不能够独立执行，必须依存在应用程序中，由应用程序提供多个线程执行控制。 每个线程都有他自己的一组CPU寄存器，称为线程的上下文，该上下文反映了线程上次运行该线程的CPU寄存器的状态。 指令指针和堆栈指针寄存器是线程上下文中两个最重要的寄存器，线程总是在进程得到上下文中运行的，这些地址都用于标志拥有线程的进程地址空间中的内存。 线程可以被抢占（中断）。 在其他线程正在运行时，线程可以暂时搁置（也称为睡眠） -- 这就是线程的退让。 3). 线程可以分为: 内核线程：由操作系统内核创建和撤销。 用户线程：不需要内核支持而在用户程序中实现的线程。 4). Python3 线程中常用的两个模块为： _thread threading(推荐使用) thread 模块已被废弃。用户可以使用 threading 模块代替。所以，在 Python3 中不能再使用"thread" 模块。为了兼容性，Python3 将 thread 重命名为 "_thread"。 2. 创建新线程 Python中使用线程有两种方式：函数或者用类来包装线程对象。 函数式：调用 _thread 模块中的start_new_thread()函数来产生新线程。语法如下: _thread.start_new_thread ( function, args[, kwargs] ) 参数说明: function - 线程函数。 args - 传递给线程函数的参数,他必须是个tuple类型。 kwargs - 可选参数。 import _thread import time # 为线程定义一个函数 def print_time(threadName, delay): count = 0 while count < 5: time.sleep(delay) count += 1 print("%s: %s" % (threadName, time.ctime(time.time()))) pass pass # 创建两个线程 try: _thread.start_new_thread(print_time, ("Thread-1",2)) _thread.start_new_thread(print_time, ("Thread-2",4)) pass except Exception as e: print("Error: 无法启动线程") raise e while 1: pass 打印结果： 图1.png 3. 线程模块 Python3 通过两个标准库 _thread 和 threading 提供对线程的支持。 _thread 提供了低级别的、原始的线程以及一个简单的锁，它相比于 threading 模块的功能还是比较有限的。 threading 模块除了包含 _thread 模块中的所有方法外，还提供的其他方法： threading.currentThread(): 返回当前的线程变量。 threading.enumerate(): 返回一个包含正在运行的线程的list。正在运行指线程启动后、结束前，不包括启动前和终止后的线程。 threading.activeCount(): 返回正在运行的线程数量，与len(threading.enumerate())有相同的结果。 除了使用方法外，线程模块同样提供了Thread类来处理线程，Thread类提供了以下方法: run(): 用以表示线程活动的方法。 start():启动线程活动。 join([time]): 等待至线程中止。这阻塞调用线程直至线程的join() 方法被调用中止-正常退出或者抛出未处理的异常-或者是可选的超时发生。 isAlive(): 返回线程是否活动的。 getName(): 返回线程名。 setName(): 设置线程名。 4. 使用 threading 模块创建线程 从 threading.Thread 继承创建一个新的子类，并实例化后调用 start() 方法启动新线程，即它调用了线程的 run() 方法： import threading import time exitFlag = 0 class myThread(threading.Thread): """docstring for myThread""" def __init__(self, threadID,name,counter): super(myThread, self).__init__() self.threadID = threadID self.name = name self.counter = counter def run(self): print("开始线程: " + self.name) print_time(self.name, self.counter, 5) print("退出线程: " + self.name) pass def print_time(threadName, delay, counter): while counter: if exitFlag: threadName.exit() pass time.sleep(delay) print("%s: %s" % (threadName, time.ctime(time.time()))) counter -= 1 pass pass # 创建新线程 thread1 = myThread(1, "Thread-1", 1) thread2 = myThread(2, "Thread-2", 2) # 开启新线程 thread1.start() thread2.start() thread1.join() thread2.join() print("退出主线程") 打印结果： 图2.png 5. 线程同步 如果多个线程共同对某个数据修改，则可能出现不可预料的结果，为了保证数据的正确性，需要对多个线程进行同步。 使用 Thread 对象的 Lock 和 Rlock 可以实现简单的线程同步，这两个对象都有 acquire 方法和 release 方法，对于那些需要每次只允许一个线程操作的数据，可以将其操作放到 acquire 和 release 方法之间。如下： 多线程的优势在于可以同时运行多个任务（至少感觉起来是这样）。但是当线程需要共享数据时，可能存在数据不同步的问题。 考虑这样一种情况：一个列表里所有元素都是0，线程"set"从后向前把所有元素改成1，而线程"print"负责从前往后读取列表并打印。 那么，可能线程"set"开始改的时候，线程"print"便来打印列表了，输出就成了一半0一半1，这就是数据的不同步。为了避免这种情况，引入了锁的概念。 锁有两种状态——锁定和未锁定。每当一个线程比如"set"要访问共享数据时，必须先获得锁定；如果已经有别的线程比如"print"获得锁定了，那么就让线程"set"暂停，也就是同步阻塞；等到线程"print"访问完毕，释放锁以后，再让线程"set"继续。经过这样的处理，打印列表时要么全部输出0，要么全部输出1，不会再出现一半0一半1的尴尬场面。 import threading import time class myThread(threading.Thread): """docstring for myThread""" def __init__(self, threadID, name, counter): super(myThread, self).__init__() self.threadID = threadID self.name = name self.counter = counter def run(self): print("开启线程：" + self.name) # 获取锁，用于线程同步 threadLock.acquire() print_time(self.name, self.counter, 3) # 释放锁，开启下一个线程 threadLock.release() pass def print_time(threadName, delay, counter): while counter: time.sleep(delay) print("%s: %s" % (threadName, time.ctime(time.time()))) counter -= 1 pass pass threadLock = threading.Lock() threads = [] # 创建新线程 thread1 = myThread(1, "Thread-1", 1) thread2 = myThread(2, "Thread-2", 2) # 开启新线程 thread1.start() thread2.start() # 添加线程到线程列表 threads.append(thread1) threads.append(thread2) # 等待所有线程完成 for t in threads: t.join() pass print("退出线程") 打印结果： 图3.png 6. 线程优先级队列（ Queue） Python 的 Queue 模块中提供了同步的、线程安全的队列类，包括FIFO（先入先出)队列Queue，LIFO（后入先出）队列LifoQueue，和优先级队列 PriorityQueue。 这些队列都实现了锁原语，能够在多线程中直接使用，可以使用队列来实现线程间的同步。Queue 模块中的常用方法: Queue.qsize() 返回队列的大小 Queue.empty() 如果队列为空，返回True,反之False Queue.full() 如果队列满了，返回True,反之False Queue.full 与 maxsize 大小对应 Queue.get([block[, timeout]])获取队列，timeout等待时间 Queue.get_nowait() 相当Queue.get(False) Queue.put(item) 写入队列，timeout等待时间 Queue.put_nowait(item) 相当Queue.put(item, False) Queue.task_done() 在完成一项工作之后，Queue.task_done()函数向任务已经完成的队列发送一个信号 Queue.join() 实际上意味着等到队列为空，再执行别的操作 import queue import threading import time exitFlag = 0 class myThread(threading.Thread): """docstring for myThread""" def __init__(self, threadID, name, q): super(myThread, self).__init__() self.threadID = threadID self.name = name self.q = q def run(self): print("开启线程：" + self.name) process_data(self.name, self.q) print("退出线程：" + self.name) pass def process_data(threadName, q): while not exitFlag: queueLock.acquire() if not workQueue.empty(): data = q.get() queueLock.release() print("%s processing %s" % (threadName, data)) pass else: queueLock.release() pass time.sleep(1) pass threadList = ["Thread-1", "Thread-2", "Thread-3"] nameList = ["One", "Two", "Three", "Four", "Five"] queueLock = threading.Lock() workQueue = queue.Queue(10) threads = [] threadID = 1 # 创建新线程 for tName in threadList: thread = myThread(threadID, tName, workQueue) thread.start() threads.append(thread) threadID += 1 pass # 填充队列 queueLock.acquire() for word in nameList: workQueue.put(word) pass queueLock.release() # 等待队列清空 while not workQueue.empty(): pass # 通知线程退出 exitFlag = 1 # 等待所有线程完成 for t in threads: t.join() pass print("退出主线程") 打印结果： 图4.png
2018-04-10
优秀的个人博客,低调大师

Elastic Stack学习--Beats组件

简介 beats组件是一系列用于采集数据的轻量级代理程序，用于从服务端收集日志、网络、监控数据，并最终汇总到elasticsearch。beats组件收集的数据即可以直接上报给elasticsearch，也可以通过logstash中转处理后上报给elasticsearch。 beats根据功能划分有多种： PacketBeat：用于分析和收集服务器的网络包数据； FileBeat：用于收集服务器的日志文件； MetricBeat：用于收集操作系统及业务的运行状态等监控数据； HeartBeat： WinlogBeat：用于收集windows系统的event log； beats组件也支持根据需求定制实现自己的beat。整个beats框架使用go语言实现，提供了对接elasticsearch、配置输入选项、日志记录等API。 FileBeat对接ES，监控logback日志 filebeat用于采集服务器上的各种日志文件数据，由多个prospector组成，每个prospector负责监控和采集某一类日志。prospector由用户自定义配置，多个prospector可以独立配置和运行； 第1步. 修改logback配置，输出json格式日志（非必需） 该步骤不是必需步骤，只是为了能够方便日志的后续处理，配置日志格式为json格式；1）在pom.xml中添加如下依赖： <!--日志转json格式存储--> <dependency> <groupId>net.logstash.logback</groupId> <artifactId>logstash-logback-encoder</artifactId> <version>5.0</version> </dependency> 2）修改logback.xml配置文件，新增输出json的appender： <!--json日志文件输出--> <appender name="json" class="ch.qos.logback.core.rolling.RollingFileAppender"> <file>${jsonLogfile}</file> <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy"> <fileNamePattern>${LOG_PATH}/${LOG_FILE}.%d{yyyy-MM-dd}.json</fileNamePattern> <maxHistory>10</maxHistory> </rollingPolicy> <encoder class="net.logstash.logback.encoder.LoggingEventCompositeJsonEncoder"> <providers> <pattern> <pattern> { "logfile": "${LOG_FILE}", "service": "omark-profile-microservice", "timestamp": "%date{\"yyyy-MM-dd'T'HH:mm:ss,SSSZ\"}", "log_level": "%level", "thread": "%thread", "logger": "%logger", "line_number": "%line", "message": "%message", "stack_trace": "%exception" } </pattern> </pattern> </providers> </encoder> </appender> 上面pattern标签中配置的json格式日志，在日志中会以一行输出；类似如下： {"logfile":"profile-service.log","service":"omark-profile-microservice","timestamp":"2018-04-10T15:32:55,488+0800","log_level":"INFO","thread":"main","logger":"org.elasticsearch.plugins.PluginsService","line_number":"177","message":"loaded plugin [org.elasticsearch.percolator.PercolatorPlugin]","stack_trace":""} {"logfile":"profile-service.log","service":"omark-profile-microservice","timestamp":"2018-04-10T15:32:55,488+0800","log_level":"INFO","thread":"main","logger":"org.elasticsearch.plugins.PluginsService","line_number":"177","message":"loaded plugin [org.elasticsearch.script.mustache.MustachePlugin]","stack_trace":""} {"logfile":"profile-service.log","service":"omark-profile-microservice","timestamp":"2018-04-10T15:32:55,489+0800","log_level":"INFO","thread":"main","logger":"org.elasticsearch.plugins.PluginsService","line_number":"177","message":"loaded plugin [org.elasticsearch.transport.Netty3Plugin]","stack_trace":""} {"logfile":"profile-service.log","service":"omark-profile-microservice","timestamp":"2018-04-10T15:32:55,489+0800","log_level":"INFO","thread":"main","logger":"org.elasticsearch.plugins.PluginsService","line_number":"177","message":"loaded plugin [org.elasticsearch.transport.Netty4Plugin]","stack_trace":""} 3）将appender添加到logger中，使appender生效： <!--生产环境--> <springProfile name="prod"> <logger name="org.springframework" level="info" additivity="false"> <appender-ref ref="system"/> <appender-ref ref="json"/> </logger> <logger name="org.hibernate" level="error" additivity="false"> <appender-ref ref="system"/> <appender-ref ref="json"/> </logger> <!--根日志--> <root level="info"> <appender-ref ref="system"/> <appender-ref ref="json"/> </root> </springProfile> 第2步. FileBeat安装&配置 linux下filebeat的安装很简单，直接下载压缩包解压即可：1）下载beat，上传服务器并解压； tar -zxvf filebeat-6.2.2-linux-x86_64.tar.gz cd filebeat-6.2.2-linux-x86_64 可以看到filebeat的目录结构如下： data fields.yml filebeat filebeat.reference.yml filebeat.yml kibana LICENSE.txt logs module modules.d NOTICE.txt README.md 主要文件功能如下： filebeat：filebeat执行的二进制文件； filebeat.yml：filebeat的核心配置文件； fields.yml：filebeat上报日志前，需要先在elasticsearch上建好index模板，从而在日志上报时，elasticsearch能够根据index模板自动创建index；该配置文件用于指定创建index时所需要的字段名及类型； filebeat.reference.yml：存放filebeat所有配置样例；实际运行不会使用，仅作为配置参考； 2）修改filebeat.yml： # prospector配置，可以配置多个； filebeat.prospectors: # 日志组件类型，此处是普通日志，故使用log - type: log # 启用prospector的开关，设置为true下面配置才生效 enabled: true # 收集日志路径，支持通配符； paths: - /home/work/logs/mylog*.json # 日志、日志文件过滤规则，支持正则表达式，此处不配置； #exclude_lines: ['^DBG'] #include_lines: ['^ERR', '^WARN'] #exclude_files: ['.gz$'] #fields: # level: debug # review: 1 #multiline.pattern: ^\[ #multiline.negate: false #multiline.match: after # 配置组件配置文件加载路径，默认即可； filebeat.config.modules: # Glob pattern for configuration loading path: ${path.config}/modules.d/*.yml # Set to true to enable config reloading reload.enabled: false # Period on which files under path should be checked for changes #reload.period: 10s # 配置filebeat生成index模板时的规则 setup.template.settings: index.number_of_shards: 6 index.refresh_interval: 10s index.number_of_replicas: 1 index.codec: best_compression #_source.enabled: false # 允许自动生成index模板 setup.template.enabled: true # 生成index模板时字段配置文件 setup.template.fields: fields.yml # 生成index模板的名称 setup.template.name: mytemplate-name # 生成index模板匹配的index格式 setup.template.pattern: myindex-name-* # 生成kibana中的index pattern，便于检索日志 setup.dashboards.index: myindex-name-* # 在kibana中生成filebeats的图标模板，此处没有用到，故不启用； setup.dashboards.enabled: false # 设置对接的kibana，主要用于生成dashboard时使用； setup.kibana: host: "ip:port" username: "myuser" password: "mypasswd" # 设置对接的elasticsearch信息 output.elasticsearch: # Array of hosts to connect to. hosts: ["ip1:port1", "ip2:port2",] # 设置上报index名称格式，需要和setup.template.pattern匹配； index: myindex-name-%{+yyyy.MM.dd} # Optional protocol and basic auth credentials. protocol: "http" username: "myuser" password: "mypasswd" # 启用xpack监控 xpack.monitoring.enabled: true # 设置filebeat自身监控数据上报elasticsearch信息，如果未指定，则默认使用output.elasticsearch配置 xpack.monitoring.elasticsearch: username: "myuser" password: "mypasswd" protocol: http 3）修改fields.yml文件，删除不必要的字段；因为我们只用到了log组件以及beat自身的监控组件，因而仅保留key为beat和log的字段配置，其余组件的字段配置均删除； 4）启动filebeat： nohup ./filebeat -e -c filebeat.yml > /dev/null 2>&1 & 注：启动filebeat时，会在elasticsearch中自动生成index模板，如果设置setup.template.enabled: false，则不会自动生成。可以通过如下命令手工生成index模板： ./filebeat setup template 第3步. 在kibana上查看是否有日志上报： 1）查看Monitor菜单，发现新增beat组件监控： 2）查看Monitor菜单的index菜单栏，发现已经创建所需index； 3）在Discover页面检索日志，发现已经有日志上报过来； 使用HeartBeat监控java进程 HeartBeat组件用来监控远程服务器上的服务是否正常运行。heartbeat由一系列的monitor组成，这些monitor能够周期性的检查服务的运行状态，每个monitor都可以独立配置和运行。heartbeat目前支持ICMP/TCP/HTTP协议接口的检测。 1）下载安装包，并解压至部署目录； tar -zxvf heartbeat-6.2.2-linux-x86_64.tar.gz cd heartbeat-6.2.2-linux-x86_64 heartbeat目录结构如下： fields.yml heartbeat heartbeat.reference.yml heartbeat.yml kibana LICENSE.txt NOTICE.txt README.md 和filebeat类似，heartbeat的核心文件如下： heartbeat：运行heartbeat的二进制程序； heartbeat.yml：heartbeat的核心配置文件； fields.yml：heartbeat自动创建index模板时，用于指定模板中的字段配置； heartbeat.reference.yml：存放heartbeat所有配置样例，用作参考； 2）修改heartbeat.yml： # monitor配置，支持多个； heartbeat.monitors: # 监控类型配置，支持icmp/tcp/http等 - type: http # 监控url配置，支持多个； urls: ["http://ip1:port1/addr1", "http://ip2:port2/addr2", "http://ip3:port3/addr3"] # 监控周期配置，支持crontab表达式 schedule: '@every 10s' # 监控模式：any，只要有一个url正常即可；all，所有url均正常才算正常； mode: all # 连接及请求超时时间 #timeout: 16s # index模板配置，同filebeat setup.template.settings: index.number_of_shards: 6 index.refresh_interval: 10s index.number_of_replicas: 1 index.codec: best_compression #_source.enabled: false # 允许自动生成index模板 setup.template.enabled: true setup.template.fields: fields.yml setup.template.name: mytemplate_name setup.template.pattern: myindex-* setup.dashboards.index: myindex-* # 允许自动生成dashboard图表 setup.dashboards.enabled: true # kibana配置，同filebeat setup.kibana: host: "ip:port" username: "myuser" password: "mypasswd" # 数据上报elasticsearch配置，同filebeat output.elasticsearch: # Array of hosts to connect to. hosts: ["ip1:port1", "ip2:port2", "ip3:port3"] index: myindex-%{+yyyy.MM.dd} # Optional protocol and basic auth credentials. protocol: "http" username: "myuser" password: "mypasswd" # heartbeat监控配置，同filebeat xpack.monitoring.enabled: true xpack.monitoring.elasticsearch: protocol: "http" username: "myuser" password: "mypasswd" 通过上面配置可以看出，heartbeat和filebeat配置相似，对接elasticsearch、logstash、配置xpack监控、配置index模板的代码完全相同。 3）启动heartbeat： nohup ./heartbeat -e -c heartbeat.yml > /dev/null 2>&1 & 注：启动heartbeat时，会在elasticsearch中自动生成index模板，如果设置setup.template.enabled: false，则不会自动生成。可以通过如下命令手工生成index模板： ./heartbeat setup --template 同理，如果设置setup.dashboards.enabled: false，则启动heartbeat时不会自动生成dashboard图表。可以通过如下命令手工生成dashboard： ./heartbeat setup --dashboards 4）登录kibana，查看index模板、index pattern、index以及dashboard是否创建成功，是否有心跳监控数据上报； 监控数据dashboard图表展现： heartbeat自身监控： 使用Metricbeat收集指标数据 metricbeat用于收集服务器及服务的监控指标，比如cpu、内存、网络、进程等；metricbeat由一些列module组成，每个module负责收集某一类指标； 1）下载metricbeat，上传服务器并解压； tar -zxvf metricbeat-6.2.2-linux-x86_64.tar.gz cd metricbeat-6.2.2-linux-x86_64 可以看到metricbeat的目录结构如下： fields.yml kibana LICENSE.txt metricbeat metricbeat.reference.yml metricbeat.yml modules.d NOTICE.txt README.md 主要文件功能如下： metricbeat：metricbeat执行的二进制文件； metricbeat.yml：metricbeat的核心配置文件； fields.yml：metricbeat上报日志前，需要先在elasticsearch上建好index模板，从而在日志上报时，elasticsearch能够根据index模板自动创建index；该配置文件用于指定创建index时所需要的字段名及类型； metricbeat.reference.yml：存放metricbeat所有配置样例；实际运行不会使用，仅作为配置参考； 2）修改metricbeat.yml：除了modules外，其余配置包括elasticsearch配置、logstash配置、xpack监控、index模板配置等，与filebeat、heartbeat的配置相同。 metricbeat.modules: - module: system metricsets: - cpu # CPU usage - filesystem # File system usage for each mountpoint - fsstat # File system summary metrics - load # CPU load averages - memory # Memory usage - network # Network IO - process # Per process metrics - process_summary # Process summary - uptime # System Uptime #- core # Per CPU core usage #- diskio # Disk IO #- socket # Sockets and connection info (linux only) enabled: true period: 10s processes: ['.*'] # Configure the metric types that are included by these metricsets. cpu.metrics: ["percentages"] # The other available options are normalized_percentages and ticks. core.metrics: ["percentages"] # The other available option is ticks. 3）启动metricbeat： nohup ./metricbeat -e -c metricbeat.yml > /dev/null 2>&1 & 使用Packetbeat收集网络数据 packetbeat是轻量级的网络包分析工具，用于收集网络包数据； 1）下载packetbeat，上传服务器并解压； tar -zxvf packetbeat-6.2.2-linux-x86_64.tar.gz cd packetbeat-6.2.2-linux-x86_64 可以看到packetbeat的目录结构同其它beat组件目录结构相似： fields.yml kibana LICENSE.txt NOTICE.txt packetbeat packetbeat.reference.yml packetbeat.yml README.md 主要文件功能如下： packetbeat：packetbeat执行的二进制文件； packetbeat.yml：packetbeat的核心配置文件； fields.yml：packetbeat上报日志前，需要先在elasticsearch上建好index模板，从而在日志上报时，elasticsearch能够根据index模板自动创建index；该配置文件用于指定创建index时所需要的字段名及类型； packetbeat.reference.yml：存放packetbeat所有配置样例；实际运行不会使用，仅作为配置参考； 2）修改packetbeat.yml：除了网络协议相关配置外，其余配置包括elasticsearch配置、logstash配置、xpack监控、index模板配置等，与filebeat、heartbeat的配置相同。 # 网卡选择策略，any表示任意一个； packetbeat.interfaces.device: any # Set `enabled: false` or comment out all options to disable flows reporting. packetbeat.flows: # Set network flow timeout. Flow is killed if no packet is received before being # timed out. timeout: 30s # Configure reporting period. If set to -1, only killed flows will be reported period: 10s # 设置监听的协议类型及端口信息，根据实际需要配置； packetbeat.protocols: - type: http # Configure the ports where to listen for HTTP traffic. You can disable # the HTTP protocol by commenting out the list of ports. ports: [8088] 3）启动packetbeat： nohup ./packetbeat -e -c packetbeat.yml > /dev/null 2>&1 & 注：packetbeat需要GLIBC >= 2.7，否则运行报错如下： ./packetbeat: /lib64/tls/libc.so.6: version `GLIBC_2.7' not found (required by ./packetbeat) 参考 beats官方文档Getting Started With Filebeatslf4j-logback 日志以json格式导入ELKGetting Started With HeartbeatGetting started with MetricbeatGetting started with Packetbeat
2018-04-10
优秀的个人博客,低调大师

SpringBoot+Mybatis+MySql学习

介绍一下SpringBoot整合mybatis，数据库选用的是mysql。 首先创建数据库 CREATE DATABASE test; 建表以及插入初始数据(sql是从navicat中导出的) SET NAMES utf8mb4; SET FOREIGN_KEY_CHECKS = 0; -- ---------------------------- -- Table structure for user -- ---------------------------- DROP TABLE IF EXISTS `user`; CREATE TABLE `user` ( `id` int(11) NOT NULL AUTO_INCREMENT, `user_name` varchar(255) NOT NULL, `user_password` varchar(255) DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB AUTO_INCREMENT=13 DEFAULT CHARSET=latin1; -- ---------------------------- -- Records of user -- ---------------------------- BEGIN; INSERT INTO `user` VALUES (1, 'dalaoyang', '13'); INSERT INTO `user` VALUES (2, 'xiaoli', '123'); INSERT INTO `user` VALUES (3, 'xiaoxiongmao', '123'); COMMIT; SET FOREIGN_KEY_CHECKS = 1; 下图为项目目录结构， java--- controller包负责测试整合 dao包作为数据操作层 entity作为数据实体类 resources--- mapper写dao层对应实现的sql mybatis里面是mybatis配置，包含typeAlias等等 sql里面放的是上面写的建表数据及sql image 接下来直接上代码，启动类没有修改，代码如下 package com.dalaoyang; import org.mybatis.spring.annotation.MapperScan; import org.springframework.boot.SpringApplication; import org.springframework.boot.autoconfigure.EnableAutoConfiguration; import org.springframework.boot.autoconfigure.SpringBootApplication; import org.springframework.boot.autoconfigure.jdbc.DataSourceAutoConfiguration; @SpringBootApplication public class SpringbootMybatisApplication { public static void main(String[] args) { SpringApplication.run(SpringbootMybatisApplication.class, args); } } application.properties包含了数据库配置，mybatis配置，代码如下: ##端口号 server.port=8888 ##检查 mybatis 配置是否存在，一般命名为 mybatis-config.xml mybatis.check-config-location =true ##配置文件位置 mybatis.config-location=classpath:mybatis/mybatis-config.xml ## mapper xml 文件地址 mybatis.mapper-locations=classpath*:mapper/*Mapper.xml ##日志级别 logging.level.com.yang.dao=debug ##数据库url spring.datasource.url=jdbc:mysql://localhost:3306/test?characterEncoding=utf8&useSSL=false ##数据库用户名 spring.datasource.username=root ##数据库密码 spring.datasource.password=root ##数据库驱动 spring.datasource.driver-class-name=com.mysql.jdbc.Driver 实体类User package com.dalaoyang.entity; import org.apache.ibatis.type.Alias; /** * @author dalaoyang * @Description * @project springboot_learn * @package com.dalaoyang.entity * @email 397600342@qq.com * @date 2018/4/5 */ @Alias("user") public class User { private int id; private String user_name; private String user_password; public User(String user_name, String user_password) { this.user_name = user_name; this.user_password = user_password; } public User(int id, String user_name, String user_password) { this.id = id; this.user_name = user_name; this.user_password = user_password; } public int getId() { return id; } public void setId(int id) { this.id = id; } public String getUser_name() { return user_name; } public void setUser_name(String user_name) { this.user_name = user_name; } public String getUser_password() { return user_password; } public void setUser_password(String user_password) { this.user_password = user_password; } } dao层代码 package com.dalaoyang.dao; import com.dalaoyang.entity.User; import org.apache.ibatis.annotations.Mapper; import java.util.List; /** * @author dalaoyang * @Description * @project springboot_learn * @package com.dalaoyang.dao * @email 397600342@qq.com * @date 2018/4/5 */ @Mapper public interface UserMapper { User findUserByUsername(String username); void updateUserByUsername(User user); void deleteUserByUsername(String username); void saveUser(User user); List<User> getUserList(); } UserMapper.xml代码 <?xml version="1.0" encoding="UTF-8" ?> <!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd" > <mapper namespace="com.dalaoyang.dao.UserMapper"> <resultMap id="user" type="com.dalaoyang.entity.User"/> <parameterMap id="user" type="com.dalaoyang.entity.User"/> <select id="findUserByUsername" parameterType="String" resultMap="user"> SELECT * FROM user WHERE user_name=#{1} </select> <update id="updateUserByUsername" parameterMap="user"> UPDATE USER SET USER_PASSWORD=#{user_password} WHERE USER_NAME=#{user_name} </update> <delete id="deleteUserByUsername" parameterType="String"> DELETE FROM USER WHERE USER_NAME=#{1} </delete> <!-- 使用alias自定义的parameterType--> <insert id="saveUser" parameterType="user"> INSERT INTO USER (user_password,user_name) VALUES (#{user_password},#{user_name}) </insert> <select id="getUserList" resultMap="user"> SELECT * FROM USER </select> </mapper> mybatis-config.xml <?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE configuration PUBLIC "-//mybatis.org//DTD SQL Map Config 3.0//EN" "http://mybatis.org/dtd/mybatis-3-config.dtd"> <configuration> <typeAliases> <typeAlias alias="Integer" type="java.lang.Integer" /> <typeAlias alias="Long" type="java.lang.Long" /> <typeAlias alias="HashMap" type="java.util.HashMap" /> <typeAlias alias="LinkedHashMap" type="java.util.LinkedHashMap" /> <typeAlias alias="ArrayList" type="java.util.ArrayList" /> <typeAlias alias="LinkedList" type="java.util.LinkedList" /> <typeAlias alias="user" type="com.dalaoyang.entity.User"/> </typeAliases> </configuration> pom文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <groupId>com.dalaoyang</groupId> <artifactId>springboot_mybatis</artifactId> <version>0.0.1-SNAPSHOT</version> <packaging>jar</packaging> <name>springboot_mybatis</name> <description>springboot_mybatis</description> <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>1.5.9.RELEASE</version> <relativePath/> <!-- lookup parent from repository --> </parent> <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding> <java.version>1.8</java.version> </properties> <dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> <dependency> <groupId>org.mybatis.spring.boot</groupId> <artifactId>mybatis-spring-boot-starter</artifactId> <version>1.3.1</version> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-devtools</artifactId> <scope>runtime</scope> </dependency> <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <scope>runtime</scope> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-test</artifactId> <scope>test</scope> </dependency> </dependencies> <build> <plugins> <plugin> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-maven-plugin</artifactId> </plugin> </plugins> </build> </project> UserController package com.dalaoyang.controller; import com.dalaoyang.dao.UserMapper; import com.dalaoyang.entity.User; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.web.bind.annotation.RequestMapping; import org.springframework.web.bind.annotation.RestController; import java.util.List; /** * @author dalaoyang * @Description * @project springboot_learn * @package com.dalaoyang.controller * @email 397600342@qq.com * @date 2018/4/5 */ @RestController public class UserController { @Autowired UserMapper userMapper; //http://localhost:8888/getUser?username=xiaoli2 @RequestMapping("/getUser") public String getUser(String username){ User user =userMapper.findUserByUsername(username); return user!=null ? username+"的密码是："+user.getUser_password():"不存在用户名为"+username+"的用户"; } //http://localhost:8888/updateUser?username=xiaoli2&password=123 @RequestMapping("/updateUser") public String updateUser(String password,String username){ User user = new User(username,password); userMapper.updateUserByUsername(user); return "success!"; } //http://localhost:8888/addUser?username=xiaoli2&password=123 @RequestMapping("/addUser") public String addUser(String username,String password){ User user = new User(username,password); userMapper.saveUser(user); return "success!"; } //http://localhost:8888/addUser?username=xiaoli2 @RequestMapping("/deleteUser") public String deleteUser(String username){ userMapper.deleteUserByUsername(username); return "success!"; } //http://localhost:8888/getUserList @RequestMapping("/getUserList") public List getUserList(String username, String password){ return userMapper.getUserList(); } } 启动项目，访问controller上面对应的注释上的地址即可以测试， 其中包含了简单的增删改查，SpringBoot整合Mybatis就这样完成了。 源码下载 ：大老杨码云 个人网站：https://dalaoyang.cn
2018-04-07
优秀的个人博客,低调大师

SpringBoot学习之集成dubbo

一、摘自官网的一段描述 1.背景 随着互联网的发展，网站应用的规模不断扩大，常规的垂直应用架构已无法应对，分布式服务架构以及流动计算架构势在必行，亟需一个治理系统确保架构有条不紊的演进。 单一应用架构 当网站流量很小时，只需一个应用，将所有功能都部署在一起，以减少部署节点和成本。此时，用于简化增删改查工作量的数据访问框架(ORM)是关键。 垂直应用架构 当访问量逐渐增大，单一应用增加机器带来的加速度越来越小，将应用拆成互不相干的几个应用，以提升效率。此时，用于加速前端页面开发的Web框架(MVC)是关键。 分布式服务架构 当垂直应用越来越多，应用之间交互不可避免，将核心业务抽取出来，作为独立的服务，逐渐形成稳定的服务中心，使前端应用能更快速的响应多变的市场需求。此时，用于提高业务复用及整合的分布式服务框架(RPC)是关键。 流动计算架构 当服务越来越多，容量的评估，小服务资源的浪费等问题逐渐显现，此时需增加一个调度中心基于访问压力实时管理集群容量，提高集群利用率。此时，用于提高机器利用率的资源调度和治理中心(SOA)是关键。 为什么我贴出这段话，它描述了互联网架构的演变，关键要素及dubbo存在的意义，可谓简约而不简单 官网地址，在这里关于dubbo的介绍我就不再这里阐述了，官网有中文的说明而且很详细 2、需求 在大规模服务化之前，应用可能只是通过 RMI 或 Hessian 等工具，简单的暴露和引用远程服务，通过配置服务的URL地址进行调用，通过 F5 等硬件进行负载均衡。 当服务越来越多时，服务 URL 配置管理变得非常困难，F5 硬件负载均衡器的单点压力也越来越大。此时需要一个服务注册中心，动态的注册和发现服务，使服务的位置透明。并通过在消费方获取服务提供方地址列表，实现软负载均衡和 Failover，降低对 F5 硬件负载均衡器的依赖，也能减少部分成本。 当进一步发展，服务间依赖关系变得错踪复杂，甚至分不清哪个应用要在哪个应用之前启动，架构师都不能完整的描述应用的架构关系。这时，需要自动画出应用间的依赖关系图，以帮助架构师理清理关系。 接着，服务的调用量越来越大，服务的容量问题就暴露出来，这个服务需要多少机器支撑？什么时候该加机器？为了解决这些问题，第一步，要将服务现在每天的调用量，响应时间，都统计出来，作为容量规划的参考指标。其次，要可以动态调整权重，在线上，将某台机器的权重一直加大，并在加大的过程中记录响应时间的变化，直到响应时间到达阀值，记录此时的访问量，再以此访问量乘以机器数反推总容量。 以上是 Dubbo 最基本的几个需求。 点评：其实前半段就是描述了注册中心必要性，后半段说明了监控与分析的重要性，恰好dubbo有独特的monitor模块 3、架构 这个图不多说了，描述了一个服务注册与发现的场景 ： 服务容器负责启动，加载，运行服务提供者。 服务提供者在启动时，向注册中心注册自己提供的服务。 服务消费者在启动时，向注册中心订阅自己所需的服务。 注册中心返回服务提供者地址列表给消费者，如果有变更，注册中心将基于长连接推送变更数据给消费者。 服务消费者，从提供者地址列表中，基于软负载均衡算法，选一台提供者进行调用，如果调用失败，再选另一台调用。 服务消费者和提供者，在内存中累计调用次数和调用时间，定时每分钟发送一次统计数据到监控中心。 二、使用spring-boot快速搭建dubbo 1.项目结构图 2. 编写service-api层代码 IStudentService: package com.hzgj.lyrk.dubbo.api; import com.hzgj.lyrk.dubbo.dto.StudentDTO; public interface IStudentService { StudentDTO getStudentById(Integer id); } View Code StudentDTO:注意必须实现serializable接口 package com.hzgj.lyrk.dubbo.dto; import lombok.Data; import java.io.Serializable; @Data public class StudentDTO implements Serializable { private Integer id; private String name; } View Code 3.编写student-server模块 3.1首先添加gradle依赖项： dependencies { // testCompile group: 'junit', name: 'junit', version: '4.12' compile 'com.alibaba.boot:dubbo-spring-boot-starter:0.1.0' // https://mvnrepository.com/artifact/com.101tec/zkclient compile group: 'com.101tec', name: 'zkclient', version: '0.10' compile project(":service-api") } View Code 3.2 StudentServer: package com.hzgj.lyrk.dubbo.student.server; import com.alibaba.dubbo.config.annotation.Service; import com.hzgj.lyrk.dubbo.api.IStudentService; import com.hzgj.lyrk.dubbo.dto.StudentDTO; @Service public class StudentService implements IStudentService { @Override public StudentDTO getStudentById(Integer id) { StudentDTO studentDTO = new StudentDTO(); studentDTO.setId(id); studentDTO.setName("学号为" + id + "的学生"); return studentDTO; } } View Code 注意此处@Service要用 com.alibaba.dubbo.config.annotation.Service 3.3 编写启动类： package com.hzgj.lyrk.dubbo.student; import org.springframework.boot.SpringApplication; import org.springframework.boot.autoconfigure.SpringBootApplication; @SpringBootApplication public class StudentApplication { public static void main(String[] args) { SpringApplication.run(StudentApplication.class, args); } } View Code 3.4 application.yml文件 server: port: 8100 spring: application: name: student-server dubbo: application: name: student-server id: student-server version: 1.0 scan: base-packages: com.hzgj.lyrk.dubbo.student.server registry: address: zookeeper://localhost:2181 View Code 在这里面我们注意以下几点： 1）首先定义spring.application.name这个不多说了 遵守规范就行 2）dubbo集成的配置时通常以dubbo.xxxx打头 3）dubbo.scan.base-packages:主要是扫描dubbo的注解包 4）dubbo.registry.address:是指定注册中心的地址，这里我们使用zookeeper作为注册中心 3.5 启动成功时,我们通过zkCli能够发现在zookeeper存在如下节点： 这里面的结构为：/dubbo/接口的类全名/节点 4、编写消费端：project-portal 4.1 添加gradle依赖： dependencies { compile 'com.alibaba.boot:dubbo-spring-boot-starter:0.1.0' // https://mvnrepository.com/artifact/com.101tec/zkclient compile group: 'com.101tec', name: 'zkclient', version: '0.10' compile project(":service-api") } View Code 4.2 编写controller package com.hzgj.lyrk.dubbo.portal.controller; import com.alibaba.dubbo.config.annotation.Reference; import com.hzgj.lyrk.dubbo.api.IStudentService; import com.hzgj.lyrk.dubbo.dto.StudentDTO; import org.springframework.web.bind.annotation.GetMapping; import org.springframework.web.bind.annotation.PathVariable; import org.springframework.web.bind.annotation.RestController; @RestController public class StudentController { @Reference private IStudentService studentService; @GetMapping("/student/id/{stuId}") public StudentDTO getStudent(@PathVariable Integer stuId) { return studentService.getStudentById(stuId); } } View Code 注意:@Reference注解的使用 4.3 编写启动类 package com.hzgj.lyrk.dubbo.portal; import org.springframework.boot.SpringApplication; import org.springframework.boot.autoconfigure.SpringBootApplication; @SpringBootApplication public class PortalApplication { public static void main(String[] args) { SpringApplication.run(PortalApplication.class, args); } } View Code 4.4 编写application.yml spring: application: name: project-portal server: port: 8101 dubbo: registry: address: zookeeper://localhost:2181 application: version: 1.0 id: project-portal name: project-portal View Code 测试一下： 三 、后话- Dubbo与SpringCloud 其实，这两者都是当下微服务典型的技术解决方案，可谓一时瑜亮，只不过在国内dubbo比较流行一些，原因其实很简单: 1. dubbo官方文档详细且有中文，而且运行原理技术解决方案描述比较透彻 2.国内的架构师有许多来自于阿里，对dubbo的推广起到了不可磨灭的作用 3.由于dubbo出现的较早，当然也开源。对于当时可谓轰动一时，各大公司争先使用，即使到现在谁也不愿意将原先的项目大刀阔斧的用新技术重构。 相反，在国外的社区，dubbo的使用广度恐怕就远不及SpringCloud了。原因其实也很明了：就公司而言，dubbo出自于阿里，属于商业公司。我觉得阿里的框架肯定优先满足于自己的业务与利益。而springcloud出自于Spring的产品族，而其公司本身就是为了简化企业的开发模式，为各大企业所服务。因此他们的本身出发点就不同，我觉得这个才是必要因素。 但是有几点我在这里重点提一下： 1. 就完成的功能而言：dubbo其实是SpringCloud组件中的一部分，也就相当于netflix中的eureka+小半个Hystrix+ribbon+feign。但是SpringCloud集成的诸如：链路跟踪，分布式配置，网关路由等，目前dubbo里还没有找到，也有可能我没有发现。因此在dubbo里需要使用这些功能，我们还要借助于第三方的实现。 2. dubbo是基于rpc实现远程调用，springcloud各个服务之间调用还是经过http，就性能而言是要弱于dubbo的，毕竟dubbo是经过阿里庞大的业务产品族和并发量考验的，不过这并不代表springcloud性能会很差 3. 常用的dubbo的技术使用方案还是基于spring，因此，我还是愿意把幕后英雄归功于spring 4. spring-cloud就相当于电脑的品牌机，拿来很方便的使用，因此它绝对是中小型公司(没有过多的精力和成本去搞基础研发)福音。而dubbo就好比是组装机，我们通过其已有的实现，完整的文档装配成我们自己想要的一套微服务方案。
2018-03-23
优秀的个人博客,低调大师

python核心学习笔记

import 导入模块 1.import导入模块 import 导入模块（搜索路径） import sys sys.path 从列出的目录里依次查找要导入的模块文件 程序导入路径 因为sys.path返回的是一个列表，那么就可以用sys.path.append("需要导入的模块路径")，相对路径不用/，绝对路径/开头 重新导入模块 模块被导入后，如果某一方更新了这个模块，但是import module不能重新导入模块，重新导入需用from imp import *,然后再使用reload(test)即可重新导入 2.循环导入 循环导入就是程序在导入某个模块的过程中，该模块里的函数又需要导入自身的这个模块，如此进入死循环， 避免循环导入：所有在开发的过程中，开发者们写的模块不能相互调用，即应该相互隔开，然后由架构师来负责整体的模块调用使用，也就是上下设计分层，降低耦合 3.在一般情况下，如果仅仅是用作模块引入，不必写if __name__ =="__main__": ==和is 1.＝＝和is is 是比较两个引用是否指向了同一个对象（引用比较）。a is b :返回False == 是比较两个对象是否相等 a ==b:返回True 总结：判断两者内容用＝＝，判断两者是否指向同一个用is，如果是数字则在一个负数到正的一百二十多，==和is都为True，过了这个范围两者就不指向一个对象了 浅拷贝和深拷贝 1.浅拷贝和深拷贝 浅拷贝是对于一个对象的顶层拷贝，通俗的理解是：拷贝了引用，并没有拷贝内容 相当于把变量里面指向的一个地址给了另一个变量就是浅拷贝，而没有创建一个新的对象，如a=b 深拷贝首先要import copy，然后c = copy.deepcopy(a)，就表示把a的内容深拷贝到c中，如果发现了a中也存在引用的内容，则递归拷贝，也就是把当前的这个引用的对象继续深拷贝 copy和deepcopy的区别 copy:浅拷贝，里面如果有可变类型，修改这个可变类型（如list），被拷贝的对象也会相应改变，仅仅拷第一层，如果是不可变类型，就一层都不拷，如果是可变类型就拷一层 deepcopy:深拷贝，里面不管是可变类型和不可变类型，被拷贝的对象都不会受到影响，递归拷贝 copy和deepcopy拷贝元组的特点 使用copy模块的copy功能的时候，它会根据当前拷贝的数据类型是可变类型还是不可变类型有不同的处理方式，如元组是不可变类型，拷贝多份没有用，对copy来说，如果是可变类型就拷一层，如果是不可变类型，就一层都不拷 进制丶位运算 1.进制间的转换 bin(10) #10进制转为2进制 int("1001",2) #2进制转为10进制 hex(10) #10进制转为16进制 int('ff',16) #16进制转为10进制 bin(0xa) #16进制转为2进制 oct(8) #10进制转为8进制 hex(0b1001) #2进制转为16进制，0b表示二进制 2.位运算的介绍 & 按位与 | 按位或 ^ 按位异或 ~ 按位取反 << 按位左移 >> 按位右移 用途：直接操作二进制，省内存，效率高 私有化 1.私有化 xx: 公有变量 _x: 单前置下划线,私有化属性或方法，from somemodule import *禁止导入,类对象和子类可以访问 __xx：双前置下划线,避免与子类中的属性命名冲突，无法在外部直接访问(名字重整所以访问不到) __xx__:双前后下划线,用户名字空间的魔法对象或属性。例如:__init__ , __ 不要自己发明这样的名字 xx_:单后置下划线,用于避免与Python关键词的冲突 总结： 父类中属性名为__名字的，子类不继承，子类不能访问 如果在子类中向__名字赋值，那么会在子类中定义的一个与父类相同名字的属性 _名的变量、函数、类在使用from xxx import *时都不会被导入 属性property 1.属性property-1 私有属性添加getter和setter方法 使用property升级getter和setter方法 #num = property(getNum,setNum) #将方法转换为只读#注意点:#1.Num到底是调用getNum()还是setNum(),要根据实际的场景来判断,值得注意的是一定要先填getNum后setNum#2.如果是给t.num赋值，那么一定调用setNum() #3.如果是获取t.num的值，那么就一定调用getNum() #property的作用:相当于把方法进行了封装，开发者在对属性设置数据的时候更方便 2.属性property-2 第二种的property的方法 @property #修饰器 def num(self): print("------getter-----") return self.__num @num.setter #修饰器 def num(self,new_num): print("------setter------") self.__num = new_num t.num = 20 print(t.num) 迭代器 1.迭代器 迭代是访问集合元素的一种方式。迭代器是一个可以记住遍历的位置的对象。迭代器对象从集合的第一个元素开始访问，直到所有的元素被访问完结束。迭代器只能往前不会后退。 2.可迭代对象 可以直接用for 循环遍历的数据类型有以下几种： 一类是集合数据类型，如 list 、 tuple 、 dict 、 set 、 str 等； 一类是 generator（列表生成式，生成器） ，包括生成器和带 yield 的generator function。 这些可以直接作用于 for 循环的对象统称为可迭代对象： Iterable 。 3.判断是否可以迭代 可以使用 isinstance() 判断一个对象是否是 Iterable 对象： from collections import Iterable isinstance([ ], Iterable)，如果可以迭代就返回True 而生成器不但可以作用于 for 循环，还可以被 next() 函数不断调用并返回下一个值，直到最后抛出 StopIteration 错误表示无法继续返回下一个值了。 4.迭代器可以被next()函数调用并不断返回下一个值的对象称为迭代器：Iterator。 可以使用 isinstance() 判断一个对象是否是 Iterator 对象： 生成器（i for i in range(10））一定是迭代器，但迭代器不一定是生成器 from collections import Iterator isinstance((x for x in range(10)), Iterator)，如果是的话就返回True 5.iter( )函数 生成器都是 Iterator（迭代器）对象，但 list 、 dict 、 str 虽然是 Iterable （可迭代），却不是 Iterator （迭代器） 把 list 、 dict 、 str 等 Iterable（可迭代） 变成 Iterator（迭代器） 可以使用 iter() 函数，就好比人可以游泳，但不是天生就会，可迭代对象就好比人，迭代器就好比会游泳的人，需要经过iter( )训练一样 isinstance(iter([ ]), Iterator) True 闭包 1.函数的引用 test1() #调用函数 ret = test #引用函数 ret() #通过引用调用函数 2.什么是闭包 在函数内部再定义一个函数，并且这个函数用到了外边函数的变量，那么将这个函数以及用到的一些变量称之为闭包 def test(number): print("-----1-----") def test_in(number2): print("----2-----") print(number+number2) print("------3------") #把函数的引用返回了 return test_in#用来接收test(100)，指向类一个函数体,这个100传给了numberret = test(100)#这个1传给了number2ret(1) 这个返回101 ret(100) 这个返回200 ret(200) 这个返回300 3.闭包再理解 内部函数对外部函数作用域里变量的引用（非全局变量），则称内部函数为闭包 闭包的实际例子： def line_conf(a, b): def line(x): return a*x + b return lineline1 = line_conf(1, 1)line2 = line_conf(4, 5)print(line1(5)) print(line2(5)) 这个例子中，函数line与变量a,b构成闭包。在创建闭包的时候，我们通过line_conf的参数a,b说明了这两个变量的取值，这样，我们就确定了函数的最终形式(y = x + 1和y = 4x + 5)。我们只需要变换参数a,b，就可以获得不同的直线表达函数。由此，我们可以看到，闭包也具有提高代码可复用性的作用 装饰器 1.装饰器 装饰器是程序开发中经常会用到的一个功能，用好了装饰器，开发效率如虎添翼，所以这也是Python面试中必问的问题，但对于好多初次接触这个知识的人来讲，这个功能有点绕，自学时直接绕过去了，然后面试问到了就挂了，因为装饰器是程序开发的基础知识，这个都不会，别跟人家说你会Python, 看了下面的文章，保证你学会装饰器。 在有两个重名的函数中，Python解释器会调用最后定义的那重名函数，因为在python里，第一个函数指向的是一片内存，然后又让这个函数指向另一片内存，就会利用第二片内存来执行，所有函数名应尽量避免相同 写代码要遵循开放封闭原则，虽然在这个原则是用的面向对象开发，但是也适用于函数式编程，简单来说，它规定已经实现的功能代码不允许被修改，但可以被扩展，即： 封闭：已实现的功能代码块 开放：对扩展开发 实例：def w1(func): def inner(): # 验证1 # 验证2 # 验证3 func() return inner @w1 #装饰器 def f1(): print('f1') @w1 #装饰器 def f2(): print('f2') ........ 对于上述代码，也是仅仅对基础平台的代码进行修改，就可以实现在其他人调用函数 f1 f2 f3 f4 之前都进行【验证】操作，并且其他业务部门无需做任何操作 装饰器的功能： 引入日志 函数执行时间统计 执行函数前预备处理 执行函数后清理功能 权限校验等场景 缓存 如果是有多个装饰器的情况，一般是先装饰最下面的一个，然后依次往上，@w1类比于f1 = w1(f1) 装饰有参数的函数： 在传递参数的时候，需要在闭包里面定义一个形参，闭包里面的调用的函数也要定义一个形参，否则会导致两部分函数调用失败 装饰不定长的参数的函数：在传递参数的时候，需要在闭包里面定义一个*args和**kwargs，闭包里面的调用的函数也要定义一个*args和**kwargs，这样就可以在调用的时候传递任意长度的参数，增加代码的可复用性 装饰带返回值的函数：需要在闭包里面进行一个接收，也就是ret = test()，然后再把接收到的return ret出去，这样在装饰的test才能返回出当前需要返回的东西，否则只会返回None 通用的装饰器： 例：def w1(func):print("-----正在装饰-----") def inner(*args,**kwargs): print("---正在验证权限---") print("----记录日志----") ret = func(*args,**kwargs) #保存返回来的haha return ret #把haha返回到17行的调用 return inner 带有参数的装饰器： 也就是在原来包含一个闭包的函数外面再给他套一个函数，用来传递装饰器的参数 如： def func_arg(arg): def w1(func): print("---记录日志---") def inner(*args,**kwargs): func(*args,**kwargs) #保存返回来的haha return inner return w1 @func_arg("heihei")def f1(): print("----f1----") #1.先执行func_arg("heihei")函数，这个函数return的结果是#2.@w1#3.使用@w1对f1进行装饰作用：带有参数的装饰器，能够起到在运行时，有不同的功能 作用域 1.作用域 什么是命名空间：变量命名的范围（变量起作用的范围） LEGB规则：Python 使用 LEGB 的顺序来查找一个符号对应的对象，即locals -> enclosing function -> globals -> builtins locals，当前所在命名空间（如函数、模块），函数的参数也属于命名空间内的变量 enclosing，外部嵌套函数的命名空间（闭包中常见） globals，全局变量，函数定义所在模块的命名空间 builtins，内建模块的命名空间 在Python中，有一个内建模块，该模块中有一些常用函数;在Python启动后，且没有执行程序员所写的任何代码前，Python会首先加载该内建函数到内存。另外，该内建模块中的功能可以直接使用，不用在其前添加内建模块前缀，其原因是对函数、变量、类等标识符的查找是按LEGB法则，其中B即代表内建模块 比如：内建模块中有一个abs()函数，其功能求绝对值，如abs(-20)将返回20 python是动态语言 1.python是动态语言 动态编程语言 是 高级程序设计语言 的一个类别，在计算机科学领域已被广泛应用。它是一类 在运行时可以改变其结构的语言 ：例如新的函数、对象、甚至代码可以被引进，已有的函数可以被删除或是其他结构上的变化。动态语言目前非常具有活力。例如JavaScript便是一个动态语言，除此之外如 PHP 、 Ruby 、 Python 等也都属于动态语言，而 C 、 C++ 等语言则不属于动态语言，这种动态语言的应用就好比是在没有更新app的情况下，它的界面在后台也可以被开发者更改，因为它是动态的，可以把新增的动态程序放置在文本，只要加载一遍即可 运行的过程中给对象绑定(添加)属性：也就是说给对象绑定一个实例属性（这个属性是初始化之外的额外属性），只有这个创建对象的属性如laozhao.addr = "北京" 运行的过程中给类绑定(添加)属性：如果需要所有的一个类的实例加上一个属性怎么办呢？ 答案就是直接给这个类绑定属性，如Person.sex = "male" 运行的过程中给类绑定(添加)方法:如果是对这个类绑定一个实例方法，那么就要先import types，然后如 对象.方法名 = types.MethodType(函数名, 对象)，把run这个方法绑定到P对象上。如果是静态方法和类方法，就直接用 类名.方法名＝函数名 运行的过程中删除属性、方法： del 对象.属性名 delattr(对象, "属性名") __slots__的作用 1.__slots__的作用 动态语言：可以在运行的过程中，修改代码 静态语言：编译时已经确定好代码，运行过程中不能修改 为了达到限制的目的，Python允许在定义class的时候，定义一个特殊的__slots__变量，来限制该class实例能添加的属性，如__slots__ = ("name","age")，就可以达到限制name和age的属性，如果发现有添加其他属性的程序就会发生异常 使用__slots__要注意，__slots__定义的属性仅对当前类实例起作用，对继承的子类是不起作用的 生成器 1.生成器 什么是生成器： 通过列表生成式，我们可以直接创建一个列表。但是，受到内存限制，列表容量肯定是有限的。而且，创建一个包含100万个元素的列表，不仅占用很大的存储空间，如果我们仅仅需要访问前面几个元素，那后面绝大多数元素占用的空间都白白浪费了 创建生成器方法1： 要创建一个生成器，有很多种方法。第一种方法很简单，只要把一个列表生成式的 [ ] 改成 ( ) 如 L = [ x*2 for x in range(5)]和G = ( x*2 for x in range(5))，L 是一个列表，而 G 是一个生成器，可以通过 next(G) 函数获得生成器的下一个返回值，不断调用 next() 实在是太变态了，正确的方法是使用 for 循环，因为生成器也是可迭代对象 创建生成器方法2: fib函数变成generator，只需要把print(b)改为yield b就可以了,循环过程中不断调用 yield ，就会不断中断。当然要给循环设置一个条件来退出循环，不然就会产生一个无限数列出来，当循环到没有元素的时候，将会生成异常，这时候就要用try和exception来检测异常，#print自动检测异常并停止,但是next()就要用try ，在创建生成器的时候需要接收函数的返回值#1.next(返回函数名)和 #2.返回函数名.__next__()是一样的方法来获取下一个返回值 总结：生成器是这样一个函数，它记住上一次返回时在函数体中的位置。对生成器函数的第二次（或第 n 次）调用跳转至该函数中间，而上次调用的所有局部变量都保持不变，生成器不仅“记住”了它数据状态；生成器还“记住”了它在流控制构造（在命令式编程中，这种构造不只是数据值）中的位置 生成器的特点： 节约内存 迭代到下一次的调用时，所使用的参数都是第一次所保留下的，即是说，在整个所有函数调用的参数都是第一次所调用时保留的，而不是新创建的 send用法： 如果在在程序中有个变量等于yield，不是说把yield的值给了这个变量，而是接下来在下一次调用执行一次的时候可以传一个值，t.send("haha")和t.__next__()都可以让生成器继续执行，不同的是send可以传递一个值 但是不能在程序刚开始执行就用send传值，有两种方法，要么先用__next__调用一次，再send一个值，或者t.send(None) 生成器.完成多任务： 控制多个任务执行的情况 类装饰器（扩展，非重点） 1.类装饰器（扩展，非重点） 装饰器函数其实是这样一个接口约束，它必须接受一个callable对象作为参数，然后返回一个callable对象。在Python中一般callable对象都是函数，但也有例外。只要某个对象重写了 __call__() 方法，那么这个对象就是callable的 class Test(object): def __init__(self, func): print("---初始化---") print("func name is %s"%func.__name__) self.__func = func def __call__(self): print("---装饰器中的功能---") self.__func() #说明：#1. 当用Test来装作装饰器对test函数进行装饰的时候，首先会创建Test的实例对象# 并且会把test这个函数名当做参数传递到__init__方法中# 即在__init__方法中的func变量指向了test函数体##2. test函数相当于指向了用Test创建出来的实例对象##3. 当在使用test()进行调用时，就相当于让这个对象()，因此会调用这个对象的__call__方法##4. 为了能够在__call__方法中调用原来test指向的函数体，所以在__init__方法中就需要一个实例属性来保存这个函数体的引用# 所以才有了self.__func = func这句代码，从而在调用__call__方法中能够调用到test之前的函数体@Testdef test(): print("----test---")test() showpy()#如果把这句话注释，重新运行程序，依然会看到"--初始化--" 元类 1.元类 类也是对象： 在大多数编程语言中，类就是一组用来描述如何生成一个对象的代码段，类同样也是一种对象 动态的创建类： 因为类也是对象，你可以在运行时动态的创建它们，就像其他任何对象一样def choose_class(name): if name == 'foo': class Foo(object): pass return Foo # 返回的是类，不是类的实例 else: class Bar(object): pass return Bar MyClass = choose_class('foo') 当你使用class关键字时，Python解释器自动创建这个对象 2.使用type创建类: type还有一种完全不同的功能，动态的创建类,type可以像这样工作： type(类名, 由父类名称组成的元组（针对继承的情况，可以为空），包含属性的字典（名称和值）) 如：Test2 = type("Test2",(),{}) #定了一个Test2类 3. 使用type创建带有属性的类： Foo = type('Foo', (), {'bar':True}) 4.使用type创建带有方法的类： FooChild = type('FooChild', (Foo,), {'echo_bar': echo_bar}) ，这是添加实例方法echo_bar Foochild = type('Foochild', (Foo,), {"echo_bar":echo_bar, "testStatic":testStatic})，添加静态方法 Foochild = type('Foochild', (Foo,), {"echo_bar":echo_bar, "testStatic":testStatic, "testClass":testClass})，添加类方法 5.到底什么是元类： 元类就是用来创建类的“东西，元类就是用来创建这些类（对象）的，元类就是类的类，元类又由元类创建，Python中所有的东西，注意，我是指所有的东西——都是对象。这包括整数、字符串、函数以及类 __metaclass__属性： class Foo(object): __metaclass__ = something… 如果你这么做了，Python就会用元类来创建类Foo。小心点，这里面有些技巧。你首先写下class Foo(object)，但是类Foo还没有在内存中创建。Python会在类的定义中寻找__metaclass__属性，如果找到了，Python就会用它来创建类Foo，如果没有找到，就会用内建的type来创建这个类 GC垃圾回收 1.GC垃圾回收 小整数对象池：Python为了优化速度，使用了小整数对象池， 避免为整数频繁申请和销毁内存空间。 Python 对小整数的定义是 [-5, 257) 这些整数对象是提前建立好的，不会被垃圾回收 大整数对象池：每一个大整数，均创建一个新的对象 intern机制：假如要创建n个对象的是一样的字符串，那么python只会创建一个内存空间来存储，其他对象都是引用，但如果字符串中出现空格或其他符号就表示为不同的对象 GC(Garbage collection)垃圾回收： python里也同java一样采用了垃圾收集机制，不过不一样的是: python采用的是引用计数机制为主，标记-清除和分代收集两种机制为辅的策略 2.引用计数机制的优点： 简单 实时性：一旦没有引用，内存就直接释放了。不用像其他机制等到特定时机。实时性还带来一个好处：处理回收内存的时间分摊到了平时 3. 引用计数机制的缺点： 维护引用计数消耗资源 循环引用 4.GC系统所承担的工作远比"垃圾回收"多得多。实际上，它们负责三个重要任务: 为新生成的对象分配内存 识别那些垃圾对象，并且 从垃圾对象那回收内存 5.垃圾回收机制：Python中的垃圾回收是以引用计数为主，分代收集为辅 导致引用计数+1的情况： 对象被创建，例如a=23 对象被引用，例如b=a 对象被作为参数，传入到一个函数中，例如func(a) 对象作为一个元素，存储在容器中，例如list1=[a,a] 6.导致引用计数-1的情况： 对象的别名被显式销毁，例如del a 对象的别名被赋予新的对象，例如a=24 一个对象离开它的作用域，例如f函数执行完毕时，func函数中的局部变量（全局变量不会） 对象所在的容器被销毁，或从容器中删除对象 7. 查看一个对象的引用计数： import sys a = "hello world" sys.getrefcount(a) 可以查看a对象的引用计数，但是比正常计数大1，因为调用函数的时候传入a，这会让a的引用计数+1 有三种情况会触发垃圾回收: 调用gc.collect(), 当gc模块的计数器达到阀值的时候。 程序退出的时候 8.gc模块的自动垃圾回收机制： 必须要import gc模块，并且is_enable()=True才会启动自动垃圾回收。 这个机制的主要作用就是发现并处理不可达的垃圾对象。 垃圾回收=垃圾检查+垃圾回收 在Python中，采用分代收集的方法。把对象分为三代，一开始，对象在创建的时候，放在一代中，如果在一次一代的垃圾检查中，该对象存活下来，就会被放到二代中，同理在一次二代的垃圾检查中，该对象存活下来，就会被放到三代中。 gc模块里面会有一个长度为3的列表的计数器，可以通过gc.get_count()获取，gc.set_threshold(threshold0[, threshold1[, threshold2]) 设置自动执行垃圾回收的频率，例如(700,10,10) 每一次计数器的增加，gc模块就会检查增加后的计数是否达到阀值的数目，700表示阈值，10表示没清理10次零代就清理一次二代，第二个10表示每清理10次一代链表就清理二代一次 注意点：gc模块唯一处理不了的是循环引用的类都有__del__方法，所以项目中要避免定义__del__方法 内建属性和函数 1.内建属性 常用专有属性 说明 触发方式__init__ 构造初始化函数 创建实例后,赋值时使用,在__new__后__new__ 生成实例所需属性 创建实例时__class__ 实例所在的类 实例.__class____str__ 实例字符串表示,可读性 print(类实例),如没实现，使用repr结果__repr__ 实例字符串表示,准确性 类实例 回车 或者 print(repr(类实例))__del__ 析构 del删除实例__dict__ 实例自定义属性 vars(实例.__dict__)__doc__ 类文档,子类不继承 help(类或实例)__getattribute__ 属性访问拦截器 访问实例属性时 __bases__ 类的所有父类构成元素 类名.__bases__ def __getattribute__(self,obj): if obj == 'subject1': print('log subject1') return 'redirect python' else: #测试时注释掉这2行，将找不到subject2 return object.__getattribute__(self,obj) __getattribute__的作用可以用来打印Log日志 __getattribute__的坑 class Person(object): def __getattribute__(self,obj): print("---test---") if obj.startswith("a"): return "hahha" else: return self.test def test(self): print("heihei") t.Person() t.a #返回hahha t.b #会让程序死掉 #原因是：当t.b执行时，会调用Person类中定义的__getattribute__方法，但是在这个方法的执行过程中 #if条件不满足，所以 程序执行else里面的代码，即return self.test 问题就在这，因为return 需要把 #self.test的值返回，那么首先要获取self.test的值，因为self此时就是t这个对象，所以self.test就是 #t.test 此时要获取t这个对象的test属性，那么就会跳转到__getattribute__方法去执行，即此时产 #生了递归调用，由于这个递归过程中 没有判断什么时候推出，所以这个程序会永无休止的运行下去，又因为 #每次调用函数，就需要保存一些数据，那么随着调用的次数越来越多，最终内存吃光，所以程序 崩溃 # # 注意：以后不要在__getattribute__方法中调用self.xxxx 2.内建函数 range(start, stop[, step]) -> list of integers start:计数从start开始。默认是从0开始。例如range（5）等价于range（0， 5）; stop:到stop结束，但不包括stop.例如：range（0， 5） 是[0, 1, 2, 3, 4]没有5 step:每次跳跃的间距，默认为1。例如：range（0， 5） 等价于 range(0, 5, 1) map函数 map函数会根据提供的函数对指定序列做映射 map(...) map(function, sequence[, sequence, ...]) -> list function:是一个函数 sequence:是一个或多个序列,取决于function需要几个参数 返回值是一个list filter函数 filter函数会对指定序列执行过滤操作 filter(...) filter(function or None, sequence) -> list, tuple, or string function:接受一个参数，返回布尔值True或False sequence:序列可以是str，tuple，list filter函数会对序列参数sequence中的每个元素调用function函数，最后返回的结果包含调用结果为True的元素。 reduce函数 reduce函数，reduce函数会对参数序列中元素进行累积 reduce(...) reduce(function, sequence[, initial]) -> value function:该函数有两个参数 sequence:序列可以是str，tuple，list initial:固定初始值 reduce依次从sequence中取一个元素，和上一次调用function的结果做参数再次调用function。 第一次调用function时，如果提供initial参数，会以sequence中的第一个元素和initial 作为参数调用function，否则会以序列sequence中的前两个元素做参数调用function。 注意function函数不能为None sorted函数 sorted(...) sorted(iterable, cmp=None, key=None, reverse=False) --> new sorted list 调试 1.调试 pdb是基于命令行的调试工具，非常类似gnu的gdb（调试c/c++） 执行时调试 程序启动，停止在第一行等待单步调试 python -m pdb xxx.py， n(next)执行下一步,l(list)显示当前执行进度，c(continue)继续执行代码，b(break)添加断点，q(quit)中止并退出，clear num删除指定断点，p(print)打印变量的值，a(args)打印所有的形参数据,s(step)进入到一个函数,r执行代码直到从当前函数返回
2018-03-18
优秀的个人博客,低调大师

elastic stack学习--logstash配置

logstash组件 logstash中一条pipeline由输入、过滤、输出3个部分组成，数据经由inputs -> filters -> outputs进行流转，每个pipeline中可以包含一个或者多个inputs、filters、outputs，用户可根据需求在配置文件中定义。logstash对于3个部分提供了丰富的内置组件用于支撑数据的转换和处理。 inputs组件 input组件负责接收数据源的数据，生成event事件；一些常见的组件如下： stdin：读取操作系统标准输入流中的数据； file：读取文件系统的文件，类似于UNIX的命令tail -0F； syslog：监听操作系统514端口，接收系统日志，并根据RFC3164格式进行解析； redis：从redis中读取数据；redis经常用作logstash的消息队列，用于暂存event事件； beats：接收并处理Filebeat等beat组件发来的事件； 更多组件请参看官方文档Input Plugins filters组件 filter组件用于对流经管道的数据进行过滤、转换等操作，使得数据符合输出需求。常见组件如下： grok：用于解析和构建任意文本数据。grok是logstash用于解析非结构化日志数据的最好方式，包含120中pattern，能够满足大部分需求； mutate：执行event中通用的字段处理，包括：对字段的重命名、删除、替换、修改等操作； drop：删除event； clone：拷贝event，可以增减字段； geoip：根据event中的IP地址字段解析地理位置信息字段，添加到event中； 更多组件请参看官方文档Filter Plugins outputs组件 output组件用于将管道中的数据输出到下一环节；常见组件包括： stdout：操作系统标准输出流； elasticsearch：将所有event发送到elasticsearch； file：将event写入文件； graphite：发送event给graphite，graphite是一个开源的用于数据存储和绘图的组件； statsd：发送event给statsd； 更多组件请参看官方文档Output Plugins codecs组件 codecs组件主要用作inputs和outputs中数据的编解码使用，能够使数据的序列化操作对于数据传输透明，常见的组件包括： json：json格式编解码器； msgpack：msgpack格式编解码器； plain：文本格式编解码器； multiline：将多行文本event合并成一个event，比如将java中的异常跟踪日志合并成一条消息； 更多组件请参看官方文档Codec Plugins logstash执行模型 每个input组件都运行在其自己的线程中，将解析的event写入到一个中心队列中，队列的数据默认存放到内存中，也可以配置存放到硬盘中；一个pipeline包含多个工作线程，每个工作线程会从中心队列中获取一批event，按filter的配置顺序执行每个filter环节，然后再执行每个output。工作线程获取一批数据的数量以及工作线程数可配置。 logstash目录结构 home：logstash安装包解压后根目录； bin：二进制文件、脚本存放目录；默认：{extract.path}/bin config：配置文件目录，包括：logstash.yml、jvm.options文件；默认：{extract.path}/config，通过path.settings修改； logs：日志文件目录，默认：{extract.path}/logs，通过path.logs修改； plugins：存放插件，每个插件一个子目录；默认：{extract.path}/plugins，通过path.plugins修改； data：存放数据文件；默认：{extract.path}/data，通过path.data修改； logstash配置文件 logstash包含2种配置文件： 基本配置文件：用于配置logstash启动及运行参数；包括：logstash.yml、jvm.options、startup.options（linux使用）。 pipeline配置文件：用于配置pipeline数据处理流程； logstash.yml常用配置项 logstash.yml存放logstash的基本配置参数，包括数据文件路径、日志级别等。logstash.yml中的配置项也可以通过启动logstash时，通过指定命令行参数进行覆盖。 logstash.yml配置项支持环境变量作为参数值； node.name：用于标识一个logstash实例；默认：所在机器的hostname； path.data：存放logstash以及组件的持久化数据；默认：LOGSTASH_HOME/data； pipeline.id：pipeline的标识，类似于kafka中的topic，用于区分不同的pipeline；当多个logstash使用相同的pipeline.id时，相当于将数据汇总到同一个pipeline中，此时多个logstash可以视作一个通过pipeline.id关联的集群；默认：main； pipeline.workers：pipeline的工作线程数，用于执行filter和output阶段使用；默认：所在机器CPU核数； pipeline.batch.size：工作线程一次获取的event数量；设置较大的batchSize能够提升处理性能，但是可能消耗较大的内存；可以调整$LS_HEAP_SIZE环境变量来设置堆内存大小；默认：125； pipeline.batch.delay：；默认：50ms； pipeline.unsafe_shutdown：logstash在关闭时，默认会等到所有被处理的event都通过output输出后再执行关闭操作；如果设置为true，则允许强制关闭，而不必等待event处理完毕，此时可能会丢失数据；默认：false； path.config：logstash的main pipeline配置文件路径，如果指定通配符，则按照字母顺序读取配置文件； config.string：pipeline的配置字符串，语法同pipeline配置文件内容的语法；默认：不配置； config.test_and_exit：设置为true，则用来检测pipeline配置文件格式是否正确，检测完成后输出结果并退出；默认：false； config.reload.automatic：设置为true，则定期检测pipeline配置文件是否更新，如果有更新则触发SIGHUP信号，重新加载配置文件；默认：false； config.reload.interval：设置pipeline配置文件检测周期，配合config.reload.automatic使用，默认：3s； config.debug：设置为true，则将pipeline配置文件信息打印成debug日志，需同时保证log.level: debug才可生效；包括密码等信息均会被打印到日志中；默认：false； config.support_escapes：设置为true，将n等字符串转义成不可见字符；默认：false； modules：配置模块，格式类似如下，默认：未配置； modules: - name: MODULE_NAME1 var.PLUGIN_TYPE1.PLUGIN_NAME1.KEY1: VALUE var.PLUGIN_TYPE1.PLUGIN_NAME1.KEY2: VALUE var.PLUGIN_TYPE2.PLUGIN_NAME2.KEY1: VALUE var.PLUGIN_TYPE3.PLUGIN_NAME3.KEY1: VALUE - name: MODULE_NAME2 var.PLUGIN_TYPE1.PLUGIN_NAME1.KEY1: VALUE var.PLUGIN_TYPE1.PLUGIN_NAME1.KEY2: VALUE queue.type：缓存event的队列类型，如果设置为memory，则在内存中缓存event，如果设置为persisted，则在硬盘上缓存event；默认：memory； path.queue：当queue.type: persisted时，队列要存放的文件路径，默认：path.data/queue； queue.page_capacity：当queue.type: persisted时，每个文件存放的数据大小，文件中的数据只会追加，默认：64mb； queue.max_events：当queue.type: persisted时，queue中允许存放的最大未读取event数量；默认：0，即不限制； queue.max_bytes：当queue.type: persisted时，指定queue中存放数据的最大大小；默认：1024mb； queue.checkpoint.acks：当queue.type: persisted时，设置最大接收多少个应答event后更新检查点，如果设置为0，则表示不限制；默认：1024； queue.checkpoint.writes：当queue.type: persisted时，设置最大接收多少个写event后更新检查点，如果设置为0，则表示不限制；默认：1024； queue.drain：当queue.type: persisted时，设置为true，则执行关闭操作时，清空queue后再关闭；默认：false； dead_letter_queue.enable：设置是否使用dead_letter_queue；默认：false； dead_letter_queue.max_bytes：设置dead_letter_queue存放的最大数据量，超过数据量，则会删除队列中的节点；默认：1024mb； path.dead_letter_queue：设置dead_letter_queue数据文件存放路径，默认：path.data/dead_letter_queue； http.host：设置rest接口绑定ip地址，默认："127.0.0.1"； http.port：设置rest接口绑定端口，默认：9600； log.level：设置日志级别，取值（fatal/error/warn/info/debug/trace），默认：info； log.format：设置日志格式，取值（json/plain），默认：plain； path.logs：设置日志文件存放目录，默认：LOGSTASH_HOME/logs； path.plugins：设置定制组件存放路径，组件存放的目录结构PATH/logstash/TYPE/NAME.rb，其中type取值（inputs/filters/outputs/codecs），默认：LOGSTASH_HOME/logs/plugins； 命令行运行logstash 运行logstash命令格式如下： bin/logstash [options] 通过-f选项可以指定pipeline配置文件； bin/logstash -f mypipeline.conf 通过命令行配置的参数将会覆盖logstash.yml中相应的参数； 常用命令行参数 --node.name NAME：同logstash.yml的node.name； -f, --path.config CONFIG_PATH：指定logstash的配置文件或者配置文件目录，如果配置为目录，则会按照字母排序，将多个配置文件合成一个；相同的配置项，取最新的配置项覆盖之前的同名配置项； -e, --config.string CONFIG_STRING：同config.string； --modules：指定module的名称，如果涉及多个module，则通过逗号分隔，或者配置多个--modules参数；使用--modules将会忽略logstash.yml中的modules配置； -M, --modules.variable：配合--modules，用于指定module中需要用到的变量，如果未指定，则使用默认值；如果未配置--modules，则忽略该参数； --pipeline.id ID：同logstash.yml的pipeline.id； -w, --pipeline.workers COUNT：同logstash.yml的pipeline.workers； -b, --pipeline.batch.size SIZE：同logstash.yml的pipeline.batch.size； -u, --pipeline.batch.delay DELAY_IN_MS：同logstash.yml的pipeline.batch.delay； --pipeline.unsafe_shutdown：同logstash.yml的pipeline.unsafe_shutdown； --path.data PATH：同logstash.yml的path.data; -p, --path.plugins PATH：同logstash.yml的path.plugins; -l, --path.logs PATH：同logstash.yml的path.logs; --log.level LEVEL：同logstash.yml的log.level; --config.debug：同logstash.yml的config.debug; -i, --interactive SHELL：使用指定shell替换当前shell；可选值：irb/pry； -t, --config.test_and_exit：同logstash.yml的config.test_and_exit; -r, --config.reload.automatic：同logstash.yml的config.reload.automatic; --config.reload.interval RELOAD_INTERVAL：同logstash.yml的config.reload.interval; --http.host HTTP_HOST：同logstash.yml的http.host； --http.port HTTP_PORT：同logstash.yml的http.port； --log.format FORMAT：同logstash.yml的log.format； --path.settings SETTINGS_DIR：指定包含logstash.yml和log4j配置文件的目录；也可以使用$LS_SETTINGS_DIR环境变量配置； -h, --help：打印帮助信息； -V, --version：查看当前logstash的版本； 常用环境变量 $LOGSTASH_HOME：logstash安装根目录； $LS_HEAP_SIZE：logstash堆内存大小设置； $LS_SETTINGS_DIR：指定logstash的logstash.yml和log4j配置文件目录； logstash安装x-pack logstash安装x-pack流程输入下： 1）下载x-pack安装包，如果部署elasticsearch时已经下载，则直接使用即可，下载地址： https://artifacts.elastic.co/downloads/packs/x-pack/x-pack-6.2.2.zip2）执行安装命令： bin/logstash-plugin install file:///path/to/file/x-pack-6.2.2.zip 注：此处的安装包路径一定是绝对路径，直接使用压缩包安装即可，无需解压；格式类似：file://路径 安装成功后，日志类似如下： Installing file: /home/work/x-pack-6.2.2.zip Install successful 3）设置logstash的监控的elasticsearch地址以及用户名和密码，使用内置用户logstash_system即可； xpack.monitoring.elasticsearch.url: "http://elasticsearch_ip:port" xpack.monitoring.elasticsearch.username: "logstash_system" xpack.monitoring.elasticsearch.password: "Huawei@1990" 4）启动logstash，查看kibana上已经出现了被监控的logstash实例； 问题 1）部署了多个logstash，在kibana上却只显示一个实例？ 原因：logstash的唯一性标识是通过启动时候在${LOGSTASH_HOME}/data/uuid文件中创建的uuid来保证的。如果部署的时候使用相同的uuid，比如直接拷贝部署文件的情况，将导致kibana上只有一个实例的情况。解决办法：关闭logstash，删除${LOGSTASH_HOME}/data/uuid文件，重启logstash；参考：Kibana monitoring, logstash only one node 参考 官方文档：Settings File官方文档：Running Logstash from the Command Line官方文档：Setting Up X-Pack
2018-03-15
优秀的个人博客,低调大师

Elastic Stack学习--logstash入门

logstash是基于实时管道的数据收集引擎。它像一根处理数据的管道，收集分散的数据，进行汇总处理后输出给下游进行数据分析和展现。 logstash可以配合Beats组件或者其它第三方组件进行数据收集，数据经过处理后存放到elasticsearch中进行检索和分析。 除了对接beats以外，logstash有着丰富的组件，能够支持各种数据源接入。包括jdbc、kafka、http等。 logstash是基于pipeline方式进行数据处理的，pipeline可以理解为数据处理流程的抽象。在一条pipeline数据经过上游数据源汇总到消息队列中，然后由多个工作线程进行数据的转换处理，最后输出到下游组件。一个logstash中可以包含多个pipeline。 基本概念 pipeline：一条数据处理流程的逻辑抽象，类似于一条管道，数据从一端流入，经过处理后，从另一端流出；一个pipeline包括输入、过滤、输出3个部分，其中输入和输出部分是必选组件，过滤是可选组件； instance：一个logstash实例，可以包含多条数据处理流程，即多个pipeline； inputs：数据输入组件，用于对接各种数据源，接入数据，支持解码器，允许对数据进行编码解码操作；必选组件； filters：数据过滤组件，负责对输入数据进行加工处理；可选组件； outputs：数据输出组件，用于对接下游组件，发送处理后的数据，支持解码器，允许对数据进行编码解码操作；必选组件； event：pipeline中的数据都是基于事件的，一个event可以看作是数据流中的一条数据或者一条消息； 安装logstash 1）依赖java8，且不支持java9：检查java版本并配置JAVA_HOME环境变量。logstash基于jruby开发，logstash 6.x版本要求运行在java8环境，且目前不支持java9;2）下载并解压：下载logstash，解压文件；注意logstash所在路径中不可以包含冒号； tar -zxvf logstash-6.2.2.tar.gz cd logstash-6.2.2 3）启动logstash，发布第一个事件：通过-e指定一个pipeline的处理流程，指定从stdin中读取event，然后在stdout输出； bin/logstash -e 'input { stdin { } } output { stdout {} }' 可以看到类似如下日志： Sending Logstash's logs to /home/work/zion_package/elastic/logstash/logstash-6.2.2/logs which is now configured via log4j2.properties h[2018-03-14T14:48:00,053][INFO ][logstash.modules.scaffold] Initializing module {:module_name=>"fb_apache", :directory=>"/home/work/zion_package/elastic/logstash/logstash-6.2.2/modules/fb_apache/configuration"} [2018-03-14T14:48:00,074][INFO ][logstash.modules.scaffold] Initializing module {:module_name=>"netflow", :directory=>"/home/work/zion_package/elastic/logstash/logstash-6.2.2/modules/netflow/configuration"} [2018-03-14T14:48:00,172][INFO ][logstash.setting.writabledirectory] Creating directory {:setting=>"path.queue", :path=>"/home/work/zion_package/elastic/logstash/logstash-6.2.2/data/queue"} [2018-03-14T14:48:00,178][INFO ][logstash.setting.writabledirectory] Creating directory {:setting=>"path.dead_letter_queue", :path=>"/home/work/zion_package/elastic/logstash/logstash-6.2.2/data/dead_letter_queue"} [2018-03-14T14:48:00,631][WARN ][logstash.config.source.multilocal] Ignoring the 'pipelines.yml' file because modules or command line options are specified [2018-03-14T14:48:00,672][INFO ][logstash.agent ] No persistent UUID file found. Generating new UUID {:uuid=>"5901ab9f-fdc9-43dc-a88d-c5c636cf8224", :path=>"/home/work/zion_package/elastic/logstash/logstash-6.2.2/data/uuid"} [2018-03-14T14:48:01,337][INFO ][logstash.runner ] Starting Logstash {"logstash.version"=>"6.2.2"} [2018-03-14T14:48:01,733][INFO ][logstash.agent ] Successfully started Logstash API endpoint {:port=>9600} [2018-03-14T14:48:03,264][INFO ][logstash.pipeline ] Starting pipeline {:pipeline_id=>"main", "pipeline.workers"=>12, "pipeline.batch.size"=>125, "pipeline.batch.delay"=>50} [2018-03-14T14:48:03,453][INFO ][logstash.pipeline ] Pipeline started succesfully {:pipeline_id=>"main", :thread=>"#<Thread:0x128244e5 run>"} The stdin plugin is now waiting for input: [2018-03-14T14:48:03,546][INFO ][logstash.agent ] Pipelines running {:count=>1, :pipelines=>["main"]} 在控制台随便输入字符串按回车后，发现消息会立刻在控制台输出，此时pipeline的处理过程是从stdin接收我们的输入，然后再在stdout输出： Hello, this is my first event to logstash ! 2018-03-14T06:50:26.261Z yf-beidou-dmp00.yf01.baidu.com Hello, this is my first event to logstash ! logstash会给消息添加ip和时间戳，要退出logstash，输入ctrl+d； 通过Filebeat发送日志到logstash 配置Filebeat Filebeat用于追踪服务器上的文件数据，它的设计以可靠和低资源占用为初衷，和业务系统部署在一起时，能够避免因为资源消耗影响到业务系统的正常运行。logstash安装后默认包含Beats input组件，用于接收各种beat组件上报事件。Filebeat也可以直接上报事件给elasticsearch，而不用经过logstash。 1）下载文件样例logstash-tutorial.log.gz，上传至Filebeat将要部署的服务器并解压；该样例为官方文档提供的apache的web日志样例。2）下载Filebeat，上传服务器并解压；此处下载LINUX 64-BIT的安装包； tar -zxvf filebeat-6.2.2-linux-x86_64.tar.gz cd filebeat-6.2.2-linux-x86_64 3）配置Filebeat，修改filebeat.yml，设置监控日志文件路径和上报logstash地址； filebeat.prospectors: - type: log # 监控日志文件路径 paths: - /path/to/file/logstash-tutorial.log output.logstash: # 上报logstash地址 hosts: ["localhost:5044"] 注：设置监控日志文件的路径一定是绝对路径，支持通配符； 4）启动Filebeat；其中-e参数指定输出日志到stderr，而非输出到日志文件；-c参数指定配置文件路径；-d参数debug选择器； ./filebeat -e -c filebeat.yml -d "publish" 配置logstash 1）创建pipeline配置文件；pipeline配置格式如下： # The # character at the beginning of a line indicates a comment. Use # comments to describe your configuration. input { } # The filter part of this file is commented out to indicate that it is # optional. # filter { # # } output { } 创建一个名为first-pipeline.conf的文件，配置如下： input { beats { # 设置beats上报端口 port => "5044" } } # The filter part of this file is commented out to indicate that it is # optional. # filter { # # } output { # 输出到stdout，同时指定日志解码器为rubydebug stdout { codec => rubydebug } } 2）校验配置是否正确,命令如下。--config.test_and_exit选项会校验配置文件，并输出错误； bin/logstash -f first-pipeline.conf --config.test_and_exit 输出类似如下日志，说明配置文件格式校验通过： Configuration OK [2018-03-14T16:23:08,919][INFO ][logstash.runner ] Using config.test_and_exit mode. Config Validation Result: OK. Exiting Logstash 3）启动logstash，命令如下。--config.reload.automatic选项能够使得配置文件修改后被自动加载，从而避免重新启动logstash； bin/logstash -f first-pipeline.conf --config.reload.automatic 如果配置正确，可以看到logstash命令行有类似如下输出： { "host" => "yf-beidou-dmp00.yf01.baidu.com", "offset" => 22310, "tags" => [ [0] "beats_input_codec_plain_applied" ], "message" => "218.30.103.62 - - [04/Jan/2015:05:28:43 +0000] \"GET /blog/geekery/xvfb-firefox.html HTTP/1.1\" 200 10975 \"-\" \"Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)\"", "prospector" => { "type" => "log" }, "beat" => { "name" => "yf-beidou-dmp00.yf01.baidu.com", "version" => "6.2.2", "hostname" => "yf-beidou-dmp00.yf01.baidu.com" }, "@timestamp" => 2018-03-14T08:43:52.564Z, "source" => "/home/work/zion_package/elastic/filebeat/logstash-tutorial.log", "@version" => "1" } 通过Grok过滤组件解析日志 通过上面的例子，我们可以将filebeat上报的日志经由logstash输出，接下来将添加filter组件，对日志进行处理。grok组件是logstash的filter组件之一，它可以将非结构化的数据按照一定规则整理成结构化数据，从而便于检索。这些规则需要根据日志格式事先设定好，因此需要了解采集日志的格式。因为我们的样例日志是apache的web日志，因而可以直接使用grok提供的%{COMBINEDAPACHELOG}格式进行日志的过滤，过滤后的日志格式如下： 修改first-pipeline.conf文件，增加filter，如下： input { beats { port => "5044" } } filter { grok { match => { "message" => "%{COMBINEDAPACHELOG}"} } } output { stdout { codec => rubydebug } } 因为启动logstash时添加了--config.reload.automatic选项，logstash能够自动加载修改后的配置文件，因而不需要重启；修改保存后可以看到重新加载配置，重启pipeline的日志： [2018-03-14T17:04:57,325][INFO ][logstash.pipelineaction.reload] Reloading pipeline {"pipeline.id"=>:main} [2018-03-14T17:05:01,758][INFO ][logstash.pipeline ] Pipeline has terminated {:pipeline_id=>"main", :thread=>"#<Thread:0x58f295b9 run>"} [2018-03-14T17:05:02,048][INFO ][logstash.pipeline ] Starting pipeline {:pipeline_id=>"main", "pipeline.workers"=>12, "pipeline.batch.size"=>125, "pipeline.batch.delay"=>50} [2018-03-14T17:05:02,362][INFO ][logstash.inputs.beats ] Beats inputs: Starting input listener {:address=>"0.0.0.0:5044"} [2018-03-14T17:05:02,422][INFO ][logstash.pipeline ] Pipeline started succesfully {:pipeline_id=>"main", :thread=>"#<Thread:0x5506295b sleep>"} [2018-03-14T17:05:02,429][INFO ][org.logstash.beats.Server] Starting server on port: 5044 [2018-03-14T17:05:02,453][INFO ][logstash.agent ] Pipelines running {:count=>1, :pipelines=>["main"]} 为了能够使filebeat重新读取文件，需要停止filebeat，删除读取文件的保存点记录，并重启filebeat： cd filebeat-6.2.2-linux-x86_64 rm data/registry 添加filter后，输出的日志格式如下，发现不仅输出了日志原文，同时对日志进行解析切割，存放到相应的字段中。 { "host" => "yf-beidou-dmp00.yf01.baidu.com", "clientip" => "121.107.188.202", "verb" => "GET", "tags" => [ [0] "beats_input_codec_plain_applied" ], "message" => "121.107.188.202 - - [04/Jan/2015:05:27:57 +0000] \"GET /presentations/logstash-monitorama-2013/images/kibana-dashboard3.png HTTP/1.1\" 200 171717 \"-\" \"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1700.107 Safari/537.36\"", "beat" => { "name" => "yf-beidou-dmp00.yf01.baidu.com", "version" => "6.2.2", "hostname" => "yf-beidou-dmp00.yf01.baidu.com" }, "httpversion" => "1.1", "auth" => "-", "response" => "200", "bytes" => "171717", "ident" => "-", "@version" => "1", "request" => "/presentations/logstash-monitorama-2013/images/kibana-dashboard3.png", "offset" => 21927, "prospector" => { "type" => "log" }, "@timestamp" => 2018-03-14T09:06:47.927Z, "source" => "/home/work/zion_package/elastic/filebeat/logstash-tutorial.log", "timestamp" => "04/Jan/2015:05:27:57 +0000", "agent" => "\"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1700.107 Safari/537.36\"", "referrer" => "\"-\"" } 使用Geoip过滤器组件增强数据处理 geoip也是filter组件的一种，用于从ip地址中解析出位置信息，并添加到输出日志中；geoip需要配置需要指定存放ip地址的字段，在本例中，我们使用通过gork解析后clientip字段；因为过滤器是按顺序过滤，所以需要确保geoip的过滤器在之前配置的gork过滤器之后，配置文件如下： input { beats { port => "5044" } } filter { grok { match => { "message" => "%{COMBINEDAPACHELOG}"} } geoip { # 指定要进行ip解析的字段 source => "clientip" } } output { stdout { codec => rubydebug } } 停止filebeat，删除data/registry文件，重启filebeats后再次查看日志，发现新增了地理位置信息： { "host" => "yf-beidou-dmp00.yf01.baidu.com", "clientip" => "218.30.103.62", "verb" => "GET", "tags" => [ [0] "beats_input_codec_plain_applied" ], "message" => "218.30.103.62 - - [04/Jan/2015:05:28:43 +0000] \"GET /blog/geekery/xvfb-firefox.html HTTP/1.1\" 200 10975 \"-\" \"Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)\"", "beat" => { "name" => "yf-beidou-dmp00.yf01.baidu.com", "version" => "6.2.2", "hostname" => "yf-beidou-dmp00.yf01.baidu.com" }, "httpversion" => "1.1", "auth" => "-", "response" => "200", "bytes" => "10975", "ident" => "-", "@version" => "1", "request" => "/blog/geekery/xvfb-firefox.html", "geoip" => { "location" => { "lat" => 39.9289, "lon" => 116.3883 }, "latitude" => 39.9289, "continent_code" => "AS", "region_code" => "11", "country_code3" => "CN", "country_code2" => "CN", "longitude" => 116.3883, "city_name" => "Beijing", "country_name" => "China", "ip" => "218.30.103.62", "region_name" => "Beijing", "timezone" => "Asia/Shanghai" }, "offset" => 22310, "prospector" => { "type" => "log" }, "@timestamp" => 2018-03-14T09:22:31.299Z, "source" => "/home/work/zion_package/elastic/filebeat/logstash-tutorial.log", "timestamp" => "04/Jan/2015:05:28:43 +0000", "agent" => "\"Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)\"", "referrer" => "\"-\"" } 将logstash数据输出到elasticsearch 1）修改output，写入数据到elasticsearch：修改first-pipeline.conf文件，配置elasticsearch访问地址； input { beats { port => "5044" } } filter { grok { match => { "message" => "%{COMBINEDAPACHELOG}"} } geoip { source => "clientip" } } output { elasticsearch { # 指定elasticsearch地址，指定多个地址，logstash会自动负载均衡 hosts => [ "ip1:port1", "ip2,port2" ] # 如果设置用户名和密码，则需要指定如下两个字段； # 用户必须具有对index的CRUD权限； user => "username" password => "password" } } 2）重新发送消息：停止filebeat，删除data/registry文件，重启filebeats；3）检索日志：执行如下语句，查询是否有日志写入elasticsearch，ip和端口是elasticsearch实例的ip和端口；因为first-pipeline.conf中未指定创建index的名称格式，默认为：logstash-yyyy.MM.dd（日期部分需要替换）；如果未指定用户名/密码，则不需要-u参数； curl -XGET 'ip:port/logstash-2018.03.14/_search?pretty&q=response=200' -u username:password 检索结果类似如下json串： { "took" : 20, "timed_out" : false, "_shards" : { "total" : 5, "successful" : 5, "skipped" : 0, "failed" : 0 }, "hits" : { "total" : 98, "max_score" : 2.3988724, "hits" : [ { "_index" : "logstash-2018.03.14", "_type" : "doc", "_id" : "t76VJGIBe9U4s2F_OL_W", "_score" : 2.3988724, "_source" : { "verb" : "GET", "@timestamp" : "2018-03-14T12:56:19.779Z", "response" : "200", "agent" : "\"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1700.77 Safari/537.36\"", "source" : "/home/work/zion_package/elastic/filebeat/logstash-tutorial.log", "host" : "yf-beidou-dmp00.yf01.baidu.com", "auth" : "-", "clientip" : "83.149.9.216", "geoip" : { "country_code3" : "RU", "continent_code" : "EU", "ip" : "83.149.9.216", ... ... 4）在kibana上配置index-pattern，通过Discover检索日志：点击菜单：Management -> Index Pattern； 点击 Create Index Pattern，创建index pattern； 点击菜单：Discover，检索日志； 参考 官方视频：Getting Started with Logstash官方文档：Getting Started with Logstash
2018-03-14
优秀的个人博客,低调大师

Elastic Stack学习--Kibana部署

Kibana是一个开源的用于elasticsearch的数据分析可视化平台。Kibana以可视化界面的方式对elasticsearch的索引进行检索、查看、更新等，并提供丰富的图表展现。Kibana基于Node.js实现，因而需要有Node.js运行环境。Node.js环境依赖于glibc2.4以上版本，故如果操作系统版本过低，可能无法支持，安装时一定先更新操作系统或者glibc库。 Kibana部署 1）下载kibana安装包，我们在linux环境安装，下载tar包；2）上传tar包到服务器，解压并进入根目录； tar -xzf kibana-6.2.2-linux-x86_64.tar.gz cd kibana-6.2.2-linux-x86_64/ 3）执行如下命令，启动kibana： ./bin/kibana 默认情况下，以前台进程方式启动kibana，并输出日志到stdout；通过ctrl+c或者ctrl+z结束进程； Kibana目录结构 home：kibana的根目录，即$KIBANA_HOME变量指向的目录；默认为安装包解压后的路径； bin：kibana的二进制文件所在目录，比如：kibana用于启动进程，kibana-plugin用于安装插件；默认为：$KIBANA_HOMEbin config：kibana的配置文件目录，核心配置文件为kibana.yml，默认路径：$KIBANA_HOMEconfig； data：kibana及其插件数据文件存放目录，默认为：$KIBANA_HOMEdata； optimize：存放优化后源代码，默认$KIBANA_HOMEoptimize； plugins：插件安装目录，每个插件都对应一个子目录；默认$KIBANA_HOMEplugins； 配置kibana Kibana的配置基于kebana.yml文件，默认绑定localhost:5601启动。常用配置项如下： console.enabled（true） 是否允许控制台方式访问kibana； server.port（5601） 和 server.host（localhost） 配置服务器端口和地址；服务器地址默认为localhost，无法被外网访问； server.basePath（""） kibana的访问地址根目录，类似于tomcat的rootPath； server.maxPayloadBytes（1048576） 请求允许的最大长度，默认为1M； server.name（hostname） kibana的名字，为展示使用，默认为所在物理机的hostname； elasticsearch.url（http://localhost:9200） kibana要访问elasticsearch的地址； kibana.index（.kibana） kibana会在elasticsearch上创建一个索引用于存放kibana保存的检索信息、创建的视图信息以及dashboard等信息；该配置指定存放的索引名称； pid.file（/var/run/kibana.pid） 指定kibana进程的pid文件路径； logging.dest（stdout） 指定kibana的日志输出路径； 输出日志级别设置 logging.silent（false），设置不输出任何日志； logging.quiet（false），设置只输出error日志； logging.verbose（false），设置输出详细日志，包括系统调用信息以及所有请求日志； Kibana安装X-Pack x-pack的安装顺序如下图： 1）下载x-pack安装包，如果部署elasticsearch时已经下载，则直接使用即可，下载地址： https://artifacts.elastic.co/downloads/packs/x-pack/x-pack-6.2.2.zip2）执行安装命令： bin/kibana-plugin install file:///path/to/file/x-pack-6.2.2.zip 注：此处的安装包路径一定是绝对路径，直接使用压缩包安装即可，无需解压；格式类似：file://路径 安装成功后，日志类似如下： urrent workdir: /home/work/fzx/kibana/kibana-6.2.2-linux-x86_64 Attempting to transfer from file:///home/work/fzx/kibana/x-pack-6.2.2.zip Transferring 314129017 bytes.................... Transfer complete Retrieving metadata from plugin archive Extracting plugin archive Extraction complete Optimizing and caching browser bundles... Plugin installation complete 3）设置elastic内置用户名和密码，一定要和elasticsearch的bin/x-pack/setup-passwords命令所设密码相同： elasticsearch.username: "elastic" elasticsearch.password: "elasticpassword" 注：一定要使用内置用户elastic的用户名和密码；否则会出现认证失败的情况，kibana、logstash_system用户所给权限不足，无法对索引进行CRUD操作； 4）重启kibana，通过浏览器访问kibana地址，使用内置用户elastic和密码登录； http://ip:port 登录后如下图： 坑 [security_exception] action [indices:admin/mappings/get] is unauthorized for user [kibana] 登录kibana后，报错如下图： 解决办法：配置kibana.yml中elasticsearch的用户名和密码错误，应该使用elastic用户而非kibana用户，kibana、logstash_system用户所给权限不足，无法对索引进行CRUD操作； kibana报503错误，elasticsearch日志报错：org.elasticsearch.indices.InvalidIndexTemplateException org.elasticsearch.indices.InvalidIndexTemplateException: index_template [kibana_index_template:.Elasticsearch-DEV-Kibana] invalid, cause [Validation Failed: 1: name must be lower cased;] at org.elasticsearch.cluster.metadata.MetaDataIndexTemplateService.validate(MetaDataIndexTemplateService.java:310) ~[elasticsearch-6.2.2.jar:6.2.2] at org.elasticsearch.cluster.metadata.MetaDataIndexTemplateService.putTemplate(MetaDataIndexTemplateService.java:147) [elasticsearch-6.2.2.jar:6.2.2] at org.elasticsearch.action.admin.indices.template.put.TransportPutIndexTemplateAction.masterOperation(TransportPutIndexTemplateAction.java:81) [elasticsearch-6.2.2.jar:6.2.2] at org.elasticsearch.action.admin.indices.template.put.TransportPutIndexTemplateAction.masterOperation(TransportPutIndexTemplateAction.java:42) [elasticsearch-6.2.2.jar:6.2.2] at org.elasticsearch.action.support.master.TransportMasterNodeAction.masterOperation(TransportMasterNodeAction.java:88) [elasticsearch-6.2.2.jar:6.2.2] at org.elasticsearch.action.support.master.TransportMasterNodeAction$AsyncSingleAction$2.doRun(TransportMasterNodeAction.java:167) [elasticsearch-6.2.2.jar:6.2.2] at org.elasticsearch.common.util.concurrent.AbstractRunnable.run(AbstractRunnable.java:37) [elasticsearch-6.2.2.jar:6.2.2] at org.elasticsearch.common.util.concurrent.EsExecutors$1.execute(EsExecutors.java:135) [elasticsearch-6.2.2.jar:6.2.2] at org.elasticsearch.action.support.master.TransportMasterNodeAction$AsyncSingleAction.doStart(TransportMasterNodeAction.java:164) [elasticsearch-6.2.2.jar:6.2.2] at org.elasticsearch.action.support.master.TransportMasterNodeAction$AsyncSingleAction.start(TransportMasterNodeAction.java:127) [elasticsearch-6.2.2.jar:6.2.2] at org.elasticsearch.action.support.master.TransportMasterNodeAction.doExecute(TransportMasterNodeAction.java:105) [elasticsearch-6.2.2.jar:6.2.2] at org.elasticsearch.action.support.master.TransportMasterNodeAction.doExecute(TransportMasterNodeAction.java:55) [elasticsearch-6.2.2.jar:6.2.2] at org.elasticsearch.action.support.TransportAction$RequestFilterChain.proceed(TransportAction.java:167) [elasticsearch-6.2.2.jar:6.2.2] at org.elasticsearch.xpack.security.action.filter.SecurityActionFilter.lambda$apply$0(SecurityActionFilter.java:103) [x-pack-security-6.2.2.jar:6.2.2] at org.elasticsearch.xpack.security.action.filter.SecurityActionFilter $$ Lambda$2377/976841642.accept(Unknown Source) [x-pack-security-6.2.2.jar:6.2.2] at org.elasticsearch.action.ActionListener$1.onResponse(ActionListener.java:60) [elasticsearch-6.2.2.jar:6.2.2] at org.elasticsearch.xpack.security.action.filter.SecurityActionFilter.lambda$authorizeRequest$4(SecurityActionFilter.java:188) [x-pack-security-6.2.2.jar:6.2.2] at org.elasticsearch.xpack.security.action.filter.SecurityActionFilter $$ Lambda$2387/1116948127.accept(Unknown Source) [x-pack-security-6.2.2.jar:6.2.2] 解决办法：kibana.yml中kibana.index指定的索引必须全部使用小写字母，否则报错； 参考 Configuring KibanaInstalling X-Pack in Kibana
2018-03-13

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

时间: 2025-12-12 大小: 211.28KB 下载: 54次
Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

时间: 2025-12-21 大小: 189MB 下载: 2次
Rocky Linux

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

时间: 2026-03-02 大小: 1.42GB 下载: 3次
Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

时间: 2025-12-03 大小: 9.84MB 下载: 39次
热门标签
Jdk25 HarmonyOS6 Redis Rocky Service Mesh DeepSeek Kubernetes Nacos3 Docker Gemini3 OpenAi SpringCloud SpringBoot4

欢迎您来访！

登录后，您将获得更多功能！
热门文章
联系我们

有任何问题或合作意向欢迎联系我们

Email: 99873273@qq.com

QQ: 99873273

用户登录
用户注册