首页 文章 精选 留言 我的

精选列表

搜索[诊断自动化],共10002篇文章
优秀的个人博客,低调大师

React Native自动化测试

大凡做软件开发,肯定会涉及到很多的测试,本地测试,Junit测试,用例测试等,今天就来说说RN的测试。 React Native的官方代码仓库里有一些测试代码,你可以在贡献代码之后回归测试一下,以检测有没有引起别的问题。这些测试是通过Travis持续集成系统来运行的,并且会自动针对你提交的代码给出测试结果。 当然我们的测试不可能有完整的覆盖率(尤其对于复杂的用户交互),所以很多更改也还需要仔细的人工审查。我们期待你能帮助我们提高测试覆盖率,以及提供更多的测试代码或是测试用例。 使用Jest来测试 Jest是在命令行通过node来执行的纯js测试工具。测试代码放置在__tests__目录下。有一些功能我们还没有完成模拟(jest中需要模拟一些接口),因而没有纳入测试,以避免测试不通过和提高测试速度,但我们正在尽最大努力去逐渐补完这些功能的模拟。你可以在react-native源代码的根目录中使用如下命令来运行现有的jest测试代码: npm test 我们建议你在贡献代码的时候也添加自己的测试代码。你可以参考这个简单的例子getImageSource-test.js。 注意:要运行你自己的测试代码,请首先去jest的官网阅读指导文档,然后在package.json中加入jest对象,在其中包含一些预备测试环境的脚本。下面是一个示例: ... "scripts": { ... "test": "jest" }, ... "jest": { "scriptPreprocessor": "node_modules/react-native/jestSupport/preprocessor.js", "setupEnvScriptFile": "node_modules/react-native/jestSupport/env.js", "testPathIgnorePatterns": [ "/node_modules/", "packager/react-packager/src/Activity/" ], "testFileExtensions": [ "js" ], "unmockedModulePathPatterns": [ "promise", "source-map" ] }, ... 注意:你可能需要先在当前的环境中安装、更新或是链接Node.js和其他的一些工具,不然测试可能无法正常运行。点这里查看最新的测试配置文件.travis.yml。 单元测试 (Android) React Native使用Buck编译工具来运行测试。 单元测试部分直接在本地运行,不需要模拟器。运行下面的命令来执行这些测试: $ cd react-native $ ./scripts/run-android-local-unit-tests.sh 集成测试 (Android) React Native使用Buck编译工具来运行测试。 集成测试需要在模拟器/真机上运行,以验证模块、组件以及React Native的内核部分(比如bridge)在端对端测试中运作正常。 确保你正确安装和配置了Android NDK,具体配置参见这篇文档,然后运行下面的命令来执行测试: $ cd react-native $ npm install $ ./scripts/run-android-local-integration-tests.sh 集成测试 (iOS) React Native提供了一些工具来简化跨原生与JS端的组件的集成测试。这套工具的两个主要部分是RCTTestRunner与RCTTestModule。RCTTestRunner预设了ReactNative的环境,并且可以以XCTestCase的形式在Xcode中直接运行测试 (最简单的方法就是使用runTest:module)。而RCTTestModule则是以NativeModules.TestModule对象导出到了JS环境中。测试代码需要以JS写成的,并且必须在测试完成后调用TestModule.markTestCompleted()方法,否则测试过程会超时并且失败。失败的表现一般是抛出一个JS异常。测试错误条件也是可行的,使用runTest:module:initialProps:expectErrorRegex:或是runTest:module:initialProps:expectErrorBlock:方法,它们会按提供的条件去验证抛出的错误是否符合。你可以参考IntegrationTestHarnessTest.js、IntegrationTests.m以及IntegrationTestsApp.js来看具体怎么做集成测试。 Xcode中运行IntegrationTest和UIExplorer两个官方示例应用时,可以按下cmd + U键来直接在本地运行集成测试。 快照测试 (iOS) 快照测试是集成测试的一种常见类型。这类测试首先渲染一个组件,然后使用TestModule.verifySnapshot()比对屏幕截图与参考效果图,其原理是利用了FBSnapshotTestCase这个库。参考效果图是通过在RCTTestRunner中设置recordMode = YES,然后在运行测试时录制的。屏幕截图在32位和64位色深以及不同的操作系统版本上可能会有细微的差别,所以建议强制在指定的配置环境中执行测试。此外我们还强烈建议所有的网络数据和其他的潜在依赖项都应该事先模拟。你可以参考SimpleSnapshotTest这个例子。 如果你提交的PR(Pull Request,即提交你贡献的代码,并请求官方人员合并到仓库中)会影响到快照测试,比如给现有的快照测试添加一个新的测试用例,那么首先需要重新录制参考效果图。只需在UIExplorer/UIExplorerSnapshotTests.m中设置_runner.recordMode = YES;,然后重新运行先前失败的测试代码,再之后将这一设置改回去,最后提交/更新你的PR,看Travis的自动测试能否通过。

优秀的个人博客,低调大师

RPA机器人CI/CD:自动化流程也需要自动化部署

去年冬天,我帮一家中型制造企业做RPA流程改造。当时他们已经用传统方式部署了三十多个机器人,负责订单录入、库存对账、报表生成这些重复性工作。项目上线三个月,问题开始集中爆发:开发环境跑得好好的流程,到生产环境就报错;某个网页改版后,十几个机器人的元素定位全部失效;最要命的是,每次更新都要运维同事一台机器一台机器地手动替换脚本,光是发版就折腾到凌晨两点。

优秀的个人博客,低调大师

【论文解读】基于深度残差收缩网络的机械故障诊断方法

在旋转机械工作过程中,振动信号常伴随强烈的背景噪声,微弱的早期故障特征容易被干扰成分掩盖,影响特征提取的判别力。为此,发表于 IEEE Transactions on Industrial Informatics 的论文《Deep Residual Shrinkage Networks for Fault Diagnosis》提出了一种深度残差收缩网络(DRSN)。该方法将信号去噪领域常用的软阈值化作为非线性变换层嵌入到深度残差网络中,并设计了可自适应确定阈值的子网络模块,实现了在特征学习过程中自动消除与噪声相关的无关特征。

优秀的个人博客,低调大师

多语言站点AI引用混乱:从诊断到修复的完整技术路径

去年秋天,一个做户外装备的朋友找到我,他的独立站做了德、法、日三个语言版本,英文站流量一直很稳,但用德语搜自家产品核心词时,Bing Chat和Perplexity给出的答案里,引用的几乎全是竞品内容——而且那些竞品内容明显是用翻译软件硬翻的,句子生硬,术语错乱。更让他头疼的是,法语站有一篇他亲手写的「高山徒步靴选购指南」,在法国谷歌上排在首页,但在ChatGPT里用同样的法语提问,AI要么不引用,要么引用的是英文站自动翻译的法语版本,信息丢失严重。

优秀的个人博客,低调大师

怎样诊断心理健康问题?IBM说只需要一份录音

雷锋网消息。近日,IBM 研究院公布了最新评选的“IBM 5 in 5”,即在未来 5 年内最可能改变人们日常生活的 5 项科技创新,其中一项是:利用人工智能技术,从一段对话,或者一段文字中分析一个人的心理健康状态。 调查显示,美国有将近五分之一的人会在一生中的某个时候遭遇心理健康问题,包括神经系统疾病(例如阿尔茨海默病和帕金森)和心理障碍(抑郁症或精神病)。心理健康问题不但使患者和其亲友遭受着巨大的痛苦,更造成了国民经济的严重负担。目前,全球用于治疗心理健康问题的资金总额已经超过了治疗糖尿病、呼吸系统疾病和癌症费用的总和,预计到 2030 年,这一数字将激增至 6 万亿美元。 为了帮助这些心理健康患者和医生,IBM研究院一直在努力尝试用计算机生物学、分析科学和机器学习的技术打造一个简单便捷的分析工具,通过分析一小段患者的说话录音就能

优秀的个人博客,低调大师

Elasticsearch5.2.1集群搭建,动态加入节点,并添加监控诊断插件

打开微信扫一扫,关注微信公众号【数据与算法联盟】 转载请注明出处: http://blog.csdn.net/gamer_gyt 博主微博: http://weibo.com/234654758 Github: https://github.com/thinkgamer 写在前面的话 之前写过一篇文章是: 如何使用一个IP搭建ES集群——Docker如你所愿,在该篇文章中说明了Elasticsearch集群的单播和多播的概念和差别,以及在生产环境中的利与弊。其实在里边也写了怎么搭建集群,但是整个流程走下来是有很多bug的,那么这篇文章就好好聊一下如何搭建一个完整的Elasticsearch集群,并灵活添加节点。 环境准备 1:Elasticsearch 5.2.1 ZIP包下载:点击下载 2:Ubuntu 16.04 3:Java 1.8 4:解压包到/opt/elk/目录下,生成两个Elasticsearch文件夹,如下 >ls /opt/elk elasticsearch-5.2.1_1 elasticsearch-5.2.1_2 5:赋予权限,否则在启动的过程中会报错(可选,根据自己的情况而定) sudo chown -R master;master elasticsearch-5.2.1_* 配置说明 注意:以下配置过程中可能会出现权限错误,由于我是在/opt/elk目录下进行的,所以有权限问题 1:Elasticsearch集群中的三种角色 master node:master几点主要用于元数据(metadata)的处理,比如索引的新增、删除、分片分配等。 data node:data 节点上保存了数据分片。它负责数据相关操作,比如分片的 CRUD,以及搜索和整合操作。这些操作都比较消耗 CPU、内存和 I/O 资源; client node:client 节点起到路由请求的作用,实际上可以看做负载均衡器。 其对应的高性能集群拓扑结构模式为: # 配置文件中给出了三种配置高性能集群拓扑结构的模式,如下: # 1. 如果你想让节点从不选举为主节点,只用来存储数据,可作为负载器 # node.master: false # node.data: true # 2. 如果想让节点成为主节点,且不存储任何数据,并保有空闲资源,可作为协调器 # node.master: true # node.data: false # 3. 如果想让节点既不称为主节点,又不成为数据节点,那么可将他作为搜索器,从节点中获取数据,生成搜索结果等 # node.master: false # node.data: false 2:config/elasticsearch.ymal中配置项说明 cluster_name 集群名称,默认为elasticsearch,这里我们设置为es5.2.1Cluster node.name配置节点名,用来区分节点 network.host 是配置可以访问本节点的路由地址 http.port 路由地址端口 transport.tcp.port TCP协议转发地址端口 node.master 是否作为集群的主结点 ,值为true或true node.data 是否存储数据,值为true或true discovery.zen.ping.unicast.hosts 用来配置所有用来组建集群的机器的IP地址,由于5.2.1新版本是不支持多播的,因此这个值需要提前设定好,当集群需要扩展的时候,该值都要做改变,增加新机器的IP地址,如果是在一个ip上,要把TCP协议转发端口写上 discovery.zen.minimum_master_nodes 用来配置主节点数量的最少值,如果主节点数量低于该值,闭包范围内的集群将会停止服务,之所以加粗体,是因为暂时尚未认证,下面配置为1方便集群更容易形成,即使只有一个主节点,也可以构建集群 gateway.* 网关的相关配置 script.* indices.* 根据需求添加的配置(可选) 3:elasticsearch-5.2.1_1中的yaml文件 该结点作为master-node运行 cluster.name: es5 node.name: node-1 network.host: 0.0.0.0 http.port: 9200 transport.tcp.port: 9300 node.master: true node.data: true discovery.zen.ping.unicast.hosts: ["0.0.0.0:9300", "0.0.0.0:9301", "0.0.0.0:9302"] discovery.zen.minimum_master_nodes: 2 gateway.recover_after_nodes: 2 gateway.recover_after_time: 5m gateway.expected_nodes: 1 script.engine.groovy.inline.search: on script.engine.groovy.inline.aggs: on indices.recovery.max_bytes_per_sec: 20mb 4:elasticsearch-5.2.1_2中的yaml文件 该结点作为data-node运行 cluster.name: es5 node.name: node-2 network.host: 0.0.0.0 http.port: 9201 transport.tcp.port: 9301 node.master: false node.data: true discovery.zen.ping.unicast.hosts: ["0.0.0.0:9300", "0.0.0.0:9301", "0.0.0.0:9302"] discovery.zen.minimum_master_nodes: 2 gateway.recover_after_nodes: 2 gateway.recover_after_time: 5m gateway.expected_nodes: 1 script.engine.groovy.inline.search: on script.engine.groovy.inline.aggs: on indices.recovery.max_bytes_per_sec: 20mb 5:elasticsearch-5.2.1_3中的yaml文件 该结点作为client-node运行 cluster.name: es5 node.name: node-3 network.host: 0.0.0.0 http.port: 9202 transport.tcp.port: 9302 node.master: false node.data: false discovery.zen.ping.unicast.hosts: ["0.0.0.0:9300", "0.0.0.0:9301", "0.0.0.0:9302"] discovery.zen.minimum_master_nodes: 2 gateway.recover_after_nodes: 2 gateway.recover_after_time: 5m gateway.expected_nodes: 1 script.engine.groovy.inline.search: on script.engine.groovy.inline.aggs: on indices.recovery.max_bytes_per_sec: 20mb 启动三个结点,打开http://localhost:9200/ 查看 http://localhost:9200/_cluster/health?pretty=true 出现错误: no known master node, scheduling a retry 原因是:我们设置的主节点只有一个而 discovery.zen.minimum_master_nodes: 2 所以这里改为1即可,然后此时还可能会遇到一个问题就是node2和node3不能加入到集群,报的错如下: [node-2] failed to send join request to master [{node-1}{WbcP0pC_T32jWpYvu5is1A}{2_LCVHx1QEaBZYZ7XQEkMg}{10.10.11.200}{10.10.11.200:9300}], reason [RemoteTransportException[[node-1][10.10.11.200:9300][internal:discovery/zen/join]]; nested: IllegalArgumentException[can't add node {node-2}{WbcP0pC_T32jWpYvu5is1A}{p-HCgFLvSFaTynjKSeqXyA}{10.10.11.200}{10.10.11.200:9301}, found existing node {node-1}{WbcP0pC_T32jWpYvu5is1A}{2_LCVHx1QEaBZYZ7XQEkMg}{10.10.11.200}{10.10.11.200:9300} with the same id but is a different node instance]; ] 原因是:是因为复制的elasticsearch文件夹下包含了data文件中示例一的节点数据,需要把示例二data文件下的文件清空。 然后在查看集群状态: { "cluster_name" : "es5", "status" : "yellow", "timed_out" : false, "number_of_nodes" : 3, "number_of_data_nodes" : 2, "active_primary_shards" : 22, "active_shards" : 22, "relocating_shards" : 0, "initializing_shards" : 0, "unassigned_shards" : 21, "delayed_unassigned_shards" : 0, "number_of_pending_tasks" : 0, "number_of_in_flight_fetch" : 0, "task_max_waiting_in_queue_millis" : 0, "active_shards_percent_as_number" : 51.162790697674424 } 6:配置head插件 克隆到本地: git clone git://github.com/mobz/elasticsearch-head.git 进入到文件夹,并安装 cd elasticsearch-head npm install 在elasticsearch.ymal文件中添加: http.cors.enabled: true http.cors.allow-origin: "*" 运行 npm install -g grunt grunt server 查看http://localhost:9100/ 配置logstash解析rsyslog文件 配置rsyslog参考:http://blog.csdn.net/gamer_gyt/article/details/54025857 编写相应的jx_syslog.conf 解析文件 input { tcp{ port => 5000 type => syslog } udp{ port => 5000 type => syslog } } filter { if [type] == 'syslog'{ grok { match => { 'message' => '%{SYSLOGTIMESTAMP:syslog_timestamp} %{HOSTNAME:hostname} %{WORD:program}%{GREEDYDATA:msgsplit}' } } date { match => [ "syslog_timestamp", "MMM d HH:mm:ss", "MMM dd HH:mm:ss" ] target => "syslog_timestamp" timezone => "UTC" } # processing repeated messages if [msgsplit] =~ "message repeated " { grok { match => [ "msgsplit", "\[%{BASE10NUM:pid}\]: message repeated %{BASE10NUM:ntimes} times: \[ Failed password for %{NOTSPACE:user} from %{IP:src_ip} port %{BASE10NUM:src_port} %{WORD:protocol}\]" ] tag_on_failure => ["parsefailure", "ssh_failed_login", "ssh_repeat_message" ] add_tag => [ "ssh_repeat_message", "grokked", "ssh_failed_login" ] } } # SSH successful login else if [msgsplit] =~ "Accepted password for" { mutate { replace => { type => "success_syslog" } } grok { match => [ "msgsplit", "\[%{BASE10NUM:pid}\]: Accepted password for %{NOTSPACE:user} from %{IP:src_ip} port %{BASE10NUM:src_port} %{WORD:protocol}" ] tag_on_failure => ["parsefailure", "ssh_successful_login" ] add_tag => [ "ssh_successful_login", "grokked" ] } } # SSH Brute force attemp else if [msgsplit] =~ "Failed password for invalid user" { mutate { replace => { type => "brute_syslog" } } grok { match => [ "msgsplit", "\[%{BASE10NUM:pid}\]: Failed password for invalid user %{NOTSPACE:user} from %{IP:src_ip} port %{BASE10NUM:src_port} %{WORD:protocol}" ] add_tag => [ "ssh_brute_force", "grokked" ] tag_on_failure => ["parsefailure", "ssh_brute_force" ] } } # SSH failed login else if [msgsplit] =~ "Failed password for" { mutate { replace => { type => "fail_syslog" } } grok { match => [ "msgsplit", "\[%{BASE10NUM:pid}\]: Failed password for %{NOTSPACE:user} from %{IP:src_ip} port %{BASE10NUM:src_port} %{WORD:protocol}" ] add_tag => [ "ssh_failed_login", "grokked" ] tag_on_failure => ["parsefailure", "ssh_failed_login" ] } } else { drop { } } } } output { if [type] in ['success_syslog', 'brute_syslog', 'fail_syslog'] { elasticsearch { hosts => ["http://localhost:9200"] #index => "ssh_login-%{+YYYY.MM.dd}" index => "%{type}-%{+YYYY.MM.dd}" } } } 运行logstash: bin/logstash -f conf/jx_syslog.conf ssh 模拟登录 查看es集群 node-1是master结点,node-2是data结点,node-3不存储数据,作为负载均衡使用 踩过的坑 1:我是在虚拟机中进行的,由于硬盘内存不足,在es集群正常启动之后,logstash往es集群写数据时不能正常写入 2:复制elasticsearch文件夹时,如果原来的es文件夹下存在node数据,那么es集群也不能正常启动 3:配置master结点个数,由于我是三台机器,一个master node,一个data node,一个client node,然后设置 discovery.zen.minimum_master_nodes: 2,es集群也不能正常启动,建议这里设置为1 elasticsearch.ymal配置文件说明 上边已经对我配置es集群设置的参数有了简单的说明,但是其实还有许多参数没有设置和说明 修改配置 /etc/elasticsearch/elasticsearch.yml 以下对相关字段以注释方式进行解析. ##################### Elasticsearch Configuration Example ##################### # 我只是挑些重要的配置选项进行注释,其实自带的已经有非常细致的英文注释了.有理解偏差的地方请以英文原版解释为准. ################################### Cluster ################################### # 代表一个集群,集群中有多个节点,其中有一个为主节点,这个主节点是可以通过选举产生的,主从节点是对于集群内部来说的. # es的一个概念就是去中心化,字面上理解就是无中心节点,这是对于集群外部来说的,因为从外部来看es集群,在逻辑上是个整体,你与任何一个节点的通信和与整个es集群通信是等价的。 # cluster.name可以确定你的集群名称,当你的elasticsearch集群在同一个网段中elasticsearch会自动的找到具有相同cluster.name的elasticsearch服务. # 所以当同一个网段具有多个elasticsearch集群时cluster.name就成为同一个集群的标识. #cluster.name: elasticsearch #################################### Node ##################################### # 节点名称同理,可自动生成也可手动配置. #node.name: "Franz Kafka" # 允许一个节点是否可以成为一个master节点,es是默认集群中的第一台机器为master,如果这台机器停止就会重新选举master. #node.master: true # 允许该节点存储数据(默认开启) #node.data: true # 配置文件中给出了三种配置高性能集群拓扑结构的模式,如下: # 1. 如果你想让节点从不选举为主节点,只用来存储数据,可作为负载器 # node.master: false # node.data: true # # 2. 如果想让节点成为主节点,且不存储任何数据,并保有空闲资源,可作为协调器 # node.master: true # node.data: false # # 3. 如果想让节点既不称为主节点,又不成为数据节点,那么可将他作为搜索器,从节点中获取数据,生成搜索结果等 # node.master: false # node.data: false # 监控集群状态有一下插件和API可以使用: # Use the Cluster Health API [http://localhost:9200/_cluster/health], the # Node Info API [http://localhost:9200/_nodes] or GUI tools # such as <http://www.elasticsearch.org/overview/marvel/>, # <http://github.com/karmi/elasticsearch-paramedic>, # <http://github.com/lukas-vlcek/bigdesk> and # <http://mobz.github.com/elasticsearch-head> to inspect the cluster state. # A node can have generic attributes associated with it, which can later be used # for customized shard allocation filtering, or allocation awareness. An attribute # is a simple key value pair, similar to node.key: value, here is an example: # #node.rack: rack314 # By default, multiple nodes are allowed to start from the same installation location # to disable it, set the following: #node.max_local_storage_nodes: 1 #################################### Index #################################### # 设置索引的分片数,默认为5 #index.number_of_shards: 5 # 设置索引的副本数,默认为1: #index.number_of_replicas: 1 # 配置文件中提到的最佳实践是,如果服务器够多,可以将分片提高,尽量将数据平均分布到大集群中去 # 同时,如果增加副本数量可以有效的提高搜索性能 # 需要注意的是,"number_of_shards" 是索引创建后一次生成的,后续不可更改设置 # "number_of_replicas" 是可以通过API去实时修改设置的 #################################### Paths #################################### # 配置文件存储位置 #path.conf: /path/to/conf # 数据存储位置(单个目录设置) #path.data: /path/to/data # 多个数据存储位置,有利于性能提升 #path.data: /path/to/data1,/path/to/data2 # 临时文件的路径 #path.work: /path/to/work # 日志文件的路径 #path.logs: /path/to/logs # 插件安装路径 #path.plugins: /path/to/plugins #################################### Plugin ################################### # 设置插件作为启动条件,如果一下插件没有安装,则该节点服务不会启动 #plugin.mandatory: mapper-attachments,lang-groovy ################################### Memory #################################### # 当JVM开始写入交换空间时(swapping)ElasticSearch性能会低下,你应该保证它不会写入交换空间 # 设置这个属性为true来锁定内存,同时也要允许elasticsearch的进程可以锁住内存,linux下可以通过 `ulimit -l unlimited` 命令 #bootstrap.mlockall: true # 确保 ES_MIN_MEM 和 ES_MAX_MEM 环境变量设置为相同的值,以及机器有足够的内存分配给Elasticsearch # 注意:内存也不是越大越好,一般64位机器,最大分配内存别才超过32G ############################## Network And HTTP ############################### # 设置绑定的ip地址,可以是ipv4或ipv6的,默认为0.0.0.0 #network.bind_host: 192.168.0.1 # 设置其它节点和该节点交互的ip地址,如果不设置它会自动设置,值必须是个真实的ip地址 #network.publish_host: 192.168.0.1 # 同时设置bind_host和publish_host上面两个参数 #network.host: 192.168.0.1 # 设置节点间交互的tcp端口,默认是9300 #transport.tcp.port: 9300 # 设置是否压缩tcp传输时的数据,默认为false,不压缩 #transport.tcp.compress: true # 设置对外服务的http端口,默认为9200 #http.port: 9200 # 设置请求内容的最大容量,默认100mb #http.max_content_length: 100mb # 使用http协议对外提供服务,默认为true,开启 #http.enabled: false ################################### Gateway ################################### # gateway的类型,默认为local即为本地文件系统,可以设置为本地文件系统 #gateway.type: local # 下面的配置控制怎样以及何时启动一整个集群重启的初始化恢复过程 # (当使用shard gateway时,是为了尽可能的重用local data(本地数据)) # 一个集群中的N个节点启动后,才允许进行恢复处理 #gateway.recover_after_nodes: 1 # 设置初始化恢复过程的超时时间,超时时间从上一个配置中配置的N个节点启动后算起 #gateway.recover_after_time: 5m # 设置这个集群中期望有多少个节点.一旦这N个节点启动(并且recover_after_nodes也符合), # 立即开始恢复过程(不等待recover_after_time超时) #gateway.expected_nodes: 2 ############################# Recovery Throttling ############################# # 下面这些配置允许在初始化恢复,副本分配,再平衡,或者添加和删除节点时控制节点间的分片分配 # 设置一个节点的并行恢复数 # 1.初始化数据恢复时,并发恢复线程的个数,默认为4 #cluster.routing.allocation.node_initial_primaries_recoveries: 4 # # 2.添加删除节点或负载均衡时并发恢复线程的个数,默认为2 #cluster.routing.allocation.node_concurrent_recoveries: 2 # 设置恢复时的吞吐量(例如:100mb,默认为0无限制.如果机器还有其他业务在跑的话还是限制一下的好) #indices.recovery.max_bytes_per_sec: 20mb # 设置来限制从其它分片恢复数据时最大同时打开并发流的个数,默认为5 #indices.recovery.concurrent_streams: 5 # 注意: 合理的设置以上参数能有效的提高集群节点的数据恢复以及初始化速度 ################################## Discovery ################################## # 设置这个参数来保证集群中的节点可以知道其它N个有master资格的节点.默认为1,对于大的集群来说,可以设置大一点的值(2-4) #discovery.zen.minimum_master_nodes: 1 # 探查的超时时间,默认3秒,提高一点以应对网络不好的时候,防止脑裂 #discovery.zen.ping.timeout: 3s # For more information, see # <http://elasticsearch.org/guide/en/elasticsearch/reference/current/modules-discovery-zen.html> # 设置是否打开多播发现节点.默认是true. # 当多播不可用或者集群跨网段的时候集群通信还是用单播吧 #discovery.zen.ping.multicast.enabled: false # 这是一个集群中的主节点的初始列表,当节点(主节点或者数据节点)启动时使用这个列表进行探测 #discovery.zen.ping.unicast.hosts: ["host1", "host2:port"] # Slow Log部分与GC log部分略,不过可以通过相关日志优化搜索查询速度 ############## Memory(重点需要调优的部分) ################ # Cache部分: # es有很多种方式来缓存其内部与索引有关的数据.其中包括filter cache # filter cache部分: # filter cache是用来缓存filters的结果的.默认的cache type是node type.node type的机制是所有的索引内部的分片共享filter cache.node type采用的方式是LRU方式.即:当缓存达到了某个临界值之后,es会将最近没有使用的数据清除出filter cache.使让新的数据进入es. # 这个临界值的设置方法如下:indices.cache.filter.size 值类型:eg.:512mb 20%。默认的值是10%。 # out of memory错误避免过于频繁的查询时集群假死 # 1.设置es的缓存类型为Soft Reference,它的主要特点是据有较强的引用功能.只有当内存不够的时候,才进行回收这类内存,因此在内存足够的时候,它们通常不被回收.另外,这些引用对象还能保证在Java抛出OutOfMemory异常之前,被设置为null.它可以用于实现一些常用图片的缓存,实现Cache的功能,保证最大限度的使用内存而不引起OutOfMemory.在es的配置文件加上index.cache.field.type: soft即可. # 2.设置es最大缓存数据条数和缓存失效时间,通过设置index.cache.field.max_size: 50000来把缓存field的最大值设置为50000,设置index.cache.field.expire: 10m把过期时间设置成10分钟. #index.cache.field.max_size: 50000 #index.cache.field.expire: 10m #index.cache.field.type: soft # field data部分&&circuit breaker部分: # 用于field data 缓存的内存数量,主要用于当使用排序,faceting操作时,elasticsearch会将一些热点数据加载到内存中来提供给客户端访问,但是这种缓存是比较珍贵的,所以对它进行合理的设置. # 可以使用值:eg:50mb 或者 30%(节点 node heap内存量),默认是:unbounded #indices.fielddata.cache.size: unbounded # field的超时时间.默认是-1,可以设置的值类型: 5m #indices.fielddata.cache.expire: -1 # circuit breaker部分: # 断路器是elasticsearch为了防止内存溢出的一种操作,每一种circuit breaker都可以指定一个内存界限触发此操作,这种circuit breaker的设定有一个最高级别的设定:indices.breaker.total.limit 默认值是JVM heap的70%.当内存达到这个数量的时候会触发内存回收 # 另外还有两组子设置: #indices.breaker.fielddata.limit:当系统发现fielddata的数量达到一定数量时会触发内存回收.默认值是JVM heap的70% #indices.breaker.fielddata.overhead:在系统要加载fielddata时会进行预先估计,当系统发现要加载进内存的值超过limit * overhead时会进行进行内存回收.默认是1.03 #indices.breaker.request.limit:这种断路器是elasticsearch为了防止OOM(内存溢出),在每次请求数据时设定了一个固定的内存数量.默认值是40% #indices.breaker.request.overhead:同上,也是elasticsearch在发送请求时设定的一个预估系数,用来防止内存溢出.默认值是1 # Translog部分: # 每一个分片(shard)都有一个transaction log或者是与它有关的预写日志,(write log),在es进行索引(index)或者删除(delete)操作时会将没有提交的数据记录在translog之中,当进行flush 操作的时候会将tranlog中的数据发送给Lucene进行相关的操作.一次flush操作的发生基于如下的几个配置 #index.translog.flush_threshold_ops:当发生多少次操作时进行一次flush.默认是 unlimited #index.translog.flush_threshold_size:当translog的大小达到此值时会进行一次flush操作.默认是512mb #index.translog.flush_threshold_period:在指定的时间间隔内如果没有进行flush操作,会进行一次强制flush操作.默认是30m #index.translog.interval:多少时间间隔内会检查一次translog,来进行一次flush操作.es会随机的在这个值到这个值的2倍大小之间进行一次操作,默认是5s #index.gateway.local.sync:多少时间进行一次的写磁盘操作,默认是5s # 以上的translog配置都可以通过API进行动态的设置 如何动态的加入结点 上边我们已经部署了三个结点的es集群,加入现在我们要另外加入一个data node,我们该怎么办? 1:copy 一个elasticsearch文件夹,作为第四个结点 sudo cp -r elasticsearch-5.2.1_2 elasticsearch-5.2.1_4 2:修改es4 中的yaml文件 cluster.name: es5 node.name: node-4 network.host: 0.0.0.0 http.port: 9203 transport.tcp.port: 9303 node.master: false node.data: true discovery.zen.ping.unicast.hosts: ["0.0.0.0:9300", "0.0.0.0:9301", "0.0.0.0:9302", "0.0.0.0:9302"] discovery.zen.minimum_master_nodes: 1 gateway.recover_after_nodes: 2 gateway.recover_after_time: 5m gateway.expected_nodes: 1 script.engine.groovy.inline.search: on script.engine.groovy.inline.aggs: on indices.recovery.max_bytes_per_sec: 20mb 3:修改另外三个结点的yaml文件 修改discovery.zen.ping.unicast.hosts: 配置项为: discovery.zen.ping.unicast.hosts: ["0.0.0.0:9300", "0.0.0.0:9301", "0.0.0.0:9302", "0.0.0.0:9302"] 4:重启es集群 前三个结点启动完毕,启动第四个结点时报错如下: Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x000000008a660000, 1973026816, 0) failed; error='Cannot allocate memory' (errno=12) # # There is insufficient memory for the Java Runtime Environment to continue. # Native memory allocation (mmap) failed to map 1973026816 bytes for committing reserved memory. # An error report file with more information is saved as: # /tmp/hs_err_pid9963.log 这个错误的意思是JVM运行内存不足,解决办法是增加虚拟机内存,同时删除es4目录下data目录下的数据 然后重启elasticsearch集群,重启logstash: 欧了,到这里灵活的添加结点我们也完成了 ES集群的监控 网上查看资料相应的插件有 bigdesk:https://github.com/hlstudio/bigdesk paramedic:https://github.com/karmi/elasticsearch-paramedic kopf:https://github.com/lmenezes/elasticsearch-kopf 由于大部分插件只支持es2.x,所以这里采用bigdesk 1:下载 git clone https://github.com/hlstudio/bigdesk.git 2:进入该目录,在浏览器中打开index.html 效果图如下,可以进行刷新时间设置,查看不同结点情况 结束 如果你觉得我写的还可以,请关注我的微信公众号,谢谢!

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册