elasticsearch.yml常用配置-低调大师

elasticsearch.yml常用配置

2017-11-14 549

cluster.name: recomm_scorer_xs144_cluster

node.name: "10.2.34.144"

node.master: true

node.data: true

index.number_of_shards: 5

index.number_of_replicas: 2

path.conf: /opt/elasticsearch-1.6/config

path.data: /data/elasticsearch-1.6/data

path.work: /data/elasticsearch-1.6/work

path.logs: /data/elasticsearch-1.6/logs

path.plugins: /opt/elasticsearch-1.6/sys

network.bind_host: 0.0.0.0

network.publish_host: 10.2.34.144

network.host: 10.2.34.144

http.compression: true

http.compression_level: 3

discovery.zen.minimum_master_nodes: 3

discovery.zen.ping.timeout: 10s

discovery.zen.ping.multicast.enabled: false

discovery.zen.ping.unicast.hosts: ["10.2.34.144:9300", "10.2.34.145:9300", "10.2.34.146:9300", "10.2.34.147:9300", "10.2.34.148:9300"]

index.search.slowlog.threshold.query.warn: 10s

index.search.slowlog.threshold.query.info: 5s

index.search.slowlog.threshold.query.debug: 2s

index.search.slowlog.threshold.query.trace: 100ms

index.search.slowlog.threshold.fetch.warn: 1s

index.search.slowlog.threshold.fetch.info: 800ms

index.search.slowlog.threshold.fetch.debug: 500ms

index.search.slowlog.threshold.fetch.trace: 50ms

index.indexing.slowlog.threshold.index.warn: 10s

index.indexing.slowlog.threshold.index.info: 5s

index.indexing.slowlog.threshold.index.debug: 2s

index.indexing.slowlog.threshold.index.trace: 500ms

script.engine.groovy.inline.search: on

微信关注我们

原文链接：https://yq.aliyun.com/articles/666538

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

hadoop完全分布式集群下安装sqoop

应用场景当我们按照hadoop完全分布式集群搭建博客搭建了hadoop以后，发现这是一个空的hadoop，只有YARN，MapReduce，HDFS，而这些实际上我们一般不会直接使用，而是需要另外部署Hadoop的其他组件，来辅助使用。比如我们需要把关系型数据库中的数据，抽取到hadoop分布式文件系统中时，我们需要额外安装Spoop组件来方便数据抽取导入操作。操作步骤 1. Sqoop压缩包下载 sqoop下载地址，将下载的压缩包复制到namenode的/opt目录下注：sqoop只需要在namenode下安装即可 2. Sqoop解压缩修改目录 # cd /opt # tar -xzvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz # mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop1.4.6 # chmod 777 -R /opt/sqoop1.4.6 # 对sqoop目录进行赋权 3. 配置sqoop的环境变量 # vim /etc/profile export JAVA_HOME=/opt...

2017-11-15

575

Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在梳理出 Spark 内存管理的脉络，抛砖引玉，引出读者对这个话题的深入探讨。本文中阐述的原理基于 Spark 2.1 版本，阅读本文需要读者有一定的 Spark 和 Java 基础，了解 RDD、Shuffle、JVM 等相关概念。在执行 Spark 的应用程序时，Spark 集群会启动 Driver 和 Executor 两种 JVM 进程，前者为主控进程，负责创建 Spark 上下文，提交 Spark 作业（Job），并将作业转化为计算任务（Task），在各个 Executor 进程间协调任务的调度，后者负责在工作节点上执行具体的计算任务，并将结果返回给 Driver，同时为需要持久化的 RDD 提供存储功能[1]。由于 Driver 的内存管理相对来说较为简单，本文主要对 Executor 的内存管理进行分析，下文中的 Spark 内存均特指 Executor 的内存。 1. 堆内和堆外...

2017-11-15

517

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。