elasticsearch.yml常用配置-低调大师

elasticsearch.yml常用配置

2017-11-14 524

cluster.name: recomm_scorer_xs144_cluster

node.name: "10.2.34.144"

node.master: true

node.data: true

index.number_of_shards: 5

index.number_of_replicas: 2

path.conf: /opt/elasticsearch-1.6/config

path.data: /data/elasticsearch-1.6/data

path.work: /data/elasticsearch-1.6/work

path.logs: /data/elasticsearch-1.6/logs

path.plugins: /opt/elasticsearch-1.6/sys

network.bind_host: 0.0.0.0

network.publish_host: 10.2.34.144

network.host: 10.2.34.144

http.compression: true

http.compression_level: 3

discovery.zen.minimum_master_nodes: 3

discovery.zen.ping.timeout: 10s

discovery.zen.ping.multicast.enabled: false

discovery.zen.ping.unicast.hosts: ["10.2.34.144:9300", "10.2.34.145:9300", "10.2.34.146:9300", "10.2.34.147:9300", "10.2.34.148:9300"]

index.search.slowlog.threshold.query.warn: 10s

index.search.slowlog.threshold.query.info: 5s

index.search.slowlog.threshold.query.debug: 2s

index.search.slowlog.threshold.query.trace: 100ms

index.search.slowlog.threshold.fetch.warn: 1s

index.search.slowlog.threshold.fetch.info: 800ms

index.search.slowlog.threshold.fetch.debug: 500ms

index.search.slowlog.threshold.fetch.trace: 50ms

index.indexing.slowlog.threshold.index.warn: 10s

index.indexing.slowlog.threshold.index.info: 5s

index.indexing.slowlog.threshold.index.debug: 2s

index.indexing.slowlog.threshold.index.trace: 500ms

script.engine.groovy.inline.search: on

微信关注我们

原文链接：https://yq.aliyun.com/articles/666538

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

hadoop完全分布式集群下安装sqoop

应用场景当我们按照hadoop完全分布式集群搭建博客搭建了hadoop以后，发现这是一个空的hadoop，只有YARN，MapReduce，HDFS，而这些实际上我们一般不会直接使用，而是需要另外部署Hadoop的其他组件，来辅助使用。比如我们需要把关系型数据库中的数据，抽取到hadoop分布式文件系统中时，我们需要额外安装Spoop组件来方便数据抽取导入操作。操作步骤 1. Sqoop压缩包下载 sqoop下载地址，将下载的压缩包复制到namenode的/opt目录下注：sqoop只需要在namenode下安装即可 2. Sqoop解压缩修改目录 # cd /opt # tar -xzvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz # mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop1.4.6 # chmod 777 -R /opt/sqoop1.4.6 # 对sqoop目录进行赋权 3. 配置sqoop的环境变量 # vim /etc/profile export JAVA_HOME=/opt...

2017-11-15

553

Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在梳理出 Spark 内存管理的脉络，抛砖引玉，引出读者对这个话题的深入探讨。本文中阐述的原理基于 Spark 2.1 版本，阅读本文需要读者有一定的 Spark 和 Java 基础，了解 RDD、Shuffle、JVM 等相关概念。在执行 Spark 的应用程序时，Spark 集群会启动 Driver 和 Executor 两种 JVM 进程，前者为主控进程，负责创建 Spark 上下文，提交 Spark 作业（Job），并将作业转化为计算任务（Task），在各个 Executor 进程间协调任务的调度，后者负责在工作节点上执行具体的计算任务，并将结果返回给 Driver，同时为需要持久化的 RDD 提供存储功能[1]。由于 Driver 的内存管理相对来说较为简单，本文主要对 Executor 的内存管理进行分析，下文中的 Spark 内存均特指 Executor 的内存。 1. 堆内和堆外...

2017-11-15

491

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。