您现在的位置是：首页 > 文章详情

Elasticsearch：跨集群使用 ES|QL

日期：2024-09-04点击：157收藏

警告：ES|QL 的跨集群搜索目前处于技术预览阶段，可能会在未来版本中更改或删除。Elastic 将努力解决任何问题，但技术预览中的功能不受官方 GA 功能的支持 SLA 约束。

使用 ES|QL，你可以跨多个集群执行单个查询。

前提：

跨集群搜索需要远程集群。要在 Elasticsearch Service 上设置远程集群，请参阅在 Elasticsearch Service 上配置远程集群。如果你在自己的硬件上运行 Elasticsearch，请参阅远程集群。
要确保你的远程集群配置支持跨集群搜索，请参阅支持的跨集群搜索配置。
要获得完整的跨集群搜索功能，本地和远程集群必须处于同一订阅级别。
本地协调节点必须具有 remote_cluster_client 节点角色。
如果你使用嗅探模式（sniff mode），则本地协调节点必须能够连接到远程集群上的种子节点和网关节点。
- 我们建议使用能够充当协调节点的网关节点。种子节点（seed nodes）可以是这些网关节点的子集。
如果你使用代理模式（proxy mode），则本地协调节点必须能够连接到配置的 proxy_address。此地址的代理必须能够将连接路由到远程集群上的网关和协调节点。
跨集群搜索需要本地集群和远程集群上的不同安全权限。请参阅配置跨集群搜索和远程集群的权限。

如果你还不知道如何设置跨集群安全，请参考这篇文章 “Elasticsearch：如何为 CCR 及 CCS 建立带有安全的集群之间的互信”。在那篇文章中，我有详细的步骤描述如何使得两个集群互信，并建立远程连接。

在 Ubuntu 机器上，我们可以创建一个与 mac 电脑的远程链接：

同样在 mac 机器上，我们可以建立一个与 Ubuntu 机器的远程连接：

安全模型

Elasticsearch 支持两种跨集群搜索 (CCS) 安全模型：

TLS certificate authentication
API key authentication

TLS 证书身份验证

TLS 证书身份验证使用双向 TLS 保护远程集群。当单个管理员完全控制两个集群时，这可能是首选模型。我们通常建议两个集群中的角色及其权限相同。

请参阅 TLS 证书身份验证，了解先决条件和详细设置说明。

API key authentication

注意：当使用基于 API 密钥的安全模型的 ES|QL 时，此版本不支持 ENRICH

以下信息涉及使用基于 API 密钥的安全模型跨集群使用 ES|QL。你需要按照该页面上的步骤获取完整的设置说明。此页面仅包含特定于 ES|QL 的其他信息。

基于 API 密钥的跨集群搜索 (CCS) 可以更精细地控制集群之间允许的操作。当你为不同的集群配备不同的管理员，并希望更好地控制谁可以访问哪些数据时，这可能是首选模型。在此模型中，集群管理员必须明确定义授予集群和用户的访问权限。

你需要：

使用创建跨集群 API 密钥 API 或使用 Kibana API 密钥 UI 在远程集群上创建 API 密钥。
将 API 密钥添加到本地集群上的密钥库，作为配置本地集群的步骤的一部分。来自本地集群的所有跨集群请求都受 API 密钥的权限约束。

使用基于 API 密钥的安全模型的 ES|QL 需要一些额外的权限，而使用基于传统查询 DSL 的搜索时可能不需要这些权限。以下示例 API 调用创建一个角色，该角色可以在使用基于 API 密钥的安全模型时使用 ES|QL 查询远程索引。

 POST /_security/role/remote1 { "cluster": ["cross_cluster_search"], # 1 "indices": [ { "names" : [""], # 2 "privileges": ["read"] } ], "remote_indices": [ # 3 { "names": [ "logs-*" ], "privileges": [ "read","read_cross_cluster" ], # 4 "clusters" : ["my_remote_cluster"] # 5 } ] }

本地集群需要 cross_cluster_search 集群权限。
通常，用户将具有读取本地和远程索引的权限。但是，对于角色仅用于搜索远程集群的情况，仍需要本地集群的 read 权限。要提供对本地集群的读取访问权限，但不允许读取本地集群中的任何索引，names 字段可能为空字符串。
索引允许对远程集群的读取访问权限。配置的 cross-cluster API key 还必须允许读取此索引。
使用基于 API 密钥的安全模型跨集群使用 ES|QL 时，始终需要 read_cross_cluster 权限。
这些权限适用的远程集群。必须为此远程集群配置 cross-cluster API key 并连接到远程集群，然后才能查询远程索引。使用 Remote cluster info 验证连接。

然后，你将需要一个具有上面创建的权限的用户或 API 密钥。以下示例 API 调用创建具有 remote1 角色的用户。

 POST /_security/user/remote_user { "password" : "<PASSWORD>", "roles" : [ "remote1" ] }

请记住，来自本地集群的所有跨集群请求都受跨集群 API 密钥的权限的约束，该权限由远程集群的管理员控制。

远程集群设置

配置安全模型后，你可以添加远程集群。

以下 cluster update settings 请求添加了三个远程集群：cluster_one、cluster_two 和 cluster_three。

 PUT _cluster/settings { "persistent": { "cluster": { "remote": { "cluster_one": { "seeds": [ "35.238.149.1:9300" ], "skip_unavailable": true }, "cluster_two": { "seeds": [ "35.238.149.2:9300" ], "skip_unavailable": false }, "cluster_three": { "seeds": [ "35.238.149.3:9300" ] } } } } }

由于 cluster_three 上未设置 skip_unavailable，因此它使用默认值 false。有关详细信息，请参阅 Optional remote clusters 部分。

跨多个集群查询

在 FROM 命令中，使用格式 <remote_cluster_name>:<target> 指定远程集群上的数据流和索引。例如，以下 ES|QL 请求查询名为 mac 的单个远程集群上的 twitter 索引：

步骤一

按照之前的文章 “Elasticsearch：如何为 CCR 及 CCS 建立带有安全的集群之间的互信” 配置两个互相的集群。我们使用如下的配置：

提示：你如果想要使用 API 秘钥来添加另外一个集群，你可以参考文章 “Elasticsearch：使用 API 密钥验证添加远程集群”

我们在 mac 电脑上打入如下的命令：

 PUT twitter/_doc/1 { "content": "This is Xiaoguo from Elastic" }

我们可以在的 Ubuntu 上可以做如下的查询：

 POST _query?format=txt { "query": """ FROM mac:twitter | LIMIT 10 """ }

我们在 Ubuntu 电脑上也同时生成一个 twitter 索引：

 PUT twitter/_doc/1 { "content": "This is the doc from Ubuntu machine" }

那么我们可以在 Ubuntu 机器上使用如下命令来查询所有的文档：

 POST _query?format=txt { "query": """ FROM twitter, *:twitter | LIMIT 10 """ }

跨集群丰富

ES|QL 中跨集群的丰富操作与本地丰富类似。如果丰富策略及其丰富索引在所有集群中都是一致的，则只需像没有远程集群一样编写丰富命令即可。在此默认模式下，ES|QL 可以在本地集群或远程集群上执行丰富命令，旨在最大限度地减少计算或集群间数据传输。确保策略在本地集群和远程集群上都存在且数据一致对于 ES|QL 产生一致的查询结果至关重要。

注意：当使用基于 API 密钥的安全模型的 ES|QL 时，此版本不支持跨集群丰富。

我们在 mac 电脑上执行如下的命令来创建 sample_data 索引：

 PUT clientips { "mappings": { "properties": { "client.ip": { "type": "keyword" }, "env": { "type": "keyword" }, "location": { "type": "keyword" } } } } PUT sample_data/_bulk {"index": {}} {"@timestamp": "2023-10-23T12:15:03.360Z", "client.ip": "172.21.2.162", "message": "Connected to 10.1.0.3", "event.duration": 3450233} {"index": {}} {"@timestamp": "2023-10-23T12:27:28.948Z", "client.ip": "172.21.2.113", "message": "Connected to 10.1.0.2", "event.duration": 2764889} {"index": {}} {"@timestamp": "2023-10-23T13:33:34.937Z", "client.ip": "172.21.0.5", "message": "Disconnected", "event.duration": 1232382} {"index": {}} {"@timestamp": "2023-10-23T13:51:54.732Z", "client.ip": "172.21.3.15", "message": "Connection error", "event.duration": 725448} {"index": {}} {"@timestamp": "2023-10-23T13:52:55.015Z", "client.ip": "172.21.3.15", "message": "Connection error", "event.duration": 8268153} {"index": {}} {"@timestamp": "2023-10-23T13:53:55.832Z", "client.ip": "172.21.3.15", "message": "Connection error", "event.duration": 5033755} {"index": {}} {"@timestamp": "2023-10-23T13:55:01.543Z", "client.ip": "172.21.3.15", "message": "Connected to 10.1.0.1", "event.duration": 1756467}

我们在 Ubuntu 和 mac 机器上执行如下的命令：

 PUT clientips { "mappings": { "properties": { "client.ip": { "type": "keyword" }, "env": { "type": "keyword" }, "location": { "type": "keyword" } } } }

我们在 Ubuntu 和 mac 机器上执行如下的丰富策略：

 PUT /_enrich/policy/clientip_policy { "match": { "indices": "clientips", "match_field": "client.ip", "enrich_fields": ["env", "location"] } }

 PUT /_enrich/policy/clientip_policy/_execute

我们在 Ubuntu 机器上执行如下的命令：

 PUT clientips/_bulk { "index" : {}} { "client.ip": "172.21.0.5", "env": "Development", "location": "loc1" } { "index" : {}} { "client.ip": "172.21.2.113", "env": "QA", "location": "loc2" } { "index" : {}} { "client.ip": "172.21.2.162", "env": "QA", "location": "loc3" } { "index" : {}} { "client.ip": "172.21.3.15", "env": "Production", "location":"loc4" } { "index" : {}} { "client.ip": "172.21.3.16", "env": "Production", "location": "loc5" }

我们在 Ubuntu 机器上执行如下的查询：

 POST _query?format=txt { "query": """ FROM mac:sample_data | KEEP client.ip, event.duration | EVAL client.ip = TO_STRING(client.ip) | ENRICH clientip_policy ON client.ip """ }