elasticsearch数据长期保存的方案
Elasticsearch的数据就存储在硬盘中。当我们的访问日志非常大时，kabana绘制图形的时候会非常缓慢。而且硬盘空间有限，不可能保存所有的日志文件。如果我们想获取站点每天的重要数据信息，比如每天的访问量并希望能图像化的形式显示该如何做呢？
一、具体操作方法
获取数据之前你要知道你想要什么样的数据。比如我想获取每小时网站访问的PV，在kibana中肯定能获取到
这是在kibana中查询的每小时的pv,然后我们把他的查询json复制出来
把上述json粘贴到test文件中 然后使用如下语句即可查询上图显示的查询结果
curl -POST 'http://192.168.10.49:9200/_search' -d '@test'
{"took":940,"timed_out":false,"_shards":{"total":211,"successful":211,"failed":0},"hits"......
然后把返回的结果中的数据获取存入data数组中，这是你可以存入数据库也可以转换成json直接插入es
这种方法主要是通过elasticsearch的查询语句把数据查询出来在传参给其他地方。你输入固定的查询json它返回的json数据也是固定格式的，这样很方面就能从中挖掘出我们想要的数据！
二、php代码实现上述操作
class.php
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
|
<?php
#从ES中导出数据
#两个参数：
#url为从ES导出数据的访问路径，不同的数据路径不一样
#post_data为json格式，是request body。
function
export(
$url
,
$post_data
){
$ch
= curl_init ();
curl_setopt (
$ch
, CURLOPT_URL,
$url
);
curl_setopt (
$ch
, CURLOPT_CUSTOMREQUEST,
"POST"
);
curl_setopt (
$ch
, CURLOPT_HEADER, 0 );
curl_setopt (
$ch
, CURLOPT_RETURNTRANSFER, 1 );
curl_setopt (
$ch
, CURLOPT_POSTFIELDS,
$post_data
);
$arr
=curl_exec(
$ch
);
curl_close(
$ch
);
return
json_decode(
$arr
,
'assoc'
);;
}
#把数组数据导入ES
#两个参数：
#
$url
为导入数据的具体位置 如：http:
//IP:9200/索引/类型/ID（ID最好根据时间确定，需要唯一ID）
#post_data 导入ES的数据数组
function
import(
$url
,
$post_data
)
{
$json
=json_encode(
$post_data
);
$ci
= curl_init();
curl_setopt(
$ci
, CURLOPT_PORT, 9200);
curl_setopt(
$ci
, CURLOPT_TIMEOUT, 2000);
curl_setopt(
$ci
, CURLOPT_RETURNTRANSFER, 1);
curl_setopt(
$ci
, CURLOPT_FORBID_REUSE, 0);
curl_setopt(
$ci
, CURLOPT_CUSTOMREQUEST,
'PUT'
);
curl_setopt(
$ci
, CURLOPT_URL,
$url
);
curl_setopt(
$ci
, CURLOPT_POSTFIELDS,
$json
);
$response
= curl_exec(
$ci
);
unset(
$post_data
);
//销毁数组
unset(
$json
);
//销毁数据
curl_close(
$ci
);
}
?>
|
vim access_info.php (index_name和type_name自己根据实际情况命名)
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
|
<?php
include
(
"class.php"
);
#导出数据的ES路径
$url
=
"http://192.168.10.49:9200/_search"
;
#查询数据的开始时间
$begin
=
date
(
"Y-m-d"
,
strtotime
(
"-16 day"
));
#开始时间的格式转换
$start_time
=
strtotime
(
$begin
.
" 00:00:00"
);
#查询数据的结束时间及当时时间，并转换时间格式
$end_time
=
strtotime
(
date
(
"Y-m-d H:i:s"
,time()));
#替换查询json中开始及结束时间的，文件是./lib/下的同名txt文件
$post_data
=
str_replace
(
'end_time'
,
$end_time
,
str_replace
(
'start_time'
,
$start_time
,
file_get_contents
(
'lib/'
.
str_replace
(
'.php'
,
'.txt'
,
basename
(
$_SERVER
[
'PHP_SELF'
])).
''
)));
#查询ES中的数据，返回数组数据
$arr
=export(
$url
,
$post_data
);
#从数组中获取你想要的数据，然后在组合成一个新的数组
$array
=
$arr
[
'aggregations'
][
'2'
][
'buckets'
];
foreach
(
$array
as
$key
=>
$value
){
$data
[
'@timestamp'
]=
$value
[
'key_as_string'
];
$data
[
'request_PV'
]=
$value
[
'doc_count'
];
$data
[
'request_IP'
]=
$value
[
'3'
][
'value'
];
#Time为导入ES中的ID，具有唯一性。（不同tpye的可以相同）
$Time
=
strtotime
(
$data
[
'@timestamp'
]);
$urls
=
"http://192.168.2.243:9200/index_name/tpye_name/$Time"
#调用函数import导入数据
import(
$urls
,
$data
);
}
?>
|
下面这个文件是存放./lib文件下的，和执行的php文件必须同名。
vim lib/access_info.txt
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
|
{
"size"
:
0
,
"aggs"
: {
"2"
: {
"date_histogram"
: {
"field"
:
"@timestamp"
,
"interval"
:
"1h"
,
"time_zone"
:
"Asia/Shanghai"
#保留时区获取的信息会准确但是在kibana或ganafa显示的时候会加8个小时
"min_doc_count"
:
1
,
"extended_bounds"
: {
"min"
: start_time,
#start_time会被换成具体的时间
"max"
: end_time
}
},
"aggs"
: {
"3"
: {
"cardinality"
: {
"field"
:
"geoip.ip"
}
}
}
}
},
"highlight"
: {
"pre_tags"
: [
"@kibana-highlighted-field@"
],
"post_tags"
: [
"@/kibana-highlighted-field@"
],
"fields"
: {
"*"
: {}
},
"require_field_match"
:
false
,
"fragment_size"
:
2147483647
},
"query"
: {
"filtered"
: {
"query"
: {
"query_string"
: {
"query"
:
"*"
,
"analyze_wildcard"
:
true
}
},
"filter"
: {
"bool"
: {
"must"
: [
{
"range"
: {
"@timestamp"
: {
"gte"
: start_time,
"lte"
: end_time,
"format"
:
"epoch_second"
#由毫秒换成秒
}
}
}
],
"must_not"
: []
}
}
}
}
}
|
根据上面的代码，我们可以定期获取ES中的重要数据。这样获取的数据只是结果数据，不是很精确，但能反应网站的趋势，而且查询非常快速！如果想要长时间保存重要的数据，可以使用这个方法。而且数据也可以存入数据库。
以上是个人对能长期保存ES结果数据的做法，如果有更好的方法，希望能一起讨论！
本文转自 irow10 51CTO博客，原文链接：http://blog.51cto.com/irow10/1853507，如需转载请自行联系原作者
