请问有没有类似logstash的metadata的功能

[mad1230]

可以使用metadata做判断依据，写入的时候metadata是丢弃的，翻了一遍没看到

[childe]

对Kafka 消息的数据加 Topic 等信息? gohangout 有这个功能. 考虑使用 Gohangout 吗?

[mad1230]

go不太熟悉，可以研究一下，不懂的地方请多指教

[mad1230]

假设有一条报文（logstash版本），[2017-04-01 22:21:21] production.INFO: this is a test log message by leon
通过 grok {
match => { "message" => "[%{TIMESTAMP_ISO8601:timestamp}] %{DATA:env}.%{DATA:log_level}: %{DATA:content}" }
}
得到
{
"env" => "production",
"timestamp" => "2017-04-01 22:21:21",
"log_level" => "INFO",
"content" => "{"message":"[2017-04-01 22:21:21] production.INFO: this is a test log message by leon"}"
}
在filter的过程中，我希望remove掉 env字段，但是在写入es的时候，我希望引用 到env这个字段，但是在前面我已经用remove把env字段给去掉了，output的时候就没办法引用到这个字段，hangout有没有办法实现
logstash是这么处理的
grok {
match => { "message" => "[%{TIMESTAMP_ISO8601:timestamp}] %{DATA:[@metadata][env]}.%{DATA:[@metadata][log_level]}: %{DATA:content}" }
}

if [@metadata][log_level] == "INFO"{
drop{}
}

output{
elasticsearch {
hosts => ["127.0.0.1:9200"]
index => "%{[@metadata][env]}-log-%{+YYYY.MM}"
document_type => "_doc"
}
}
把env字段放入metadata里面，metadata在整个输入--》filter--》输出 过程中，只作为一些判断条件使用，在最后写入的时候，metadata是不会写到输入源

[childe]

明白了, 目前没这个功能, 在写 ES 的时候, 会把所有字段都写进来. 可以考虑给用户配置, 可以过滤掉一些字段.

[kalcc]

Being scammed by your app