DL-4018 - Getting issue details... STATUS
Logstash
Mit dem Gelf4Net.Appender.GelfUdpAppender werden die Logmessages an den Logstash Server geschickt. Dort können die Logmessages gefiltert und verändert werden (siehe Config), bevor sie in die auf demselben Server laufende Elasticsearch Instanz geschrieben werden.
Start logstash
https://www.elastic.co/guide/en/logstash/current/running-logstash.html
ssh -i openssh dladm@log03.cdl.one
dladm@log03:/etc/systemd/system$ sudo systemctl start logstash.service
Log von Logstash anzeigen
tail -f /var/log/logstash/logstash-plain.log
Config editieren
cd /etc/logstash/conf.d
sudo nano -w first.conf
Momentane Config
input {
gelf {
host => "192.168.77.32"
port => 12201
use_udp => true
}
}
filter {
json {
source => "RenderedMessage"
target => "m"
}
date {
match => [ "TimeStamp", "dd/MMM/YYYY:HH:mm:ss Z" ]
locale => de
remove_field => ["TimeStamp"]
}
mutate {
remove_field => [ "Level" ]
remove_field => [ "host" ]
}
}
output {
elasticsearch {
hosts => ["localhost:9200"]
user => "logstash_internal"
password => "pw im Vault"
data_stream => true
}
Kibana
https://log03.cdl.one username: elastic, pw im Vault
Dashboards
Test1 Dashboar
Alerting
Um zb Emails zu verschicken, falls gewisse Fehler zu oft auftreten oder der Server zu sehr ausgelastet ist, können Regeln gesetzt werden, die in bestimmten Zeitintervallen überprüft werden und eine Aktion auslösen.
https://www.elastic.co/guide/en/kibana/current/alerting-setup.html#alerting-prerequisites
https://www.elastic.co/guide/en/kibana/current/alerting-getting-started.html
https://www.elastic.co/guide/en/kibana/current/rule-types.html
Index Lifecycle
Die Logmessages werden jeweils in einem Index gespeichert, wobei immer wieder neue Indices erstellt werden anhand von Index Templates. Für Index Templates können Index Lifecycle Policies erstellt werden, die dann auf alle Indices angewendet werden, die auf dem entsprechenden Index Template beruhen. https://log03.cdl.one/app/management/data/index_lifecycle_management/policies
Indem z.B für verschiedene Kunden verschiedene Index Templates verwendet werden, könnte auch unterschiedlich festgelegt werden ab wann die Logmessages gelöscht werden oder wann die Logmessages in ein “cold tier” verschoben werden sollen um Kosten zu sparen und dafür längere Suchzeiten in kauf zu nehmen.