Zabbix - logfiles einlesen

[Segway]

@thomas-braun

Sorry war auf dem falschen Server. Passiert bei den ganzen Rechner

dirk@pihole:/var/log$ sudo -u zabbix groups
zabbix adm pihole

[BananaJoe]

@segway zeig mal sicherheitshalber wie dein Item aussieht, also den Eintrag aus Key, Type und Type of information.
Gerne zusätzlich einen Scrrenshot des Dialogs.

Wenn du den Zabbix-Agenten auf einem System installiert hats (am besten über das von Zabbix eingebundene Repo wie den Server selbst auch) kannst du auf diesem ja mal probeweise zum Benutzer zabbix wechseln und prüfen was der kann oder nicht kann:

sudo -u zabbix /usr/bin/bash

Dann hast du eine normale Bash und kannst testen

Hinweis: Der Typ müsste Zabbix agent (active) sein, der Updateintervall sollte Ausnahmsweise eher sehr klein sein

[Segway]

@bananajoe
Puh, hab mal jetzt nochmal die Doku gelesen. Ist für mich alles verwirrend.

Für das System (also sprich ssh login denke ich ist damit gemeint) ist vorgesehen:

root:zabbix

Also gibts gar kein User Zabbix ?

Zabbix frontend

Admin:zabbix

[BananaJoe]

@segway Du hast doch den Zabbix-Agenten auf dem Zielsystem installiert?
Der Agent ist quasi bei allen Linux-Distributionen mit an Board, wenn der der in der Version Älter ist als dein Server oder Proxy ist das egal (neue Features fehlen dann halt).
Ich binde gerne die Zabbix-Repos ein und habe den Agent in der gleichen Version wie den Server.

In 99 von 100 Fällen wird dabei ein Benutzer "zabbix" engerichtet unter welchem der Dienst auch läuft. Er kann auch dazu gebracht werden als root zu laufen, aber dann hättest du dein Zugriffsproblem ja gar nicht. Und dann gibt es auch einen Benutzer zabbix, also ein Linux Benutzer. Du meldest dich per SSH (puTTY?) am System an und kannst mit meiner obigen Zeile auf den meisten Linux-Systemen zum Benutzer zabbix wechseln. Du wird dich nicht direkt als zabbix-Benutzer Anmelden können:

nichtderroot@iobroker:~$ cat /etc/passwd | grep zabbix
zabbix:x:115:118::/var/lib/zabbix/:/usr/sbin/nologin

Ich hoffe nicht das du deinen eingeschränkten Benutzer mit dem Namen "zabbix" angelegt hast. Dann müsste ich auch erst einmal überlegen.
Du kannst auch per

sudo ps -aux | grep zabbix

die eine Prozessliste anzeigen lassen, in der ersten Spalte steht unter welchem Benutzer Zabbix läuft.
Der Admin ist der Web-Benutzer dessen Zugangsdaten in der Zabbix-Datenbank stehen und hat nichts mit dem Linux-Benutzern zu tun.
Genau genommen muss man trennen: Es gibt den Zabbix-Server, da läuft der Prozess der die Daten sammelt und in die Datenbank schreibt.
Das Zabbix Webinterface ist davon unabhängig. Es greift zwar auch auf die Datenbank zu, hat aber nicht mit den Datensammeln zu tun. Änderungen werden von dem Webinterface in die Datenbank geschrieben und der Server-prozess merkt nach (default) spätestens 60 Sekunden das sich was geändert hat und setzt das dann um.

natürlich kann man beides auf einem Server installieren Aber auch auftrennen/skalieren in Webinterface, Server und Proxys (und die Datenbank kann auch auf einen extra Server)

[Segway]

@BananaJoe
Ich habe den zabbix-agent über die Repro installiert ja.

Hier der Output:

dirk@pihole:~$ cat /etc/passwd | grep zabbix
zabbix:x:109:116::/nonexistent:/usr/sbin/nologin

Hier die Prozesse:

dirk@pihole:~$ sudo ps -aux | grep zabbix
zabbix      8217  0.0  0.4  16452  2296 ?        Ss   00:00   0:00 /usr/sbin/zabbix_agentd --foreground
zabbix      8220  0.0  0.4  16452  2004 ?        S    00:00   0:15 /usr/sbin/zabbix_agentd: collector [idle 1 sec]
zabbix      8221  0.0  0.4  16452  2104 ?        S    00:00   0:18 /usr/sbin/zabbix_agentd: listener #1 [waiting for connection]
zabbix      8222  0.0  0.4  16452  2100 ?        S    00:00   0:18 /usr/sbin/zabbix_agentd: listener #2 [waiting for connection]
zabbix      8223  0.0  0.4  16452  2104 ?        S    00:00   0:18 /usr/sbin/zabbix_agentd: listener #3 [waiting for connection]
zabbix      8224  0.0  0.4  16712  2236 ?        S    00:00   0:18 /usr/sbin/zabbix_agentd: active checks #1 [idle 1 sec]
dirk       72425  0.0  0.1   6200   664 pts/0    S+   14:34   0:00 grep zabbix

Ich habe aber folgendes jetzt ausprobiert:
meine Logs sind ja historisch geboren und somit seeeeehr gross. Ich habe nun den Befehl SKIP eingebaut und zudem die Anzahl an zu lesenden Zeilen erhöht.
Damit konnte ich mittlerweile mit den Berechtigungen auf 444 runtergehen ! Er liest das immer noch !
Verstehen tue ich das grad nicht

log[/var/log/pihole.log,,,500,skip]

[BananaJoe]

@segway Der Agent merkt sich wo in der Datei er ist. Klar bei sehr großen Dateien kann das ganze zuviel sein, es gibt auch ein Limit wie viele Daten auf einmal an der Server gesendet werden.
Ist er erst einmal am Ende werden nur noch neue Dinge beachtet.

Das 2. Limit ist die Zeit. Ab Werk müsste in der Agenten-Konfigurationsdatei etwas von Timeout=3 stehen.
Das heißt das nichts länger als 3 Sekunden dauern darf. Den Wert kann man bis zu 30 Sekunden hochsetzen. Alles was länger dauert wird gnadenlos abgewürgt. Das sollte dann aber auch als Fehlermeldung auf dem Zabbix-Server erscheinen (Ansicht Items, ganz rechts das Fehlersymbol wenn man mit dem Mauszeiger drüber geht).

Ich habe auch etwas gebraucht um Zabbix zu verstehen. Es war aber schon nach kurzer Zeit sympathischer als Nagios.
Wenn man den Aufbau (Host, Items, Trigger) erst einmal drin hat geht es aber. War bei ioBroker am Anfang auch nicht anders

[Segway]

@bananajoe

Ja genau,
ich muss wie andere Sachen auch erst einmal verstehen wie das ganze funktioniert.
Nun habe ich alle Daten bzw. Logs eingelesen aber im Server-Log stehen trotzdem komische Meldungen drin obwohl ich die Daten habe.....ich blick da noch nciht durch !

   435:20220109:141301.355 item "Zabbix:log[/var/log/pihole.log,,,500,skip]" became not supported: Cannot obtain information for file "/var/log/pihole.log": [2] No such file or directory
   435:20220109:141302.408 item "Zabbix:log[/var/log/pihole.log,,,500,skip]" became supported

Die Syslog liest er nicht ein Permission denied - trotz 777:

   433:20220109:141357.306 item "Zabbix:log[/var/log/syslog,error,,500,skip]" became not supported: Cannot open file "/var/log/syslog": [13] Permission denied

Laut zabbix ist alles gut mit den Logs:

[BananaJoe]

@segway sagte in Zabbix - logfiles einlesen:

Laut zabbix ist alles gut mit den Logs:

Keine Ahnung von wo der Screenshot ist oder was dieser aussagen soll.

Not Supported .. naja, er konnte nicht auf die Datei zugreifen, warum auch immer. Aber er probiert es später wieder (lässt sich einstellen), Default waren meine ich 10 Minuten. Das kann viele gründe haben, z.B. Log Rotation oder das BS hatte es blockiert.

Mal davon abgesehen sehe ich Log-Monitoring bzw. Eventlog-Monitoring als Büchse der Pandora, da kannst du Wahnsinnig bei werden. Da kommen immer mal Fehler, die Frage ist ob das schlimm ist.
Klar, Applikation X nach Fehler Typ Z überwachen weil es Problem gab - gerne. Aber generell die Logs auf Fehler ...
Ich teste lieber ob das was funktionieren auch funktioniert. Webserver? Ok, läuft der Dienst/Prozess? Ist der Port 80 und 443 erreichbar? Kann ich meine Testwebseite erreichen? Dann ist ok. Aber das Log des Webservers lasse ich in der Regel links liegen. Da schaue ich erst im Fehlerfall rein (zumindest aus Monitoring-Sichtweise). Security ist ein anderes Thema

[Segway]

@bananajoe sagte in Zabbix - logfiles einlesen:

Mal davon abgesehen sehe ich Log-Monitoring bzw. Eventlog-Monitoring als Büchse der Pandora, da kannst du Wahnsinnig bei werden. Da kommen immer mal Fehler, die Frage ist ob das schlimm ist.

Ja da hast du Recht. Hab da locker schon 5 Tage dran verschwendet.

Ich find es aber super da ich dadurch 2 Sachen bei 2 VMs festgestellt habe und die ERRORs behoben hab. Dadurch hat ich NUC Auslastung von ca. 50% auf ca. 30% runterschrauben können.
Daher dachte ich, wenn Logs auf FAILED oder ERROR prüfen und wegschreiben lassen und dann ggf. manuell per Console schauen was da los ist.

Aber ich krieg noch keinen reim aus dem Dingen.
Logs kommen rein aber Fehler auf dem Server sind trotzdem da.
Ich schaue mal nach Timeouts hochsetzen oder was man da einstellen kann

FRAGE:
Hast du das auch in der MYSQL DB laufen ?

[BananaJoe]

@segway Ich habe es mit MariaDB laufen, entspricht MySQL.
Sollte passen

Wie/wo hast du denn installiert?
Die wichtigste Regel: Immer wenn möglich Actice Agent verwenden, nimmt viel Last vom Zabbix-Server und von den Systemen

[Segway]

@bananajoe sagte in Zabbix - logfiles einlesen:

@segway Ich habe es mit MariaDB laufen, entspricht MySQL.
Sollte passen

Sehr gut allerdings mag ich MySQL mal grad überhaupt nicht

Wie/wo hast du denn installiert?

Läuft (erstmal) auf einem NUC in einem CT

Die wichtigste Regel: Immer wenn möglich Actice Agent verwenden, nimmt viel Last vom Zabbix-Server und von den Systemen

Jo das mit den Logfiles läuft alles mit active agent.
Aber die AccessPoints frage ich zB mittels SNMP ab läuft ganz gut und habe keine erhöhte Last auf den APs festgestellt