Rotation von stdout protokollieren?

Als Alternative können Sie die Ausgabe über Tools weiterleiten, die vorrangig dazu dienen, Protokolldateisätze mit begrenzter, automatisch gedrehter Datei zu verwalten, z.

• Dan Bernstein ist multilogvon Daemontools
• Bruce Guenter ist multilogvon Daemontools-encore
• Laurent Bercot s6-logaus S6
• Gerrit Pape ist svlogdvon Runit
• Wayne Marshall ist tinylogvon Perp
• Meine cyclogaus nosh

Zu den Tools für die Verarbeitung der multilogProtokolldateisätze gehören unter anderem:

• Russ Allberys multilog-watch
• logrange
• Paul Kremer multilog-stamptail
• Meine follow-log-directoriesaus nosh
• Meine export-to-rsyslogaus nosh

Lesen Sie weiter

• Jonathan de Boyne Pollard (2015). " Protokollierung ". Die Daemontools-Familie . Häufig gegebene Antworten.
• Jonathan de Boyne Pollard (2016). Verwenden Sie nicht logrotateoder newsyslogin diesem Jahrhundert. . Häufig gegebene Antworten.
• https://unix.stackexchange.com/a/326166/5132

Das rotatelogsmit apache (im bindir) gelieferte tool (siehe docs ) nimmt die eingaben von stdin und dreht das Protokoll nach einiger zeit

Wenn Sie es zu einem der Standardprotokollströme (Syslog, Daemon, Cron, Benutzer, Sicherheit, E-Mail usw.) führen können logger, können Sie stattdessen den Befehl und die Pipe dorthin verwenden.

echo "Hello." | logger -p daemon.info 

Andernfalls können Sie den protokollierten Inhalt besser an ein benutzerdefiniertes Programm oder Skript übergeben, um ihn zu bearbeiten, oder die logrotateKonfiguration einrichten.

EDIT: JdeBPs Antwort scheint das zu haben, wonach Sie suchen.

Ich hatte ein ähnliches Problem und hatte anfangs Logrotate verworfen, aber es stellte sich heraus, dass Logrotate dies tatsächlich gut kann. Die Schlüsseldirektive lautet " copytruncate ". Aus irgendeinem Grund kam dieser Begriff bei keinem der googeln auf, die ich gemacht habe. Deshalb füge ich diese Antwort hinzu, um zu präzisieren, wie er in diesem Fall verwendet werden kann.

Der Trick ist, dass dies nur funktioniert, wenn die Weiterleitung mit " >> " (Anhängen) anstelle von " > " (Erstellen) erfolgt.

Konfigurationsdatei (truncate.cfg):

/tmp/temp.log { size 10M copytruncate rotate 4 maxage 100 } 

Testprogramm (gibt die Datei niemals auf). Sie können die Füllung des Datenträgers verfolgen und obwohl das Löschen der Protokolldatei zu funktionieren scheint, wird tatsächlich kein Speicherplatz auf dem Datenträger freigegeben:

cat /dev/urandom >> /tmp/temp.log 

Laufprotokoll drehen:

logrotate truncate.cfg 

Gibt es eine Möglichkeit, logrotate mit einem umgeleiteten stdout eines laufenden Prozesses zu arbeiten?

Ja! Schauen Sie sich die von logrotate angebotene Direktive "copytruncate" an. Durch Angabe dieser Option wird logrotate angewiesen, genau mit dieser Situation umzugehen: Ein einfaches Programm, das seine Protokolldatei unbegrenzt geöffnet hält.

Ein Vorbehalt kann in Ihrer Situation ein Problem sein oder nicht:

Beachten Sie, dass zwischen dem Kopieren und dem Abschneiden der Datei eine sehr kurze Zeitspanne liegt, sodass einige Protokolldaten verloren gehen können.

Anekdotisch habe ich einige "echte" Protokollquellen gesehen, die Benutzer dazu ermutigen, diese Direktive anzuwenden. Es gibt einige Diskussionen über diese Option hier .

Verwenden Sie split, es ist Teil von coreutils. Es kann stdin nehmen und es in Blöcke aufteilen (basierend auf der Blockgröße oder der Zeilenanzahl usw.).

Beispiel:

app | split --bytes 1G - /var/logs/put-prefix-here 

Hinweis dash (-) weist "split" an, stdin anstelle von Datei zu verwenden.

Ich mag es multilogfür meinen Anwendungsfall, aber mein Anwendungsfall ist so trivial / einfach, dass er nicht sehr einfach in den Dokumenten / Beispielen dargestellt ist, die ich gefunden habe. Hier ist ein einfaches Multilog-Beispiel:

mkdir /tmp/myapp ./myapp | multilog t s10000 n5 '!tai64nlocal' /tmp/myapp 2>&1 

Einige Notizen:

• Diese Dumps werden in das Verzeichnis / tmp / myapp / geschrieben
• Der s10000 steht für 10.000 Bytes *
• Das n5 stellt 5 Dateien dar. * Das 'aktuelle' Protokoll zählt als eine der Dateien, daher umfasst es 4 ältere Protokolle + 'aktuell'.
• Dies basiert auf den von François Beausoleil bereitgestellten Beispielen: http://blog.teksol.info/pages/daemontools/best-practices
• Ich verstehe viele Optionen nicht - ich verweise Sie auf die verschiedenen Dokumentationen, um dies zu erweitern ...
• Die Dokumente warnen, dass: "Note that running processor may block any program feeding input to multilog.""Prozessor" der '!tai64nlocal'Teil des Befehls ist

* Für viele Anwendungen sind diese Optionen für den Langzeitgebrauch schlecht. Sie ermöglichen es Ihnen, das Verhalten beim Füllen und Drehen der Protokolle schneller zu beobachten, als dies bei großen Protokollen der Fall ist.

Vergessen Sie nicht zu vergessen, wenn nötig! Mit nohup brauchen Sie nicht das 2>&1(s = 10e6 und n = 30 hier):

mkdir -p /tmp/myapp nohup ./myapp | multilog t s10000000 n30 '!tai64nlocal' /tmp/myapp & 

Dieser Befehl sollte Ihnen den Einstieg erleichtern.

Ich wollte nur Sam Hendleys Kommentar oben hinzufügen:

Der Trick ist, dass dies nur funktioniert, wenn die Weiterleitung mit >>(Anhängen) anstelle von >(Erstellen) durchgeführt wird.

Ich bin auf das gleiche Problem gestoßen, bei dem die Originaldatei immer größer wird, wenn Sie >(Erstellen) verwenden, aber wenn Sie >>(Anhängen) verwenden. Logrotate copytruncate funktioniert einwandfrei und wie erwartet. Die Originaldatei geht auf null Byte zurück und das Programm schreibt weiter.

Leiten Sie STDOUT und STDERR in eine rotierende Protokolldatei um:

1. some-program.sh >> /tmp/output.txt 2>&1 &

2. Erstellen Sie eine logrotate-Konfigurationsdatei /etc/logrotate.d, die in meinem Fall auch mit dem Namen "output_roll" bezeichnet wird.

   Beispielkonfiguration für meinen Fall:

   /tmp/output.txt { notifempty missingok size 1G copytruncate start 0 rotate 15 compress } 

3. Richten Sie Ihren Cron-Job in der /etc/crontabDatei ein

   * * * * * root /usr/sbin/logrotate /etc/logrotate.d/output_roll 

   Dadurch wird die Datei jede Minute überprüft. Sie können sich an Ihre Bedürfnisse anpassen.

4. Fang an:

   $> service crond restart 

5. Das ist es

Hinweis: Ich hatte auch ein Problem mit der Einstellung von SELinux, SELINUX=enforcingalso habe ich es eingestellt SELINUX=disabled.

I wrote a logrotee this weekend. I probably wouldn't if I've read @JdeBP's great answer and multilog.

I focused on it being lightweight and being able to bzip2 its output chunks like:

verbosecommand | logrotee \ --compress "bzip2 {}" --compress-suffix .bz2 \ /var/log/verbosecommand.log 

There's a lot of to be done and tested yet, though.