Beiträge zum Thema “bash”
14. Dezember 2011
Aufgaben in der BASH parallelisieren
Heute wollte ich in der Bash (genauer: in der Bash meiner Cygwin-Installation) mehrere groĂźe Logfiles durchsuchen. Mit grep habe ich nach einer bestimmten Zeichenfolge ausschau gehalten und die Ausgabe sollte pro Datei in einer eigenen Ausgabedatei landen.
Mein erster Ansatz war eine Schleife ĂĽber die Verzeichnisse mit den Logfiles:
for i in *;do grep -hE "^[0-9.]+" $i/access_log* > $i-ips.txt;done Dabei stellte sich schnell heraus, dass die Logfiles mit mehreren Hundert Megabytes etwas zu groĂź fĂĽr so eine Herangehensweise waren.