awk und schneiden Sie eine sehr große Datei
493
bryan
Ich muss eine Datenspalte aus einer sehr großen Datei> 100 GB extrahieren.
Ich weiß, wie das verwenden awkund cutBefehle es tun, aber würde gerne wissen, ob ein effizienter ist (aus einer Geschwindigkeit Perspektive) für eine solche Aufgabe.
Grep sollte der schnellste Weg sein, einen String in einer Datei zu suchen: `grep -o" \ w * pattern \ w * "/ path / to / file`. Vielleicht möchten Sie auch über "parallel" lesen, wenn Sie mehrere "grep" -Dateien in dieser Datei verwenden.
Alex vor 7 Jahren
0
Wenn "Schnitt" verwendet werden kann, sollte es schneller sein, da es viel einfacher und damit weniger leistungsfähig ist.
Michael Vehrs vor 7 Jahren
0
0 Antworten auf die Frage
Verwandte Probleme
-
3
Wie kann ich mit Python / AWK / SED ein Inhaltsverzeichnis für ein Markdown-Dokument erstellen?
-
2
Entfernen von Zeilenumbrüchen aus einer RTF-Datei mit sed
-
5
Fehler bei der Verwendung der Befehlszeile als Bash-Alias unter Linux
-
5
awk, mawk, nawk, gawk ... WAS?
-
3
Wie verwende ich grep, sed und awk, um Tags zu analysieren?
-
3
Verwendung von sed oder AWK zum Trennen einer Zeichenfolge (NICHT Zeichenfolge in Dateien)
-
4
Grepping eines Teilstrings aus einem Grep-Ergebnis
-
4
SQL wie Gruppieren nach und Summe für Textdateien in der Befehlszeile?
-
2
Ersetzen Sie n-ten Vorkommen von Zeichenfolgen in jeder Zeile einer Textdatei
-
6
Verknüpfen von Textdateien mit 600M + Zeilen