Ich bin auf der Suche nach einer einfachen Maut, die das Web durchsuchen kann, dem ich es gebe, und alle Textelemente daraus extrahieren kann. Es wäre schön, wenn es geht: Nur Text, Alt und Titel für Bilder, Kopfzeile. Alle separat, wenn möglich. Die Ausgabe sollte irgendwie durchsuchbar sein oder Textdateien (xml) für jede durchforstete Seite sein. Ich brauche diesen Text, um sie an Übersetzer weiterzugeben.
Der gute alte Lynx kann Ihnen die meisten gewünschten Funktionen bieten. Versuchen Sie es lynx -dump http://superuser.com/zum Beispiel.
Sie können auch wgetfür das rekursive Crawlen der benötigten Sites verwenden und die Dateien dann mit verschiedenen verfügbaren Konvertern wie htmltidy verarbeiten .