Freigeben eines Unterverzeichnisses in robots.txt

440
xxl3ww

OK, derzeit wird das Verzeichnis / Assets / in unserer robots.txt indiziert. Es gibt ein Verzeichnis unter dem Verzeichnis / Assets /, das ich indizieren möchte (/ Assets / product_labels /). Gibt es eine Möglichkeit, dieses eine Verzeichnis zuzulassen, statt es in ein anderes Verzeichnis zu verschieben?

2

2 Antworten auf die Frage

2
nik

Sie können explizit Disallowfür alle Dateien und Ordner, die "Geschwister" sind, den Ordner angeben, den Sie geöffnet halten möchten.

Disallow: /Assets/Dir1 Disallow: /Assets/Dir2 Disallow: /Assets/DirN Disallow: /Assets/File1 Disallow: /Assets/File1 Disallow: /Assets/FileN

Lassen Sie einfach das /Assets/product_labelsAuslassen - um es zuzulassen.

Die Generierung dieser Liste kann automatisiert werden. Denken Sie jedoch daran, dass dies für jedes neue Verzeichnis oder jede neue Datei, Assetsdie Sie nicht zulassen möchten, ausgeführt werden muss.

Wenn Sie gut sind, das zu bewegen product_labels, Assetswird das sauberer.

0
xxl3ww

"Dies ist derzeit etwas umständlich, da es kein Feld" Zulassen "gibt. Der einfachste Weg ist, alle Dateien, die nicht zugelassen werden sollen, in ein separates Verzeichnis zu legen, beispielsweise" stuff ", und die eine Datei in der Ebene über diesem Verzeichnis zu belassen: "-> Zitat von: www.robotstxt.org

Verwandte Probleme