Spider und Bots mit der htaccess sperren
Sperren Sie nervige Spider und Bots Ihrer Webseite komplett und dauerhaft mit der htaccess aus.
Juli 5, 2023 - Lesezeit: ~1 Minute
Inhalt
- Bots und Spider sind nervig
- Bots in htaccess sperren
- Bot Sperre testen
- Hilfe zu wget (Invoke-WebRequest)
Bots und Spider sind nervig
Mit diesem kleinen Trick, sperren Sie die lästigen Quälgeister aus Ihrer Webseite komplett und sofort aus. Nehmen Sie je Bot und Spider einen einzelnen Eintrag in der htaccess vor und die Sache ist erledigt.
Bots in htaccess sperren
Tragen Sie die folgenden Zeilen in die htaccess je Bot und je Spider ein
RewriteEngine on
RewriteBase /
RewriteCond %{HTTP_USER_AGENT} AhrefsBot [OR]
RewriteCond %{HTTP_USER_AGENT} PetalBot [OR]
RewriteCond %{HTTP_USER_AGENT} AppleWebKit [OR]
RewriteCond %{HTTP_USER_AGENT} mj12bot [OR]
RewriteCond %{HTTP_USER_AGENT} DotBot [OR]
RewriteCond %{HTTP_USER_AGENT} mojeek [OR]
RewriteCond %{HTTP_USER_AGENT} YandexBot [OR]
RewriteCond %{HTTP_USER_AGENT} RepoLookoutBot [OR]
RewriteCond %{HTTP_USER_AGENT} python-requests [OR]
RewriteCond %{HTTP_USER_AGENT} googlebot
RewriteRule .* - [R=403,L]speichern die Datei auf dem Webserver wie gewohnt ab und testen die Einstellung vom lokalen PC aus.
Bot Sperre testen
Rufen Sie unter Windows die PowerShell auf und geben das folgende Commndo ein (wichtig: DotBot sollte irgendwo im Text auftauchen, es geht aber auch jeder andere Bot den Sie blockieren möchten):
wget -Uri "http://domain.tld" -UserAgent "irgendwas DotBot hier auch irgendwas"und die Console sollte dann einen
ERROR 403 Forbidden empfangen können. Damit haben Sie eine Sperre gegen den DotBot in der htaccess eingerichtet und erfolgreich getestet.
Hilfe zu wget (Invoke-WebRequest)
Wenn Sie weiterführende Informationen zu wget brauchen, nutzen Sie die folgende OnlineDoku von Microsoft:
Schlagworte: