Bots und Spider sind nervig
Mit diesem kleinen Trick, sperren Sie die lästigen Quälgeister aus Ihrer Webseite komplett und sofort aus. Nehmen Sie je Bot und Spider einen einzelnen Eintrag in der htaccess vor und die Sache ist erledigt.
Bots in htaccess sperren
Tragen Sie die folgenden Zeilen in die htaccess je Bot und je Spider ein
RewriteEngine on
RewriteBase /
RewriteCond %{HTTP_USER_AGENT} AhrefsBot [OR]
RewriteCond %{HTTP_USER_AGENT} PetalBot [OR]
RewriteCond %{HTTP_USER_AGENT} AppleWebKit [OR]
RewriteCond %{HTTP_USER_AGENT} mj12bot [OR]
RewriteCond %{HTTP_USER_AGENT} DotBot [OR]
RewriteCond %{HTTP_USER_AGENT} mojeek [OR]
RewriteCond %{HTTP_USER_AGENT} YandexBot [OR]
RewriteCond %{HTTP_USER_AGENT} RepoLookoutBot [OR]
RewriteCond %{HTTP_USER_AGENT} python-requests [OR]
RewriteCond %{HTTP_USER_AGENT} googlebot
RewriteRule .* - [R=403,L]Code
speichern die Datei auf dem Webserver wie gewohnt ab und testen die Einstellung vom lokalen PC aus.
Bot Sperre testen
Rufen Sie unter Windows die PowerShell auf und geben das folgende Commndo ein (wichtig: DotBot sollte irgendwo im Text auftauchen, es geht aber auch jeder andere Bot den Sie blockieren möchten):
wget -Uri "http://domain.tld" -UserAgent "irgendwas DotBot hier auch irgendwas"Code
und die Console sollte dann einen
ERROR 403 Forbidden Code
empfangen können. Damit haben Sie eine Sperre gegen den DotBot in der htaccess eingerichtet und erfolgreich getestet.
Hilfe zu wget (Invoke-WebRequest)
Wenn Sie weiterführende Informationen zu wget brauchen, nutzen Sie die folgende OnlineDoku von Microsoft:
