Bots und Spider sind nervig
Mit diesem kleinen Trick, sperren Sie die lästigen Quälgeister aus Ihrer Webseite komplett und sofort aus. Nehmen Sie je Bot und Spider einen einzelnen Eintrag in der htaccess vor und die Sache ist erledigt.
Bots in htaccess sperren
Tragen Sie die folgenden Zeilen in die htaccess je Bot und je Spider ein
RewriteEngine on
RewriteBase /
RewriteCond %{HTTP_USER_AGENT} AhrefsBot [OR]
RewriteCond %{HTTP_USER_AGENT} PetalBot [OR]
RewriteCond %{HTTP_USER_AGENT} AppleWebKit [OR]
RewriteCond %{HTTP_USER_AGENT} mj12bot [OR]
RewriteCond %{HTTP_USER_AGENT} DotBot [OR]
RewriteCond %{HTTP_USER_AGENT} mojeek [OR]
RewriteCond %{HTTP_USER_AGENT} YandexBot [OR]
RewriteCond %{HTTP_USER_AGENT} RepoLookoutBot [OR]
RewriteCond %{HTTP_USER_AGENT} python-requests [OR]
RewriteCond %{HTTP_USER_AGENT} googlebot
RewriteRule .* - [R=403,L]speichern die Datei auf dem Webserver wie gewohnt ab und testen die Einstellung vom lokalen PC aus.
Bot Sperre testen
Rufen Sie unter Windows die PowerShell auf und geben das folgende Commndo ein:
wget -Uri "http://domain.tld" -UserAgent "irgendwas DotBot hier auch irgendwas"und die Console sollte dann einen
ERROR 403 Forbidden empfangen können.
Hilfe zu wget (Invoke-WebRequest)
Wenn Sie weiterführende Informationen zu wget brauchen, nutzen Sie die folgende OnlineDoku von Microsoft:
