Viele Administratoren und Domain-Besitzer kennen das Problem, oft sollen die nervigen Bots, die die Daten der Webseite ungefragt kopieren, gesperrt werden. Dazu richtet man normalerweise eine Liste mit Bot-Namen ein, die vom Server abgewiesen werden. Diese Liste kann jedoch unglaublich lang werden, denn täglich erblicken neue Bots das Licht der digitalen Welt.
Es ist viel sinnvoller eine Hand voll Bots zu erlauben und alle anderen Spider und Bots abzuweisen. Mit dem folgenden Eintrag ist das ganz leicht erledigt:
...
# --- Erlaubte Bots (Googlebot und Bingbot) ---
RewriteCond %{HTTP_USER_AGENT} !(Googlebot|Bingbot) [NC]
RewriteCond %{HTTP_USER_AGENT} ^.*(bot|crawl|spider|slurp).*$ [NC]
RewriteRule .* - [F,L]
...htaccess
Die oben gezeigten Befehle lassen den Googlebot und den Bingbot passieren und weisen alle Bots, Crawler und Spider ab, die nicht Googlebot oder nicht Bingbot heißen.
Normale Zugriffe durch menschliche Leser, sind nach wie vor möglich.
