Bots Suchmaschine system

Bot - ein Roboter Retrieval-System (Abk. Englisch-Roboter).

 Er geht auf allen Seiten und führen den Index von deren Inhalt. Bots unterscheiden sich in ihren Funktionen. Es gibt Bots, die Index Content-Indizierung von Video, Audio, etc. Wenn es um die Suchmaschine system-Bots Suchmaschine system geht, können wir ihre Indizierung in robots.txt einschränken oder. Htaccess in Ihrem Blog / Website.