Die robots.txt gibt der Suchmaschine erweiterte Informationen, die mehr, als nur die Beschreibung und Schlüsselworte enthalten. Der Tag "robots" wird meistens zweifach verwendet. Zum einen meta name="robots" content="index" und zum anderen meta name="robots" content="follow" "index" lässt die Suchmaschine das so genannte "Root-Verzeichnis" nach allen lesbaren Webdokumenten durchsuchen und nach Infos Ausschau halten. Hier findet nun auch die robots.txt ihre Aufgabe. In der robots.txt können Verzeichnisse angegeben werden, die die Suchmaschine nicht durchsuchen soll. Sehr von Vorteil bei CGI-Verzeichnissen und sonstigen Verzeichnissen, die nicht unbedingt für jeden User gedacht sind. Wie eine robots.txt aufgebaut ist, seht Ihr hier..."follow" ist ein Befehl für die Suchmaschine, alle vorhandenen Links zu verfolgen und die verlinkten Webdokumente ebenfalls wieder nach den Inhalten des MetaTag´s zu durchsuchen. Der richtige Tag für die Robots lautet: <meta name="robots" content="index"><meta name="robots" content="follow">
