Atualmente, salvo raras exceções, não se fazem cadastro em sites de busca, eles são automaticamente descobertos por programas conhecidos como "Robots".

Quem trabalha com firewalls ou monitora os dados que são requisitados em seu site já deve ter encontrado alguns deles e pode não tê-los reconhecido. Além disso nem sempre é vantagem ter seu conteúdo indexado por um buscador, pois informações confidencias podem ser divulgadas, scripts vulneráveis encontrados, entre outros tantos problemas.

Considerações iniciais

Robots: Robôs de busca ou "Robots" são programas que varem sites e automaticamente disponibilizam todo conteúdo/arquivos que for encontrado e que for "permitido" listar. Exemplos: Google-Bot, AllTheWeb.

Podem ser conhecidos também como "Spiders", "Web Crawlers", "Worms" ou "Ants".

Robots podem ser usados para coletar e-mails (Spiders) e outras informações ou simplesmente para servir a um search engine.

Buscador (search engine): Esse é o indexador do robô de busca. Ele disponibiliza o conteúdo conforme uma string solicitada. Exemplo: Google.

Agentes

Agentes autônomos - ( Autonomous agents ): São programas que circulam entre sites e tomam decisões do que fazer sozinhos, isso só é possível em servidores especiais, não são muito comuns.

Agentes Inteligentes - ( Intelligent agents): Utilizados para auxiliar os usuários a tomarem decisões, propagandas de contextos etc.

Agente de Usuário - ( User-agent ): É o agente utilizado por programas que realizam tarefas para um usuário, como IE, NS, Firefox, Outlook. Exemplo: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0), esse é o user-agent do IE 6 com Windows 2000.