# EJEMPLOS: ------------------------------------------------------------------------------------------------------------------------

# Establecemos total libertad para webcrawler
# User-agent: webcrawler
# Disallow:

# Prohibimos totalmente el acceso a BadBot
# User-agent: BadBot
# Disallow: /
# Pero prohibir la idexación a spiders no deseables no tiene sentido porque simplemente no obedecen las instrucciones de robots.txt


# Mientras el sitio está en construcción prohibimos totalmente a todos (no olvidar quitarlo al publicarlo)
# User-agent: *
# Disallow: /


# Prohibimos a todos el acceso a los directorios /tmp y /log.
# User-agent: *
# Disallow: /tmp
# Disallow: /logs


# Saber que:
# Disallow: /help  (afecta a /help.html y a  /help/index.html)
# Disallow: /help/ (afecta a /help/index.html  pero no a  /help.html)

#Robots de buscadores importantes:
# Google - Googlebot
# Excite - ArchitextSpider
# Altavista - Scooter
# Lycos - Lycos_Spider_(T-Rex)
# Alltheweb - FAST-WebCrawler/


# MIS INSTRUCCIONES ----------------------------------------------------------------------------------------------------------------

# Prohibido para todos el acceso a los directorios /inc /img /trabajos y /prototipos

User-agent: *
Disallow: /inc/
Disallow: /img/
Disallow: /trabajos/
Disallow: /prototipos/

# Prohibición a Google indexar mis imágenes
User-Agent: Googlebot-Image
Disallow: /img/

User-agent: Googlebot
Disallow:

User-agent: ArchitextSpider
Disallow:

User-agent: Scooter
Disallow:

User-agent: T-Rex
Disallow:

User-agent: FastCrawler
Disallow: