Administrar el archivo robots.txt de dentro WordPress.
Web Robots (también conocida como Web Wanderers, Crawlers o rastreadores o Spiders o arañas), son programas que recorren la Web de forma automática. Los motores de búsqueda comoGoogley los utilizan para indexar el contenido de la web, los spammers por ejemplo los utilizan para escanear en busca de direcciones de correo electrónico, además muchos otros usos.
Los propietarios de sitios web utilizan el archivo / robots.txt para dar instrucciones acerca de su sitio web a los robots, lo que se llama The Robots Exclusion Protocol,el Protocolo de Exclusión de Robots.
WordPress, por defecto, incluye un archivo robots.txt simple que genera de forma dinámica desde la aplicación WP. Esto es genial! pero tal vez quiera cambiar el contenido. Cuando los robots (como el robot de Google) rastrean su sitio, empiezan pidiendohttp://example.com/robots.txty revisan las instrucciones especiales. Yo voy a utilizar Robots.txt KBpara crear y editar el archivo robots.txt de dentro de WordPress
Cada vez que un usuario (o un robot, más probable) anexa “robots.txt” a la URL de su blog (por ejemplohttp://blog.example.com/robots.txt), este plugin servirá el archivo robots.txt que creado en el menú de administración de WordPress.
- Plugins parecidos WP Robots txtPara wordpress multisite, Multisite Robots.txt Manager
- Mas sobre los robots http://www.robotstxt.org/ o google
Os dejo además una configuración realizada por SigT.net nos ayudan a mejorar nuestrofichero robots.txt para mejorar la visibilidad del blog yevitar contenido duplicado en los buscadores.
¿Donde debemos aplicarla? Si has instalado el plugin Robots.txt KB deberás de ir a ajustes -Robots.txt KB y poner esta configuración en el cuadro de editar y apretar el botón enviar
#
# robots.txt para tu blog en WordPress.
#
# Usar bajo propia responsabilidad, que nos conocemos }:)
# http://sigt.net/archivo/robotstxt-para-wordpress.xhtml
#
# Primero el contenido adjunto.
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-includes/
Disallow: /wp-admin/
# También podemos desindexar todo lo que empiece
# por wp-. Es lo mismo que los Disallow de arriba pero
# incluye cosas como wp-rss.php
Disallow: /wp-
#
# Sitemap permitido, búsquedas no.
#
Sitemap: http://tu-web/sitemap.xml
Disallow: /?s=
Disallow: /search
#
# Permitimos el feed general para Google Blogsearch.
#
# Impedimos que permalink/feed/ sea indexado ya que el
# feed con los comentarios suele posicionarse en lugar de
# la entrada y desorienta a los usuarios.
#
# Lo mismo con URLs terminadas en /trackback/ que sólo
# sirven como Trackback URI (y son contenido duplicado).
#
Allow: /feed/$
Disallow: /feed
Disallow: /comments/feed
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /*/*/*/feed/$
Disallow: /*/*/*/feed/rss/$
Disallow: /*/*/*/trackback/$
#
# A partir de aquí es opcional pero recomendado.
#
# Lista de bots que suelen respetar el robots.txt pero rara
# vez hacen un buen uso del sitio y abusan bastante…
# Añadir al gusto del consumidor…
User-agent: MSIECrawler
Disallow: /
User-agent: WebCopier
Disallow: /
User-agent: HTTrack
Disallow: /
User-agent:Microsoft.URL.Control
Disallow: /
User-agent: libwww
Disallow: /
#
# Slurp (Yahoo!), Noxtrum y el bot de MSN a veces tienen
# idas de pinza, toca decirles que reduzcan la marcha.
# El valor es en segundos y podéis dejarlo bajo e ir
# subiendo hasta el punto óptimo.
#
User-agent: noxtrumbot
Crawl-delay: 50
User-agent: msnbot
Crawl-delay: 30
User-agent: Slurp
Crawl-delay: 10
Vía | SigT.net
¿Quieres contactar conmigo? Escribo un blog por el mero hecho de hacerlo pero si deseas ponerte en contacto conmigo lo puedes hacer a través del apartado de contactos aquí o en el correo josecunatq @ gmail.com
Jose Cuñat Divulgador y reseñista de historias gastronómicas y lugares que que valen la pena. Fotógrafo gastronómico y comentarista ecuánime . Antagonista de todo lo anterior. Contador de lo bueno y realista con las fotos. De vuelta a los orígenes, adentrándome en territorio ignoto a través de los libros de gastronomía, para recuperar la memoria de la cocina española y mediterránea. Y sobre todo amante de la paella Valenciana tradicional y contemporánea.
@JoseCunat amante del arroz y su sitiología, creador de valenciagastronomica.com @vlcgastronomica , entre otras.
