Baidu Spider es un programa que contiene piezas de codigo usados por el buscador Baidu. Como todos los robots, Baidu Spider visita las paginas web que hay en internet y las indexa en una base de datos basada en palabras claves. Cuando un usario realiza una busqueda con una determinada palabra clave en los resultados se muestran las paginas mas relevantes en las primeras posiciones

User agents para Baidu Spider

Baidu Spider usa diferentes user agents para distintos propositos como por ejemplo:

• Busqueda inalambrica ->Baidu spider
• Busqueda de imagenes -> Baidu spider-image
• Busqueda de video -> Baidu spider-video
• Busqueda de noticias -> Baidu spider-news
• Favoritos Baidu -> Baidu spider-favo
• Union Baidu -> Baidu spider-cpro
• Busqueda de negocios -> Baidu spider-ads
• Busqueda en la web -> Baidu spider

Los user agents Baidu spider-cpro y Baidu spider solamente rastrean la web para realizar operaciones con el consentimiento del cliente, pero no todas las paginas se indexan y no cumple con el protocolo estandar para ROBOTS.TXT.

Controlar Baidu Spider

Baidu spider rastrea automaticamente el contenido de nuestra pagina web para encontrar las ultimas actualizaciones. Puede pasar que Baidu spider tenga influencia en el rendimiento de nuestro proyecto y se hace necesario cambiar la frecuencia de rastreo con las herramientas de webmaster de Baidu

Con el uso del archivo robots.txt podemos hacer que Baidu spider deje de rastrear nuestro sitio web. Tengamos en cuenta que si hacemos esto puede tomar varios meses para que dejen de aparecer nuestras paginas indexadas en los resultados de busqueda

Tambien tenemos la opcion de agregar la siguiente etiqueta para evitar que Baidu muestre nuestras paginas en sus resultados de busquedas