¿QUÉ SON Y CÓMO FUNCIONAN LOS ROBOTS DE BUSCADORES?

Básicamente todos los motores de búsqueda tienen un “robot” (no de ojalata ni de metal) que no es más que un proceso que navega la web como lo hacemos nosotros todos los días. Este proceso navega las páginas web escaneando su contenido, identificando palabras claves, analizando los links que cada página recibe tanto del mismo sitio  o de sitios externos y lo que hace es llevarse una copia de esa página. Esa copia de cada página web es enviada a los servidores de Google que procesan la información que este proceso o robot le va entregando a medida que sigue navegando por internet.

Este proceso o robot tiene un nombre específico para cada buscador. El robot de Google se llama Googlebot. El de MSN se llamaba MSNBot pero a partir de Octubre del 2010 lo reemplazaron con uno más nuevo llamado Bingbot ya que Microsoft hizo un relanzamiento de su buscador llamado Bing.

De esta manera los motores de búsqueda se hacen de una copia de cada página web que sus respectivos robots van encontrando. Estas copias forman parte luego de un índice, de ahí el término páginas indexadas, o sea páginas que forman parte de un índice. Es similar a aparecer en las Páginas Amarillas, sólo que el proceso es bastante diferente. Cuando uno se anuncia en las Páginas Amarillas aparece en un índice ordenado alfabéticamente. En el caso de los motores de búsqueda uno aparece ordenado mediante un algoritmo mucho más complejo que contempla varios factores para rankear las páginas en sus resultados de búsqueda o SERP´s ante la búsqueda de una palabra clave.

Sin estos “robots”, los motores de búsqueda no podrían mostrar resultados ante una búsqueda. Cuando uno hace una búsqueda en Google no es que Google sale a buscar en ese momento qué sitios responden a la palabra clave que uno puso en la caja de búsqueda. Si fuese así, tardaría siglos en mostrar los resultados porque tendría que salir a buscar bajo demanda en qué sitios hay algo que responda a lo que estemos buscando. Pero al tener copias de millones y millones de páginas que el robot previamente le fue entregando es más fácil presentar resultados. Incluso tarda menos de un segundo en hacerlo.

Esto lleva a plantearnos varias cuestiones relacionadas al SEO. Si el robot no puede acceder a tú página web o no puede interpretar correctamente su información eso se verá reflejado en los resultados de búsqueda. Si no puede acceder a tu página entonces sería como no existir en los resultados de búsqueda porque no hay páginas de tu sitio que Google haya podido procesar para mostrar ante una palabra clave relacionada.

Si puede acceder pero no puede interpretar correctamente su información eso se verá reflejado mediante un pobre posicionamiento y por ende pérdida de oportunidad de generar negocios, por  ello es fundamental lograr una adecuada accesibilidad del sitio web.

Resumiendo, los robots son procesos que cada buscador (Google, Bing, etc) tiene para recopilar cada página web de cada sitio para luego procesar y mostrar como resultado de búsqueda.

¿Cada cuánto ingresan los robots a mis sitios?

Depende de varios factores. Uno de ellos es de la cantidad de enlaces o links que tenga tu sitio web desde otros sitios. Mientras más enlaces haya desde otros sitios apuntando a tu sitio web, mayores serán las chances de que estos robots accedan a tu sitio ya que tienen más formas de llegar al mismo.

Fuente:

http://adbot.me/blog/que-es-googlebot-bingbot-y-los-robots-en-general