Para presentar los mejores resultados de búsqueda posibles, los motores de búsqueda deben de descubrir y comprender el contenido de una web para ayudar al usuario a localizar la información que esta buscando. Tanto Google, como los demás motores de búsqueda, realizan 3 tareas principalmente: rastreo, indexación y clasificación.
Rastreo
El rastreo es la primera de las tareas que realiza un buscador. Básicamente lo que hace es descubrir las nuevas urls que aparecen en internet.
Los buscadores descubren las diferentes urls de los sitios web navegando por medio de los enlaces. Todo ello gracias a las arañas o robots de búsqueda, que hacen que ese robot vaya visitando cada día más urls y descubriendo nuevas.
Indexación
La indexación es la segunda tarea, lo que hace el buscador es almacenar todo ese contenido en su base de datos.
Esa base de datos es enorme y almacena todos esos datos en grandes Data Centers que tiene el buscador repartidos por el mundo. En esta base de datos, o mejor dicho bases de datos, el contenido de la url se queda esperando a ser clasificado según diferentes parámetros.
Clasificación
Por último en la fase de clasificación lo que hace el motor de búsqueda es indicar que url debe de mostrar cuando un usuario introduce unas palabras en la barra de búsqueda.
Esta es la fase más complicada de todas por que es en la que el buscador hace uso de los diferentes algoritmos para indicar cual es la url indicada para cada consulta (query).