Bueno, vamos a hablar de indexación.
Que Google indexe todas tus URLs es cada vez menos frecuente, y no es un problema sólo para webs de nicho.
¿Indexa Google menos páginas, o más lentamente, que antes? Si es así, ¿por qué? Y sobre todo... ¿Cómo solucionarlo?
HILO 🧵 ⤵
Al lío. Google no puede ni quiere indexar todo internet. Está lleno de duplicaciones y hasta de cosas que probablemente nunca tendrán demanda para el buscador, por lo que el gasto de mantenerlas en el index quizá sea igual o mayor que los ingresos que lleguen a aportar (0).
Este problema ha ido a más, y seguirá yendo a más por razones obvias:
El coste de generar texto coherente (que parezca redactado por un humano, lo cual no quiere decir "interesante") ha caído hasta mínimos impensables hace pocos años, gracias a GPT-3.5 y 4, Claude, etc.
Google se enfrenta ya a una avalancha de nuevo contenido sin precedentes.
Para entenderlo, aunque llevado a las IAs generativas de imágenes: se estima que en un año se han generado tantas imágenes con IA como las tomadas por las cámaras de fotos en sus primeros 150 años 🙀
Una solución podría ser rechazar por sistema todo lo generado por IA, pero hay dos inconvenientes:
1. Ni Google, ni OpenAI, ni nadie a día de hoy puede diferenciar el texto generado por los modelos más avanzados del escrito por humanos. Más aquí:
twitter.com/seostratega/status/1700811616290545934
2. Sería absurdo rechazar una herramienta para generar contenido, que al final eso es un modelo tipo GPT, igual que antes lo fue el procesador de texto.
Un autor experto en su tema puede producir buen contenido usando IA generativa (y revisando debidamente).
Entonces, volvemos al problema inicial: Google tiene demasiado contenido, y necesita criterios automatizados para elegir con cuál se queda.
Ya no sólo es qué rankea más arriba, es si te considera siquiera para rankear o no.
El contenido nuevo, antes de ser indexado, debe ser descubierto y rastreado por Google (para esto último hay excepciones, pero no lo vamos a ver ahora).
Para rastrear, Google añade todas las URLs que encuentra a una cola, ordenada algorítmicamente.
Lo que estima es más importante, se pone primero en la cola, y lo que estima que es prescindible o no urge, es empujado hacia el final de la cola.
Cada vez que se añade una URL nueva a la cola, ocupa su lugar y empuja a otras consideradas menos importantes hacia atrás.
Algunos criterios que ayudan a Google a decidir la posición de cada URL en la cola de rastreo son:
• Enlaces (básicamente el PageRank de siempre)
• Otras señales de autoridad (medios establecidos indexan muy rápido todas sus URLs)
• Demanda en el buscador del contenido
Si recuerdas la avalancha de contenido nuevo que se le está juntando a Google, entenderás por qué las webs nuevas o con poca autoridad tardan cada vez más en tener sus URLs indexadas, y más si pretenden indexar de golpe miles o cientos de miles de páginas.
Esto puede ser peor si todas las URLs de una nueva webs se dirigen hacia búsquedas sin demanda (demasiado longtail) o con demanda ya cubierta de sobra por contenido existente en el index de Google. Si no aportas nada nuevo o de interés, ¿por qué debería priorizarte Google?
Un matiz para webs nuevas. Para no condenar a las webs nuevas a no poder acceder al index y poder reunir señales sobre ese sitio, usa el criterio de que cuando encuentra un sitio del que aún no ha indexado nada, sube sus URLs en prioridad... pero hasta un punto.
Pasado ese punto, de nuevo trata a sus URLs como al resto, y si no hay otras señales, las URLs que queden sin rastrear e indexar pasarán a un lugar muy poco prioritario en la cola.
PD: La home de un sitio se suele rastrear e indexar tan pronto como Google la descubre.
Vale, ahora que entendemos el sistema general, ¿qué podemos hacer para que Google indexe más URLs o más rápido?
1. Enlaces y PageRank interno
Conseguir enlaces hacia sitios y URLs nuevas hace que aumente su prioridad en la cola...
Esto está reconocido hasta por John Müller (ver post anterior), y al menos en el caso de enlaces internos, suele casar con lo que se ve cuando comparas la indexación de tus URLs con su PageRank interno:
Usar esto es sencillo. Por ejemplo, en un ecommerce, puedes enlazar tus productos recién llegados desde la home, o al menos los que más te interese indexar, por unos días.
Analizar el enlazado interno de tu sitio te dará pistas para enviarle más amor a las URLs a indexar.
2. Sitemaps: aunque no supone un extra demasiado alto, estar en un sitemap cuenta.
Como puedes tener tantos sitemaps como quieras, puede ser buena idea crear un sitemap sólo con las últimas URLs indexables añadidas al sitio. Así además puedes seguir cómo se van indexando.
3. Aprovechar tendencias: si eres de los primeros en hablar de algo que los usuarios empiezan a buscar con mucha más frecuencia que antes, Google te indexará rápido (suponiendo que conozca la URL, que la puedes enviar por Search Console).
Esto va en línea con el concepto de Information Gain: aportar información nueva, que no se encuentre en ninguna otra URL en el index de Google.
Copiar o hacer refritos de lo ya existente, subir las mismas imágenes que tienen otras páginas, etc. no te ayudará a indexar.
4. Crear contenido con ratio positivo demanda/oferta.
En la misma línea, es mejor (para la indexación) subir contenido sobre temas que se buscan, pero aún no están saturados (no muchos sitios han hablado sobre ellos), que sobre temas totalmente trillados. Océano azul. ;)
5. Búsquedas de marca: son una señal positiva, porque le dice a Google que tu sitio tiene algo que los usuarios están buscando.
No aseguro que por sí solas muevan la aguja, pero es un extra que es útil tener (aunque es casi imposible tenerlo en sitios nuevos).
Resumiendo, el consejo de Google de aumentar el valor único que proporciona tu web, en relación a lo que ya se encuentra en internet, es válido y tiene todo el sentido, aunque lógicamente hay que bajarlo a tierra y saber aplicarlo:
twitter.com/JohnMu/status/1288446257279766528
Un sitio nuevo, sin autoridad y con cientos de miles de URLs que apenas tienen contenido original siempre tendrá problemas para indexar bien, y es probable que cada vez más.
Si quieres ampliar o ver más ideas recomiendo este hilo de @Ammon_Johns twitter.com/Ammon_Johns/status/1714985948759335009