Ojo a este estudio (Stanford), que evalua la credibilidad de los buscadores con IA generativa: Bing Chat, Neeva, Perplexity y YOU.
Veredicto: sólo un 51% de sus frases van acompañadas de fuentes, y en un 75% de los casos la fuente no confirma del todo la frase del buscador.
De los 4 buscadores analizados, Perplexity es el que más a menudo ofrece una fuente para sus afirmaciones (69%) y You el que menos (11%).
Mientras que Bing Chat es el que más a menudo ofrece fuentes que corroboran sus afirmaciones (89%) y You el que menos (63%).
El 89% de Bing Chat sobre las fuentes ofrecidas no está del todo mal, pero aún deja un 11% de error (muchos usuarios no se molestarán en comprobar esas fuentes o ir más allá).
Y hay que añadir que en un 40% de casos, Bing Chat afirma cosas sin ofrecer ninguna fuente.
Cualquiera que haya usado estos buscadores ya había experimentado esto, pero ahora tenemos datos.
Y como dice el estudio, lo peor es que sus respuestas dan al usuario la "sensación" de ser correctas y estar basadas en fuentes reales, incluso cuando es así. Vamos, como ChatGPT.
La conclusión es que los buscadores con IA generativa no cumplen bien (a día de hoy) con una de las funciones más importantes de un buscador: aportar fuentes para sus respuestas, para que el usuario pueda comprobarlo o ampliar información.
Link al paper: arxiv.org/pdf/2304.09848.pdf
Juan González Villa
@seostratega
Consultor SEO y divulgador sobre IA. Dirijo @AgenciaUSEO, equipazo especializado en SEO internacional y para ecommerce. Soy un loco con dos newsletters. 😅
