¿Cómo se suelen comparar los embeddings en la búsqueda semántica?
Opciones
- Comprobando que aparecen las mismas palabras en los dos textos
- Ordenando los vectores alfabéticamente
- Por la longitud de cada texto
- Con la similitud del coseno (o el producto escalar) entre los vectores: los vectores más cercanos son los textos más parecidos (Opción correcta)
Respuesta
Con la similitud del coseno (o el producto escalar) entre los vectores: los vectores más cercanos son los textos más parecidos
Por qué
Los embeddings son vectores, así que "parecido" pasa a ser "cercano". La similitud del coseno mide el ángulo entre dos vectores; cuanto más cerca de 1, más parecido el significado.
Cuando los vectores están normalizados a longitud 1, la similitud del coseno y el producto escalar dan el mismo orden.
Esto es lo que permite que una búsqueda de "vuelos baratos" encuentre una página sobre "aerolíneas de bajo coste".
Recuerda
Vectores más cercanos = significado más parecido.