204: Implementar los casos de uso del RAG

Bases de datos vectoriales

La "base de conocimientos" para la etapa de recuperación suele implementarse como una base de datos vectorial. Las bases de datos vectoriales no son nuevas, se utilizan desde hace varios años para la búsqueda semántica.

La búsqueda semántica es una técnica de búsqueda cuyo objetivo es comprender la intención y el contexto de la consulta de un usuario. Es más avanzada que la búsqueda tradicional basada en palabras clave, que se basa en la coincidencia de palabras clave específicas.

Algunas bases de datos vectoriales populares son:

• Chroma (código abierto)
• Milvus
• Elasticsearch
• SingleStore
• Pinecone
• Redis
• Postgres

Algunas bases de datos vectoriales, como _Chroma, son bases de datos en memoria, lo que las convierte en una buena opción para experimentar y crear prototipos de casos de uso de RAG. Las bases de datos en memoria no necesitan ser instaladas ni configuradas. Esto se debe a que todos sus datos se almacenan en memoria volátil durante el tiempo de ejecución del programa. Sin embargo, el inconveniente de esto es que tendremos que cargar los datos cada vez que ejecutemos la aplicación.

Las bases de datos vectoriales almacenan datos no estructurados en formato numérico. Para los casos de uso de IA, utilizamos un término específico para describir los datos no estructurados convertidos: embeddings. Las embeddings se crean utilizando un modelo de embeddings, por ejemplo, un popular modelo de código abierto word2vec_.

Una de las principales características de las incrustaciones es la capacidad de preservar las relaciones. Con las incrustaciones, las palabras pueden "sumarse y restarse" como los vectores en matemáticas. Uno de los ejemplos más famosos que lo demuestran es el siguiente:

king - man + woman = queen
txt
Copiar código al portapapeles

En otras palabras, la suma de los vectores asociados a las palabras rey y mujer y la resta de hombre es igual al vector asociado a la palabra reina. Este ejemplo describe una relación de género.

Otro ejemplo podría ser:

Paris - France + Poland = Warsaw
txt
Copiar código al portapapeles

La diferencia vectorial entre París y Francia recoge aquí el concepto de capital.

He aquí un ejemplo de búsqueda semántica de la palabra "educación". Fíjese en las palabras "punto más cercano" de la tabla. La medida está en números porque la búsqueda se realizó utilizando datos vectoriales (numéricos).

Aquí puede seguir experimentando.

Basándonos en lo que hemos debatido hasta ahora, podemos sacar las siguientes conclusiones:

• Disponemos de varias bases de datos vectoriales para la aplicación de los casos de uso de la GAR
• Podemos elegir entre varios modelos de embeddings para convertir datos no estructurados en vectores
• La recuperación de información relevante es el primer paso en el patrón GAR, y la calidad puede verse afectada por la elección de una base de datos vectorial y un modelo de embeddings.

Atención! Partes de esta sección estarán en el cuestionario.

Además de los factores mencionados, la carga de datos en la base de datos vectorial requiere "chunking", que es el proceso de dividir el texto en secciones que se cargan en la base de datos. No existe una pauta única para definir los trozos porque el tamaño óptimo depende del contenido con el que trabajemos.

Para los casos de uso de IA generativa, normalmente empezamos con trozos de tamaño fijo, que deben ser "semánticamente significativos". Por ejemplo, si en su documento cada párrafo tiene aproximadamente 200 palabras, convierta el número de palabras en varios tokens (puede variar según el LLM) y utilice este número como tamaño inicial del chunk. Además del tamaño del chunk, también tenemos que especificar el solapamiento (la misma información en más de un chunk).

Los proveedores de modelos deberían publicar información sobre el tamaño de trozo y el porcentaje de solapamiento recomendados para casos de uso específicos. Sin embargo, aunque se publique esta información, los desarrolladores tendrán que experimentar para encontrar el tamaño de trozo óptimo. Si no encuentra información sobre el solapamiento recomendado, puede empezar con un 10 por ciento (especificado en el formato de "número de tokens", por ejemplo, 100 si su tamaño de chunk es 1000).

En resumen, debemos seguir los siguientes pasos a la hora de implementar el caso de uso RAG:

1. Seleccione una base de datos vectorial. Al trabajar con watsonx.ai, debemos confirmar que la base de datos vectorial seleccionada es compatible. Consulte la documentación de IBM para conocer las últimas actualizaciones.
2. Seleccione el modelo de embeddings. Confirma que el modelo de embeddings funciona con la base de datos vectorial seleccionada.
3. Experimente con el tamaño de los trozos.

Como hemos comentado anteriormente, la segunda parte del caso de uso RAG, el envío de instrucciones a LLM, es similar a los patrones no RAG. Los desarrolladores deben prestar especial atención a los límites de tokens porque el contenido recuperado se añadirá a la instrucción. Si se supera el límite de tokens en la entrada, el modelo no podrá generar la salida. Esta comprobación deberá implementarse como "código personalizado" en sus aplicaciones LLM.

La API WML devuelve errores si se supera el tamaño del token.