Integración de Watson Discovery con modelos de fundación watsonx.ai

Este laboratorio le mostrará cómo podemos utilizar Watson Discovery y watsonx.ai juntos para resolver un caso de uso de la generación de recuperación y aumento (RAG). Al combinar los modelos de base watsonx.ai LLM (Gran Modelo de Lenguaje) con una base de datos de datos existente, podemos obtener respuestas más perspicaces de watsonx que se basan en datos y hechos conocidos.

¿Qué es RAG?

Para el contexto, RAG o Retrieval-La generación aumentada es un marco de IA ahora común utilizado para mejorar la calidad de las respuestas generadas por LLM mediante la puesta a tierra del modelo utilizando fuentes externas de conocimiento para complementar la representación interna de una LLM de información.

El uso de fuentes externas proporciona unos pocos beneficios, como la mejora de la calidad de las respuestas de un LLM, así como la fiabilidad general de esas respuestas.

Esto se hace, en parte, proporcionando un LLM con los datos más actuales y fiables *(es decir, base de conocimiento) *y garantizar que los usuarios tengan acceso a las fuentes del modelo, asegurándose de que sus reclamaciones puedan ser comprobadas con exactitud y, en última instancia, de confianza.

Del mismo modo, al poner en tierra un LLM en un conjunto de hechos externos y verificables, el modelo tiene menos oportunidades de tirar de la información al horno en sus parámetros o sesgos de sus datos de entrenamiento. Esto reduce las posibilidades de que un LLM filtrará datos sensibles o *"alucinado" *información incorrecta o engañosa.

Watson Discovery

Watson Discovery es una plataforma basada en IA desarrollada por IBM, accesible a través de la nube y diseñada para ayudar a las empresas a obtener información significativa de datos no estructurados. A través de la utilización del procesamiento de lenguaje natural (PNL) y las técnicas de aprendizaje automático, Watson Discovery ayuda a las organizaciones a descubrir información valiosa de diversas fuentes, como documentos de texto y contenido web. Es una parte integral de la suite de herramientas de IA de IBM conocida como Watson.

En este laboratorio, haremos uso de una base de conocimientos que consta de algunos documentos financieros, que se ingieren en Watson Discovery. Entonces haremos uso de watsonx.ai para hacer algunas preguntas perspicaces sobre los documentos financieros basados en la base de conocimiento. Se puede encontrar un enlace a los datos financieros utilizados aquí .

Ingestión de datos en Watson Discovery

Para esta sección del laboratorio, vamos a mostrar cómo puede ingerir datos en Watson Discovery para crear una base de conocimiento que más adelante se puede utilizar dentro de watsonx.ai.

Si está completando este laboratorio en un entorno de taller, es posible que una instancia de Watson Discovery con una colección de documentos ya esté configurada para usted; pregunte a su instructor de laboratorio. De lo contrario, puede crear su propia instancia de Watson Discovery desde IBM Cloud con su propia colección de documentos. Los pasos para cómo hacerlo se pueden encontrar a continuación.

Creación de un proyecto en Watson Discovery

Antes de ingerir datos en Watson Discovery, empezaremos creando un nuevo proyecto.

En la pantalla principal de Watson Discovery, pulse el botón **Nuevo proyecto **.
En la siguiente pantalla, asigne un nombre a su nuevo proyecto y seleccione el **Recuperación de documentos **tipo de proyecto.
En la siguiente pantalla, seleccione la **Cargar datos **para que pueda cargar sus propios datos en el proyecto de Watson Discovery.
En la siguiente pantalla, dé a su nueva colección un nuevo nombre, como _Documentos financieros _, y seleccione la opción OCR en más valores de proceso.
En esta pantalla final, arrastre y suelte los datos para subirlos utilizando el cuadro de diálogo. Tenga en cuenta las limitaciones del archivo.

Para la coherencia de esta práctica de laboratorio, puede encontrar un enlace a los documentos utilizados en esta colección de laboratorios aquí .
Si se carga correctamente, debe ver el número total de documentos cargados bajo la tarjeta con la colección que ha nombrado anteriormente.
Si ve los documentos que faltan o desea investigar los datos cargados para el proceso, puede pulsar en la colección con nombre y ver detalles adicionales. Cualquier problema relacionado con el proceso de sus datos será anotado por Watson Discovery en esta página de la pestaña de actividad.
Bajo el **Gestionar datos **, revise los documentos individuales que componen su colección.
Por último, si desea integrar la colección de Watson Discovery en otros servicios, puede ver el *id_proyecto *asociado con la colección de Watson Discovery bajo el **Integrar y desplegar **elemento de barra lateral izquierda.

Ejecutar el laboratorio Watson Discovery + watsonx.ai

Junto con Watson Discovey como nuestra base de conocimientos, haremos uso de los modelos de la fundación watsonx.ai para responder a las preguntas sobre los documentos de nuestra Watson Discovery Collection.

Para ejecutar el laboratorio para esta sección, empezaremos por iniciar sesión en la plataforma watsonx. Después de navegar a la página principal de watsonx aquí , desearemos abrir el editor de Notebook que podemos utilizar para ejecutar el cuaderno asociado con este laboratorio.

Si no sabe cómo access watsonx.ai o no está seguro de cómo abrir al editor de notebook, siga este enlace de referencia , que le guiará a través del proceso para acceder a watsonx.ai y abrir el editor de portátiles Jupyter.

Utilice los siguientes valores para esta práctica de laboratorio:

Name: {uniqueid}-rag-discovery
Notebook URL: https://raw.githubusercontent.com/ibm-build-lab/VAD-VAR-Workshop/main/content/Watsonx/WatsonxAI/files/rag-with-discovery.ipynb

Después de que el portátil se haya lanzado y creado, puede seguir y ejecutar a través de cada celda del cuaderno para completar el laboratorio. El cuaderno contiene comentarios que explican qué código de cada celda hace, así como cualquier entrada necesaria que es posible que deba proporcionar para poder ejecutar correctamente una célula.

¡Buena suerte!