|
|
--- |
|
|
license: apache-2.0 |
|
|
language: |
|
|
- es |
|
|
--- |
|
|
|
|
|
# Introducción al Chatbot con Fine-Tuning para Consultas de SQL |
|
|
|
|
|
La conversión de consultas de usuarios en comandos SQL, es una de las aplicaciones más importantes de los LLM en el mundo real en la actualidad, pudiendo facilitar el |
|
|
procedimiento de acceso a los datos para usuarios de bases de datos no profesionales que no están familiarizados con SQL. |
|
|
|
|
|
## Detalles del modelo |
|
|
|
|
|
### Descripcion |
|
|
|
|
|
En este proyecto se busco hacer fine-tuning a 2 modelos diferentes: |
|
|
- Mistral 7B |
|
|
- Code Llama |
|
|
Para ver cual arrojaba mejores resultados como base |
|
|
|
|
|
Metodología como primer paso es generar un set de datos a partir de datos donde se incluya la pregunta y su SQL correspondiente, el segundo paso consiste en augmentar los datos utilizando diferentes técnicas, una vez generados los datos procedemos a una fase de entrenamiento |
|
|
Después de entrenar el modelo procedemos a una fase de pruebas se colocan instrucciones ya sean por voz o texto en caso de existir inconsistencias procedemos a una fase de corrección y obtenemos de manera multimodal el resultado esperado, en caso de ser una respuesta corta se darán los resultados con voz y si son muy grades se presentaran en forma de tablas o imagenes |
|
|
|
|
|
|
|
|
 |
|
|
|
|
|
## Uso |
|
|
|
|
|
Aqui se muestra un link al github con los los notebooks de entreamiento de cada modelo |
|
|
|
|
|
Primeramente se hizo un fine-tuning al modelo Code Llama para ver los resultados que nos daria |
|
|
- [CodeLlama](https://github.com/Asis41/LLM_SQL_BaseDatosEspanol/blob/main/sql-consulta-escuela.ipynb) |
|
|
|
|
|
Como segundo modelo se utilizo Mistral7b este se hizo un fine-tuning con el modelo quantizado a 4bits para que pueda ser ejectuado en una mayor cantidad de equipos |
|
|
|
|
|
- [Mistral](https://github.com/Asis41/LLM_SQL_BaseDatosEspanol/blob/main/trainer-llm-detect-ai-comp-mistral-7b%20(1).ipynb) |
|
|
|
|
|
## Contribuciones |
|
|
|
|
|
Nuestras contribuciones se listan a continuación: |
|
|
- Generar consultas por medio de audio o texto a una base de datos personalizada. |
|
|
- Entrenamiento de un modelo con texto en español para realizar consultas en SQL. |
|
|
- Entregar respuestas a consultas utilizando un enfoque multimodal (texto, audio o imágenes). |
|
|
- Validación de la calidad de las respuestas con mecanismos de autocorrección |
|
|
|
|
|
|
|
|
|
