|
|
--- |
|
|
base_model: TinyLlama/TinyLlama-1.1B-Chat-v1.0 |
|
|
library_name: transformers |
|
|
license: mit |
|
|
language: |
|
|
- en |
|
|
- pt |
|
|
metrics: |
|
|
- accuracy |
|
|
new_version: lambdaindie/lambdai |
|
|
pipeline_tag: text-generation |
|
|
tags: |
|
|
- code |
|
|
- math |
|
|
--- |
|
|
|
|
|
Arquitetura |
|
|
|
|
|
Base: TinyLlama-1.1B-Chat |
|
|
|
|
|
LoRA: ativado (q_proj, v_proj) |
|
|
|
|
|
Quantização: 8 bits (bnb_config, com nf4) |
|
|
|
|
|
Dataset: HuggingFaceH4/MATH - subset number_theory |
|
|
|
|
|
Tokens: até 512 por amostra |
|
|
|
|
|
Batch: 20 por device |
|
|
|
|
|
Epochs: 3 |
|
|
|
|
|
|
|
|
|
|
|
--- |
|
|
|
|
|
Exemplo de uso (Python) |
|
|
|
|
|
from transformers import AutoTokenizer, AutoModelForCausalLM |
|
|
|
|
|
model = AutoModelForCausalLM.from_pretrained("lambdaindie/lambdai") |
|
|
tokenizer = AutoTokenizer.from_pretrained("lambdaindie/lambdai") |
|
|
|
|
|
input_text = "Problema: Prove que 17 é um número primo." |
|
|
inputs = tokenizer(input_text, return_tensors="pt") |
|
|
output = model.generate(**inputs, max_new_tokens=100) |
|
|
|
|
|
print(tokenizer.decode(output[0], skip_special_tokens=True)) |
|
|
|
|
|
|
|
|
--- |
|
|
|
|
|
Sobre a Lambda |
|
|
|
|
|
Lambda é uma startup solo fundada por Marius Jabami com foco em soluções educacionais, IA, automação e software independente. Este modelo representa a primeira iteração de uma linha voltada para educação e lógica matemática com LLMs leves. |
|
|
|
|
|
|
|
|
--- |
