File size: 2,454 Bytes
e3435fb 4c120d6 e3435fb 4c120d6 e3435fb 4c120d6 e3435fb 4c120d6 e3435fb 4c120d6 e3435fb 4c120d6 e3435fb 4c120d6 e3435fb 4c120d6 e3435fb 4c120d6 e3435fb 4c120d6 e3435fb 4c120d6 e3435fb 4c120d6 e3435fb 4c120d6 e3435fb 4c120d6 e3435fb 4c120d6 e3435fb 4c120d6 e3435fb 4c120d6 e3435fb 4c120d6 e3435fb 4c120d6 e3435fb 4c120d6 e3435fb 4c120d6 e3435fb 4c120d6 e3435fb 4c120d6 e3435fb 4c120d6 e3435fb 4c120d6 e3435fb 4c120d6 e3435fb 4c120d6 e3435fb 4c120d6 e3435fb 4c120d6 e3435fb 4c120d6 e3435fb 4c120d6 e3435fb 4c120d6 e3435fb 4c120d6 e3435fb 4c120d6 e3435fb 4c120d6 e3435fb 4c120d6 e3435fb 4c120d6 e3435fb 4c120d6 e3435fb |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 |
---
---
license: mit
datasets:
- HuggingFaceH4/MATH
language:
- en
tags:
- math
- number-theory
- lora
- quantized
- tinyllama
- reasoning
- education
inference:
parameters:
max_new_tokens: 256
temperature: 0.7
top_p: 0.95
top_k: 50
---
<div align="center">
# lambdai · TinyLlama-1.1B finetuned on Number Theory
[](https://huggingface.co/lambdaindie)
</div>
**lambdai** é o primeiro modelo oficial da organização **Lambda (Λ)** — uma startup solo angolana de pesquisa em IA liderada por Marius Jabami.
Esse modelo foi finetunado a partir do [TinyLlama/TinyLlama-1.1B-Chat-v1.0](https://huggingface.co/TinyLlama/TinyLlama-1.1B-Chat-v1.0) usando **LoRA + quantização em 8 bits**, com foco em **raciocínio matemático simbólico**, especialmente **teoria dos números**.
---
## Dataset
Treinado com o subset `number_theory` do benchmark [HuggingFaceH4/MATH](https://huggingface.co/datasets/HuggingFaceH4/MATH), no split `test`, que contém problemas complexos de matemática com soluções detalhadas.
---
## Treinamento
**Parâmetros LoRA**:
- `r=8`, `alpha=16`
- `target_modules=["q_proj", "v_proj"]`
- `dropout=0.05`
- Quantização 8-bit (QLoRA)
**Formato de entrada:**
```text
Problem: <descrição do problema>
Solution:
---
Exemplo de uso
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("lambdaindie/lambdai")
tokenizer = AutoTokenizer.from_pretrained("lambdaindie/lambdai")
prompt = "Problem: What is the smallest prime factor of 91?\nSolution:"
inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=256)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
---
Aplicações
IA explicativa para matemática
Tutores autônomos com raciocínio passo a passo
Assistência em resolução simbólica
Agentes educacionais
Treinamento de reasoning agents
---
Sobre a Lambda
Λ Lambda é uma startup indie fundada por Marius Jabami, com foco em IA educacional, modelos compactos e agentes autônomos. lambdai é parte do ΛCore, núcleo de pesquisa e experimentação em LLMs e raciocínio simbólico.
---
Links
Lambda Indie @ Hugging Face
TinyLlama Base Model
Dataset: HuggingFaceH4/MATH
---
Licença
MIT License — uso livre para fins educacionais, de pesquisa ou pessoais.
---
|