Instructions to use mlx-community/plamo-2-1b-bf16 with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use mlx-community/plamo-2-1b-bf16 with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="mlx-community/plamo-2-1b-bf16", trust_remote_code=True)

# Load model directly
from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained("mlx-community/plamo-2-1b-bf16", trust_remote_code=True, device_map="auto")

MLX

How to use mlx-community/plamo-2-1b-bf16 with MLX:

# Make sure mlx-lm is installed
# pip install --upgrade mlx-lm
# if on a CUDA device, also pip install mlx[cuda]

# Generate text with mlx-lm
from mlx_lm import load, generate

model, tokenizer = load("mlx-community/plamo-2-1b-bf16")

prompt = "Once upon a time in"
text = generate(model, tokenizer, prompt=prompt, verbose=True)

Notebooks
Google Colab
Kaggle
Local Apps Settings
LM Studio

vLLM

How to use mlx-community/plamo-2-1b-bf16 with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "mlx-community/plamo-2-1b-bf16"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "mlx-community/plamo-2-1b-bf16",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker

docker model run hf.co/mlx-community/plamo-2-1b-bf16

SGLang

How to use mlx-community/plamo-2-1b-bf16 with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "mlx-community/plamo-2-1b-bf16" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "mlx-community/plamo-2-1b-bf16",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "mlx-community/plamo-2-1b-bf16" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "mlx-community/plamo-2-1b-bf16",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

MLX LM

How to use mlx-community/plamo-2-1b-bf16 with MLX LM:

Generate or start a chat session

# Install MLX LM
uv tool install mlx-lm
# Generate some text
mlx_lm.generate --model "mlx-community/plamo-2-1b-bf16" --prompt "Once upon a time"

Docker Model Runner
How to use mlx-community/plamo-2-1b-bf16 with Docker Model Runner:
```
docker model run hf.co/mlx-community/plamo-2-1b-bf16
```

plamo-2-1b-bf16 / README.md

mitmul

Update README

9f73fda over 1 year ago

preview code

Raw

History Blame Contribute Delete

2.87 kB

metadata

license: apache-2.0
language:
  - en
  - ja
pipeline_tag: text-generation
library_name: transformers
base_model: pfnet/plamo-2-1b
tags:
  - mlx

mlx-community/plamo-2-1b-bf16

The Model mlx-community/plamo-2-1b-bf16 was converted to MLX format from pfnet/plamo-2-1b using mlx-lm version 0.22.0.

Use with mlx

# numba is required for the new PLaMo tokenizer
pip install mlx numba 'mlx-lm>=0.22.0'

python -m mlx_lm.generate \
--model mlx-community/plamo-2-1b-bf16 \
--prompt '美味しいカレーの作り方を紹介します。' \
--ignore-chat-template \
--max-tokens 1024 \
--extra-eos-token '<|plamo:bos|>' \
--temp 0.7 \
--seed 0
==========

スパイスの使い方からカレーの作り方まで詳しく解説します。
## カレーの作り方
**①材料を用意する**
塩を適量加えると、スパイシーな香りが楽しめます。
クミン、コリアンダーなどのスパイスを使うと、食欲をそそります。
**②スパイスを炒める**
スパイスは始めに少し入れるだけで、その後は徐々に加えます。
**③玉ねぎのみじん切りを炒める**
玉ねぎを炒めることで、甘みが生まれます。
**④鶏肉を炒める**
鶏肉を炒める際には、焦げないように注意します。
**⑤肉の色が変わったら**
肉の色が変わったら、残りのスパイスを順番に加えます。
**⑥ルーをつくる**
最後に、火を止めてから、ルーを加えます。
**⑦ルーを加える**
ルーを加える際には、弱火で優しく加熱します。
**⑧ルーが馴染んだら完成**
ルーが馴染んだら、完成です。
## 最後に
カレーはスパイスの組み合わせで味が変わります。
今回紹介したレシピを参考に、自分好みのカレーを作ってみてください。
同じように作っても、スパイスの組み合わせで味が変わるので面白いです。
今回はスパイスの使い方まで解説しましたが、カレーの作り方としては比較的簡単な部類だと思います。
慣れてきたら、トッピングも色々加えてみて下さい。
カレーはアレンジしても美味しいし、食べて満足します。
皆さんも美味しくカレーを作ってみてください。
==========
Prompt: 6 tokens, 88.572 tokens-per-sec
Generation: 238 tokens, 85.596 tokens-per-sec
Peak memory: 2.718 GB

You can also write your code to use this model like this:

from mlx_lm import load, generate

model, tokenizer = load("mlx-community/plamo-2-1b-bf16")

prompt = "美味しいカレーの作り方のレシピを紹介します。"

response = generate(model, tokenizer, prompt=prompt, verbose=True)