Instructions to use SC117/LFM2.5-2.6B-Uncensored with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use SC117/LFM2.5-2.6B-Uncensored with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="SC117/LFM2.5-2.6B-Uncensored")
messages = [
    {"role": "user", "content": "Who are you?"},
]
pipe(messages)

# pip install -U transformers accelerate
# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("SC117/LFM2.5-2.6B-Uncensored")
model = AutoModelForCausalLM.from_pretrained("SC117/LFM2.5-2.6B-Uncensored", device_map="auto")
messages = [
    {"role": "user", "content": "Who are you?"},
]
inputs = tokenizer.apply_chat_template(
	messages,
	add_generation_prompt=True,
	tokenize=True,
	return_dict=True,
	return_tensors="pt",
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=256)
print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:]))

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use SC117/LFM2.5-2.6B-Uncensored with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "SC117/LFM2.5-2.6B-Uncensored"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "SC117/LFM2.5-2.6B-Uncensored",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/SC117/LFM2.5-2.6B-Uncensored

SGLang

How to use SC117/LFM2.5-2.6B-Uncensored with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "SC117/LFM2.5-2.6B-Uncensored" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "SC117/LFM2.5-2.6B-Uncensored",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "SC117/LFM2.5-2.6B-Uncensored" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "SC117/LFM2.5-2.6B-Uncensored",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Docker Model Runner
How to use SC117/LFM2.5-2.6B-Uncensored with Docker Model Runner:
```
docker model run hf.co/SC117/LFM2.5-2.6B-Uncensored
```

LFM2.5-2.6B-Uncensored / README_zh.md

SC117

Upload README_zh.md with huggingface_hub

3131dc1 verified 2 months ago

preview code

Raw History Blame Contribute Delete

16.7 kB

metadata

library_name: transformers
license: other
license_name: lfm1.0
license_link: LICENSE
pipeline_tag: text-generation
tags:
  - liquid
  - lfm2.5
  - edge
  - uncensored
  - abliterix
  - safetensors
  - bf16
base_model:
  - LiquidAI/LFM2.5-2.6B
base_model_relation: finetune

ABLITERIX TRIAL 65 BF16 LFM Open 1.0

LFM2.5-2.6B-Uncensored

English | 📖 中文文档

Uncensored 2.6B 边缘模型 · abliterix Trial 65 · BF16 safetensors

🌊 关于本版本

LFM2.5-2.6B 是 Liquid AI 面向智能体工作负载的 26 亿参数混合架构边缘模型：30 层（22 个双门控短卷积块 + 8 个 GQA），128K 上下文窗口，128K 词表，ChatML 风格模板并原生支持 <think> 推理。在工具调用、指令遵循和多步智能体任务上可与 4 倍规模模型竞争。

本版本在官方权重之上经过两步构建：

Uncensored 行为编辑：使用 abliterix 在 ROCm（gfx1151）上完成 trial 搜索，选定 Trial 65 LoRA 并流式合并回 BF16。
全精度 BF16 导出：无量化损失；量化 GGUF（Q4_K_M / Q6_K / Q8_0 / IQ4_XS / IQ3_XS，imatrix 校准）发布在 GGUF 兄弟仓库。

许可证：LFM Open License v1.0（与基座模型一致）。详见 LICENSE。

⚠️ Uncensored 声明

合并 abliterix Trial 65 后，本模型拒答率大幅降低，行为可能与官方 LFM2.5-2.6B 有明显差异。请自行评估合规与安全性，按需控制访问并审计。

拒答（有害评估集）	6 / 100（基线约 90 / 100）
KL 散度	0.0335（同前缀度量，远低于 0.5 剪枝阈值）
长度偏差	0.079 σ
生成健康	PASSED（通过）
选定 trial	abliterix Trial 65
思考能力	保留 —— 始终思考（`<think>` 内置于聊天模板）

实现说明：LoRA 合并 W += (B @ A) * (alpha / r)（本 trial alpha = r = 1）；steering 作用于 30 层的 attn.o_proj / conv.out_proj / mlp.down_proj。

🧠 模型详情

架构	LFM2 混合架构（transformers `lfm2`, `Lfm2ForCausalLM`）
总参数	约 26.9 亿
层数	30（22 个双门控短卷积块 + 8 个 GQA）
上下文	131,072 tokens
词表	128,000
Hidden / FFN	2048 / 10752
推理模式	始终思考（`<think>` 内置于聊天模板）
语言	中、英、阿、法、德、印地、印尼、意、日、韩、波兰、葡、俄、西、泰、越
本仓库	BF16 safetensors（单分片，约 5.4 GB）+ tokenizer + 聊天模板

编码 / 工具 / 智能体能力大体保留；拒答与对齐行为已改变。本衍生版本未重跑官方基准表。

📦 仓库内容

`model.safetensors`	合并后 BF16 权重（5.39 GB）
`config.json` / `generation_config.json`	lfm2 配置 + 官方采样默认值
`tokenizer.json` / `tokenizer_config.json`	128K 词表 tokenizer
`chat_template.jinja`	ChatML 风格模板，含 `<think>` 与工具调用 token

🚀 使用

lfm2 架构已由 transformers >= 5.0.0 原生支持 —— 无需 trust_remote_code。

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "SC117/LFM2.5-2.6B-Uncensored"
model = AutoModelForCausalLM.from_pretrained(model_id, dtype="bfloat16")
tokenizer = AutoTokenizer.from_pretrained(model_id)
messages = [{"role": "user", "content": "1+1 等于几？"}]
input_ids = tokenizer.apply_chat_template(
    messages, add_generation_prompt=True, return_tensors="pt"
)["input_ids"].to(model.device)
output = model.generate(
    input_ids,
    do_sample=True,
    temperature=0.1,
    top_k=50,
    repetition_penalty=1.1,
    max_new_tokens=512,
)
print(tokenizer.decode(output[0][input_ids.shape[1]:], skip_special_tokens=True))

llama.cpp / LM Studio 用户：请使用 GGUF 兄弟仓库中的量化文件（Q4_K_M / Q6_K / Q8_0 / IQ4_XS / IQ3_XS，全部经 imatrix 校准）。

🎛️ 推荐采样参数

保持官方生成默认值：temperature 0.1、top_k 50、repetition_penalty 1.1（已写入 generation_config.json）。若希望更有创造性，可将 temperature 提升至 0.6–0.8；注意模型回答前总是先思考，请为 <think> 块预留足够的 max_new_tokens。

🔧 构建流程

abliterix trial 搜索（ROCm gfx1151）：60 trials + 20 warmup，seed 117；所有 trial 仅按同前缀 kl_divergence < 0.5 剪枝。
选定 Trial 65：拒答 6/100（基线 90/100），KL 0.0335，长度偏差 0.079 σ，生成健康 PASSED。
LoRA 以 BF16 流式合并进基座权重（W += B@A，alpha = r = 1）。
转换 BF16 GGUF（llama.cpp lfm2），再以 imatrix 校准（401 chunks，来自 APEX 校准集）量化为 Q4_K_M / Q6_K / Q8_0 / IQ4_XS / IQ3_XS —— 见 GGUF 仓库。

社区衍生版本（行为编辑 + BF16 发布）。并非 Liquid AI 官方发布。请自行承担使用风险，遵守当地法律与 LFM Open License v1.0。