Translation Benchmark｜轻量开源模型

CChenyme发布于 2026年03月10日

BenchMark · Translation

本报告基于 @Chenyme 搭建的自动化 Benchmark 全量评测结果，对 10 个轻量化开源模型在翻译质量与推理性能维度的表现进行专业的系统对比，覆盖 10 个模型在综合排名、维度画像、样本类型质量、质量-吞吐权衡、并发性能、指标相关性等方面的表现。

1. 评测目的

本评测专注于回答“在翻译生产链路里，哪几类模型可以稳定承担主力与弹性流量”的问题。它不只比较分数高低，更关注：

翻译质量是否稳定
语义忠实度是否可靠
上下文连贯性是否一致
风格语气是否遵循
Markdown 结构是否保持
并发性能是否足够

因此，评分不是单一指标，而是从 基础质量、语义还原、上下文连贯、风格语气、Markdown 保真、性能吞吐 六个维度进行评测

2. 评测方案

数据集采样自 LINUX DO 社区公告：《秘密花园园丁邀请函》，覆盖了词、句和段落，结构化文档，上下文块等，确保能反映生产场景的多粒度表现，同时评估翻译质量与在线服务能力，统一样本、统一评审口径、统一性能压测参数，保证模型间可比性。

数据集分布：term(4)、sentence(14)、phrase(12)、paragraph(8)、markdown(6)、list(3)、context_chunk(3)
评分维度：
- 基础质量：0.80 * LLM + 0.20 * 传统规则
- 语义还原：0.60 * LLM + 0.40 * 脚本相似度
- 上下文连贯：0.75 * LLM + 0.25 * 上下文匹配
- 风格语气：1.00 * LLM
- Markdown 保真：1.00 * 传统规则
- 性能吞吐：自动化测评

权重结构强调“质量优先”，但明确保留性能权重，避免出现“高质量但无法上线”的模型被误选。

3. 评测结果

本评测报告主要围绕 summary.html 中的图表进行解读，覆盖 10 个模型在 综合排名、维度画像、样本类型质量、质量-吞吐权衡、并发性能、指标相关性 方面的表现。

测试机器参数： AMD EPYC 7K83 28C ｜ NVIDIA A10 24G ｜感谢 @方块

评审模型型号：GPT-5.4 ｜感谢 @lurk

关键结论：

平均维度加权分数为 68.94，头部模型领先幅度不大，但维度结构差异明显。
综合与质量高度一致，质量核与峰值吞吐呈负相关（越快越容易牺牲质量）。
风格语气是全体模型共同短板；上下文连贯和语义还原是主要分化维度。

模型建议

质量优先：Qwen3.5-9B（综合第一、基础质量/Markdown 保真最强）
均衡主力：HY-MT1.5-1.8B（语义还原最强，吞吐也高）
轻量成本：Qwen3.5-2B（综合第三，性能稳定）
吞吐兜底：Ministral-3-3B（峰值吞吐与最低 P95，但质量最低）

综合排行

观察“维度加权总分”柱状图的数据，我们不难发现：

Top1：Qwen3.5-9B（72.98）
Top2：HY-MT1.5-1.8B（71.73）
Top3：Qwen3.5-2B（70.21）

紧随其后的是 Translategemma-4B-It（70.03）、Qwen3.5-4B（69.77）、HY-MT1.5-7B（69.76），不难发现整体排序集中在 64.37–72.98 区间，说明 是否能登顶 主要由少数维度拉开差距，而不是绝对崩溃或极端优势。

维度画像

从维度雷达与热力图可发现每个维度的最优与短板：

基础质量最佳：Qwen3.5-9B（88.47）
语义还原最佳：HY-MT1.5-1.8B（82.48）
上下文连贯最佳：Translategemma-4B-It（80.52）
风格语气最佳：Tiny-Aya-Global（29.49）
Markdown 保真最佳：Qwen3.5-9B（100.00）
性能吞吐最佳：Ministral-3-3B（100.00）

全局趋势：

风格语气维度全面偏低（17.13–29.49），属于当前模型体系的系统性短板。
上下文连贯分化明显：Translategemma-4B-It 领先，但性能拖累明显。
Markdown 保真在头部模型表现稳定，Qwen3.5-9B 达到满分。

样本类型质量矩阵

按样本类型质量矩阵：

context_chunk 最佳：Translategemma-4B-It（62.46），但整体偏低，说明“长上下文块”仍是难点。
list 最佳：Tiny-Aya-Global（80.49）
markdown 最佳：Qwen3.5-9B（75.18）
paragraph 最佳：HY-MT1.5-1.8B（72.69）
phrase / sentence / term 最佳均由 HY-MT1.5-7B 夺得（73.68 / 69.88 / 80.69）

最薄弱的类型集中在 context_chunk 和低质量模型（例如 Ministral-3-3B 在多类型中均为最低），上下文一致性是仍是轻量开源模型进行翻译任务的薄弱点。

质量-吞吐散点（Pareto 前沿）

散点图以质量核为横轴、峰值 RPS 为纵轴，结构性结论：

帕累托前沿模型：HY-MT1.5-1.8B、Ministral-3-3B、Ministral-3-8B、Qwen3.5-9B、Tiny-Aya-Global
右上角模型数量有限，质量与吞吐无法同时拉满。
Qwen3.5-9B 质量最高但吞吐一般；Ministral-3-3B 吞吐最高但质量最低。
HY-MT1.5-1.8B 是质量与吞吐更均衡的折中点。

并发扩展（RPS & P95 曲线）

吞吐曲线显示：

峰值 RPS 最高：Ministral-3-3B（11.11 req/s）
次高吞吐：Tiny-Aya-Global（8.75）、Ministral-3-8B（8.73）、HY-MT1.5-1.8B（8.25）

延迟 P95 曲线显示：

最低 P95：Ministral-3-3B（2234.54 ms）
最差 P95：Translategemma-4B-It（10070.34 ms）
Qwen3.5-9B 在高并发下 P95 达 5465.73 ms，明显偏高

性能结论：Ministral 系列与 Tiny-Aya 在并发下扩展性最好，但质量维度存在明显折损。

4. 相关资源

Summary.html

Summary

启动参数

Qwen/Qwen3.5-0.8Bpowershell

# Qwen/Qwen3.5-0.8B
# vllm==0.17.0 transformers==4.57.6
vllm serve /root/.cache/modelscope/hub/models/Qwen/Qwen3.5-0.8B \
--served-model-name Qwen3.5-0.8B \
--language-model-only \
--max-model-len 8192 \
--gpu-memory-utilization 0.9 \
--enforce-eager \
--reasoning-parser qwen3 \
--default-chat-template-kwargs '{"enable_thinking": false}'

Qwen/Qwen3.5-2Bpowershell

# Qwen/Qwen3.5-2B
# vllm==0.17.0 transformers==4.57.6
vllm serve /root/.cache/modelscope/hub/models/Qwen/Qwen3.5-2B \
--served-model-name Qwen3.5-2B \
--language-model-only \
--max-model-len 8192 \
--gpu-memory-utilization 0.9 \
--enforce-eager \
--reasoning-parser qwen3 \
--default-chat-template-kwargs '{"enable_thinking": false}'

Qwen/Qwen3.5-4Bpowershell

# Qwen/Qwen3.5-4B
# vllm==0.17.0 transformers==4.57.6
vllm serve /root/.cache/modelscope/hub/models/Qwen/Qwen3.5-4B \
--served-model-name Qwen3.5-4B \
--language-model-only \
--max-model-len 8192 \
--gpu-memory-utilization 0.9 \
--enforce-eager \
--reasoning-parser qwen3 \
--default-chat-template-kwargs '{"enable_thinking": false}'

Qwen/Qwen3.5-9Bpowershell

# Qwen/Qwen3.5-9B
# vllm==0.17.0 transformers==4.57.6
vllm serve /root/.cache/modelscope/hub/models/Qwen/Qwen3.5-9B \
--served-model-name Qwen3.5-9B \
--language-model-only \
--max-model-len 8192 \
--gpu-memory-utilization 0.9 \
--enforce-eager \
--reasoning-parser qwen3 \
--default-chat-template-kwargs '{"enable_thinking": false}'

tencent/HY-MT1.5-1.8Bpowershell

# tencent/HY-MT1.5-1.8B
# vllm==0.17.0 transformers==4.57.6
vllm serve /root/.cache/modelscope/hub/models/Tencent-Hunyuan/HY-MT1.5-1.8B \
--served-model-name HY-MT1.5-1.8B \
--language-model-only \
--max-model-len 8192 \
--gpu-memory-utilization 0.9 \
--enforce-eager

tencent/HY-MT1.5-7Bpowershell

# tencent/HY-MT1.5-7B
# vllm==0.17.0 transformers==4.57.6
vllm serve /root/.cache/modelscope/hub/models/Tencent-Hunyuan/HY-MT1.5-7B \
--served-model-name HY-MT1.5-7B \
--language-model-only \
--max-model-len 8192 \
--gpu-memory-utilization 0.9 \
--enforce-eager

CohereLabs/tiny-aya-globalpowershell

# CohereLabs/tiny-aya-global
vllm serve /root/.cache/modelscope/hub/models/CohereLabs/tiny-aya-global \
--served-model-name tiny-aya-global \
--language-model-only \
--max-model-len 8192 \
--gpu-memory-utilization 0.9 \
--enforce-eager

mistralai/Ministral-3-3B-Instruct-2512powershell

# mistralai/Ministral-3-3B-Instruct-2512
vllm serve /root/.cache/modelscope/hub/models/mistralai/Ministral-3-3B-Instruct-2512 \
--served-model-name Ministral-3-3B-Instruct-2512 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral \
--language-model-only \
--max-model-len 8192 \
--gpu-memory-utilization 0.9 \
--enforce-eager

mistralai/Ministral-3-8B-Instruct-2512powershell

# mistralai/Ministral-3-8B-Instruct-2512
vllm serve /root/.cache/modelscope/hub/models/mistralai/Ministral-3-8B-Instruct-2512 \
--served-model-name Ministral-3-8B-Instruct-2512 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral \
--language-model-only \
--max-model-len 8192 \
--gpu-memory-utilization 0.9 \
--enforce-eager

参考文献

Results of the WMT21 Metrics Shared Task - automatic metric design aligned with expert MQM-based evaluation
A Call for Clarity in Reporting BLEU Scores - BLEU/chrf style reproducible reporting guidance
MQM (Multidimensional Quality Metrics) - human/analytic translation quality dimensions and scoring structure
MQM Error Typology - dimensions: accuracy, terminology, fluency, style, design and markup
Rethinking Round-Trip Translation for MT Evaluation - round-trip semantic-faithfulness testing
BlonDe: Document-level MT Evaluation - context/discourse-aware evaluation motivation
GEMBA-MQM - LLM-as-judge MQM-style segment assessment approach
Internationalization Tag Set (ITS) 2.0 - translation/markup preservation principles
MLPerf Inference Scenarios & Metrics - latency percentile and throughput reporting conventions

文章不错？点赞鼓励一下吧

0 条评论

参与讨论

请登录后发表您的评论

还没有评论，来抢个沙发吧。

# Qwen/Qwen3.5-0.8B # vllm==0.17.0 transformers==4.57.6 vllm serve /root/.cache/modelscope/hub/models/Qwen/Qwen3.5-0.8B \ --served-model-name Qwen3.5-0.8B \ --language-model-only \ --max-model-len 8192 \ --gpu-memory-utilization 0.9 \ --enforce-eager \ --reasoning-parser qwen3 \ --default-chat-template-kwargs '{"enable_thinking": false}'

# Qwen/Qwen3.5-2B # vllm==0.17.0 transformers==4.57.6 vllm serve /root/.cache/modelscope/hub/models/Qwen/Qwen3.5-2B \ --served-model-name Qwen3.5-2B \ --language-model-only \ --max-model-len 8192 \ --gpu-memory-utilization 0.9 \ --enforce-eager \ --reasoning-parser qwen3 \ --default-chat-template-kwargs '{"enable_thinking": false}'

# Qwen/Qwen3.5-4B # vllm==0.17.0 transformers==4.57.6 vllm serve /root/.cache/modelscope/hub/models/Qwen/Qwen3.5-4B \ --served-model-name Qwen3.5-4B \ --language-model-only \ --max-model-len 8192 \ --gpu-memory-utilization 0.9 \ --enforce-eager \ --reasoning-parser qwen3 \ --default-chat-template-kwargs '{"enable_thinking": false}'

# Qwen/Qwen3.5-9B # vllm==0.17.0 transformers==4.57.6 vllm serve /root/.cache/modelscope/hub/models/Qwen/Qwen3.5-9B \ --served-model-name Qwen3.5-9B \ --language-model-only \ --max-model-len 8192 \ --gpu-memory-utilization 0.9 \ --enforce-eager \ --reasoning-parser qwen3 \ --default-chat-template-kwargs '{"enable_thinking": false}'

# tencent/HY-MT1.5-1.8B # vllm==0.17.0 transformers==4.57.6 vllm serve /root/.cache/modelscope/hub/models/Tencent-Hunyuan/HY-MT1.5-1.8B \ --served-model-name HY-MT1.5-1.8B \ --language-model-only \ --max-model-len 8192 \ --gpu-memory-utilization 0.9 \ --enforce-eager

# tencent/HY-MT1.5-7B # vllm==0.17.0 transformers==4.57.6 vllm serve /root/.cache/modelscope/hub/models/Tencent-Hunyuan/HY-MT1.5-7B \ --served-model-name HY-MT1.5-7B \ --language-model-only \ --max-model-len 8192 \ --gpu-memory-utilization 0.9 \ --enforce-eager

# CohereLabs/tiny-aya-global vllm serve /root/.cache/modelscope/hub/models/CohereLabs/tiny-aya-global \ --served-model-name tiny-aya-global \ --language-model-only \ --max-model-len 8192 \ --gpu-memory-utilization 0.9 \ --enforce-eager

# mistralai/Ministral-3-3B-Instruct-2512 vllm serve /root/.cache/modelscope/hub/models/mistralai/Ministral-3-3B-Instruct-2512 \ --served-model-name Ministral-3-3B-Instruct-2512 \ --tokenizer_mode mistral \ --config_format mistral \ --load_format mistral \ --language-model-only \ --max-model-len 8192 \ --gpu-memory-utilization 0.9 \ --enforce-eager

# mistralai/Ministral-3-8B-Instruct-2512 vllm serve /root/.cache/modelscope/hub/models/mistralai/Ministral-3-8B-Instruct-2512 \ --served-model-name Ministral-3-8B-Instruct-2512 \ --tokenizer_mode mistral \ --config_format mistral \ --load_format mistral \ --language-model-only \ --max-model-len 8192 \ --gpu-memory-utilization 0.9 \ --enforce-eager