2025-5-11
Words 110Read Time 1 min
Score:75

提供韩国天气预报的MCP服务器,基于Python实现,支持多种模型加载和量化配置。

README

参考文献与资料

不同选项的实验环境

基准(无微调,无量化)

  • 仅进行模型加载后的推理(inference)

基准(全微调,无量化)

基准(无微调,量化)

  • 模型加载后,通过 BitsAndBytes 实例设置以下超参数:
超参数
load_in_4bit
True
bnb_4bit_use_double_quant
True
bnb_4bit_quant_type
nf4
bnb_4bit_compute_dtype
bloat16

基准(全微调,量化)

LoRA(r=64, a=64)

QLoRA(r=64, a=64)

上一篇
cdata-jdbc-mcp-server
下一篇
pdfsearch-zed