当年一代炼丹神卡RTX2080ti跑本地大模型(30B参数级别)速度怎样？

摘要：当年一代炼丹神卡RTX2080ti跑本地大模型(30B参数级别，如Qwen3.6-27B-Q4_K_M)的运行速度测试(包括预填充prfill速度和生成token速度)，然后测试了不同mtp-max值下的提升效果情况，不同上下文长度的运行速度趋势，和对比其他经典显卡的速度。