标签: nvlink

两张RTX 2080Ti跑大模型是否能挑战身价6倍的RTX4090?(速度全面对比版)

两张RTX 2080Ti魔改22g显卡加上nvlink，运行本地大模型是否能达到rtx4090显卡的速度？通过测试实验，decoding生成速度还真可以，但预填充prefill速度只有其30%左右。对比一张rtx2080Ti22g的话，上文处理速度提升150tok/s，生成速度提升60%。