大模型本地部署测试

最近打算升级我的5080, 看5090很香。 但是不知道实际效果如何。于是突发奇想使用大模型测试一番看看效果

要看5090能干嘛，当然不能直接买，于是在AUTODL上面充值了100，试试水。

这里都是些主观性的测试，大家看看就好。主要测试的是酒馆的角色卡。

这里直接贴数据：

模型 qwen2.5:32b 首先是5090, 32gb的显存，虽然能用，但是上下文号称是32k, 但是实际拉到10K左右就爆内存了。

在酒馆方便，回答基本是不能用，毕竟加上世界书这些上下文太长了。经常答非所问

A100，80G显存

这个倒是上下文可以拉满，显存暂用约64GB， 但实际的回答还是显得有点脑残，感觉是理解能力不足。推理能力不够。玩不了酒馆

模型 qwen2.5:72b

这个5090不用想了，部署不了

A100可以部署，上下文拉满不可能，使用下来感觉是稍微能用的状态。实际情况还是由于上下文短，导致理解能力不够全面，对话经常丢失。

模型 qwen3.5:35b

3.5的模型确实是比2.5的优秀， 显存占用方面，上下文拉满256K也才占用约45GB的显存，很优秀，但是回复一样不敬人意

综合下来，如果要用酒馆，至少得70b模型以上。 然而qwen2.5:72b模型上下文拉满，我实测是约莫120GB+得内存。果然大模型不是谁得玩的起。

彻底打消了我换显卡得想法，

散会~~~~~~~~