使用开源EVA软件CPU版或CUDA版本，加载大模型guff版本的文件即可食用。

https://github.com/ylsdamxssjxxdd/eva

模型下载：https://modelscope.cn/models?name=gguf&page=1（搜索guff下载）

家用计算机可使用通义千问2 QWEN 7B模型：https://modelscope.cn/models/qwen/Qwen2-7B-Instruct-GGUF/files

显存够大选一个小于显存的版本，显存不够内存够也可以选小于内存的版本。都能用。