使用开源EVA软件CPU版或CUDA版本,加载大模型guff版本的文件即可食用。
https://github.com/ylsdamxssjxxdd/eva
模型下载:https://modelscope.cn/models?name=gguf&page=1(搜索guff下载)
家用计算机可使用通义千问2 QWEN 7B模型:https://modelscope.cn/models/qwen/Qwen2-7B-Instruct-GGUF/files
显存够大选一个小于显存的版本,显存不够内存够也可以选小于内存的版本。都能用。
![](upload/attach/202406/2_7UG9NBNYXA4NSZ9.png)