判断电脑显卡满足支持模型训练和执行

AI　2024/3/24 9:54:06　　点击：不统计

在做AI时，想要用自己的电脑通过软件（比如ollama等）加载模型，并输出ai接口，那训练和执行模型需要多大的内存或者多大显存呢

在huggingface 有个根据模型计算训练和执行模型加载需要的硬件资源。它仅仅时用于计算使用硬件要求，实际之需要cpu运行即可。

1. 看网页版本模型资源计算。
需要科学上网。

https://huggingface.co/spaces/hf-accelerate/model-memory-usage

国内可用使用镜像站

https://hf-mirror.com/spaces/hf-accelerate/model-memory-usage

（1）首先是输入apitoken （获取key https://huggingface.co/settings/tokens）

（2）输入模型 Model Name or URL(名称或者url) 这里url即使huggingface的url

（3）选择程序库，默认可用选auto。如果已知，可用选择对应的。

（4）Model Precision 模型精度（位数）

以 https://huggingface.co/mistralai/Mistral-7B-v0.1 （免费开源）为例，输入模型地址，就可用直到训练需要多少资源

然后运行即可。

2. 下载/安装本地运行

（1）源码： https://huggingface.co/spaces/hf-accelerate/model-memory-usage/tree/main

（2）自行安装

pip install accelerate

pip install transformers

# 查看模型运行需求信息

accelerate estimate-memory mistralai/Mistral-7B-v0.1

# 指定数据精度

accelerate estimate-memory mistralai/Mistral-7B-v0.1 --dtypes float16

#指定程序库

accelerate estimate-memory mistralai/Mistral-7B-v0.1 --dtypes float32 --library_name transformers

剩下的就等待输出结果即可。