llama3 运行需要多少内存

AI　2024/4/27 15:20:25　　点击：不统计

原载于:转www.载for网站制作学习asp必.cn究
llama3理论上能够媲美openai GPT4 的水平，那它需要多少内存，什么硬件条件呢

我以自己电脑运行情况为例：

我本地硬件 CPU I3 12100+64G内存+GPU 3070（8G），采用ollama 运行。

先看 7B 模型使用硬件情况即 ollama run llama3, 下面时让llm 写一个贪吃蛇程序

看情况大概用GPU 5个G 左右

再看运行 70B 模型使用内存情况。

这里做了个本站点链接，因为最开始测试就是用 70B 参数

大概70G需要使用 GPU 或者内存 50G左右

常规的如果要使用GPT4水平要运行70B 参数还是需要硬件的。

原载于:网f站o学a习s制p作.cn