llama3 运行需要多少内存
AI 2024/4/27 15:20:25 点击：不统计
原载于:转www.载for网站制作学习asp必.cn究
llama3理论上能够媲美openai GPT4 的水平，那它需要多少内存，什么硬件条件呢
我以自己电脑运行情况为例：
我本地硬件 CPU I3 12100+64G内存+GPU 3070（8G），采用ollama 运行。
先看 7B 模型使用硬件情况即 ollama run llama3, 下面时让llm 写一个贪吃蛇程序
看情况大概用GPU 5个G 左右
再看运行 70B 模型使用内存情况。
这里做了个本站点链接，因为最开始测试就是用 70B 参数
大概70G需要使用 GPU 或者内存 50G左右
常规的 如果要使用GPT4水平要运行70B 参数还是需要硬件的。
原载于:网f站o学a习s制p作.cn