ollama使用教程

AI　2024/3/12 8:42:57　　点击：不统计

<网f站o学a习s制p作.cn>
ollama是一款本地部署ai llm的开源软件，支持多种llm 配置，下面介绍一下 ollama的安装配置。

1. 安装ollama

https://ollama.com/ 或者 https://ollama.ai

支持 mac os， linux， windows

启动本地服务命令

ollama serve

查看所有命令（这个很有帮助）
ollama help

2. 目前支持的模型以及运行命令（这里是下载并运行命令）

模型名称参数数量，模型文件大小，下载运行命令

Llama 2 7B 3.8GB ollama run llama2

Mistral 7B 4.1GB ollama run mistral

Dolphin Phi 2.7B 1.6GB ollama run dolphin-phi

Phi-2 2.7B 1.7GB ollama run phi

Neural Chat 7B 4.1GB ollama run neural-chat

Starling 7B 4.1GB ollama run starling-lm

Code Llama 7B 3.8GB ollama run codellama

Llama 2 Uncensored 7B 3.8GB ollama run llama2-uncensored

Llama 2 13B 13B 7.3GB ollama run llama2:13b

Llama 2 70B 70B 39GB ollama run llama2:70b

Orca Mini 3B 1.9GB ollama run orca-mini

Vicuna 7B 3.8GB ollama run vicuna

LLaVA 7B 4.5GB ollama run llava

Gemma 2B 1.4GB ollama run gemma:2b

Gemma 7B 4.8GB ollama run gemma:7b

3. 下载模型命令, llama2 是模型名称，就像 2运行命令的模型名称一样，[] 表示是变量

ollama pull [llama2]

查看历史下载模型

ollama list

4. 删除模型，llama2 是模型名称，就像 2运行命令的模型名称一样，[] 表示是变量

ollama rm [llama2]

5. 复制一个模型，并给一个新的名字,并且可以通过新模型名称运行

ollama cp llama2 my-llama2

6. 在windows 更改模型保存路径默认为： C:\Users\luhuijie\.ollama\models，

更改到比如 G:/OLLAMA_MODELS 本地路径

在环境变量，设置用户环境变量 OLLAMA_MODELS

在环境变量，设置系统环境变量 OLLAMA_MODELS

设置完成后，重启命令行，
cmd命令行运行 echo %ollama_models%

Widows power shell 运行 echo $env:OLLAMA_MODELS
看是否已经生效。

然后重启ollama 服务,然后再下载模型即可。

7.运行命令：ollama run llama2:70b

8. 退出命令等

>>> /?

Available Commands:

/set Set session variables

/show Show model information

/load <model> Load a session or model

/save <model> Save your current session

/bye Exit

/?, /help Help for a command

/? shortcuts Help for keyboard shortcuts

Use """ to begin a multi-line message.

http://%77%77%77%2E%66网站制作%6F学习网%72%61%73%70%2E%63%6E

·上一篇：网站制作学习网　　　·下一篇：如何本地部署运行GPT >>