ollama运行自定义模型
AI 2024/4/11 9:38:30 点击：不统计
ollama有默认的模型，那么怎么运行自定义模型，自己选择下载模型，然后运行呢
下面说下自定义模型的运行
1. 首先下载模型文件
ollama 可以直接加载gguf文件后缀的模型这些模型，你可以通过下面两个站点搜索即可。
https://huggingface.co/models 比如搜索 千问 qwen gguf
然后选择 Files and versions 选择对应模型的下载
2. 配置路径
比如下载到路径 E:\model\xxx.gguf
那么 在同级目录下创建一个model.txt 内容如下：
FROM E:\model\xxx.gguf
3.通过ollama 加载模型
通过命令行进入到模型文件目录
运行 ollama create [xxxname] -f model.txt
ollama会自动编译装载模型 ,这里的xxxname 是对于你下载模型在ollama 中自定义名称
4. 运行模型
上面加载完毕后，可以通过命令 ollama list 查看你的所有模型
运行你的模型： ollama run [xxxname]即可。
5. 备注
GGUF(Georgi Gerganov Unifed Format)是llama.cpp提出的一种格式标准，用于储存模型的tokenizer & weight & vocab & hyparameters，其表现形式为一个二进制文件，例如gml-model-f16.gguf
·上一篇：通过微软azure国内访问openai >> ·下一篇：azure国内访问openai接口代码 >>