如何本地部署运行GPT
AI 2024/3/12 23:27:28 点击：不统计
原载于:转www.载for网站制作学习asp必.cn究
GPT一直很火，尤其以openai为代表的GPT-4,但国内无法访问国外的OpenAi等GPT服务，那么我们怎么再本地部署一个GPT服务，我们自己运行呢。下面介绍一下，我们本地部署GPT，再 windows 部署，也可以再 mac os,ubuntu 等运行。
首先理解一下什么是GPT
GPT的全称，是Generative Pre-Trained Transformer（生成式预训练Transformer模型）是一种基于互联网的、可用数据来训练的、文本生成的深度学习模型。
接着就是两款本地部署GPT 的软件，亲测可用部分可能需要科学上网。
第一款 ollama
官方网站： https://ollama.com/ 或者 https://ollama.ai
支持多种系统
（1）下载对应系统的GPT ollama软件，安装完毕
（2）启动服务
第一种，跟随本机启动，将在右下角的小托盘有个羊驼的标。
第二种命令行启动：
启动服务后，默认服务地址："http://127.0.0.1:11434/api/chat
（3）使用ollama 本地gpt 命令即可
比如： ollama run dolphin-phi
会自动下载dolphin-phi 对应的 模型，
（3）下载完毕后会自动运行模型，如下图:
直接输入问题就可用开始对话交互了。
第二款本地运行gpt 服务的 LM Studio
官方网站：https://lmstudio.ai/
支持多种系统，但目前不支持intel 芯片的mac os.其他都可用。
下载软件，并安装，打开软件，如下图：
（1）需要说明的是，这个下载模型是通过https://huggingface.co/ 下载，需要科学上网
（2）api 接口服务，采用格式跟open ai 格式一致。
（3）可用通过对话窗口直接运行GPT交互
上面是两款支持本地部署GPT 的软件，可用自行下载模型并运行。
原载于:网f站o学a习s制p作.cn
·上一篇：ollama使用教程 >> ·下一篇：LLM 大语言模型的问题 >>