- 下载图片
- 复制图片
义℡
管理员
本地搭建大模型，以下是一些常见的方法：
基于Ollama搭建
- 安装Ollama：从官网下载对应系统的安装程序，如Windows系统选择“Download for Windows(Preview)”，Mac系统选择“Download for Mac”，Linux系统可通过脚本“curl -fsSL | sh”或二进制文件等方式安装.
- 下载大模型：安装完成后，在命令行输入“ollama run (model name)”来运行本地大模型，可通过model library查看模型，如选择llama2大模型，Ollama会自动下载到本地.
- 使用Open WebUI交互：先安装Docker，再在命令行输入“docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ”安装Open WebUI 。安装完成后，访问，注册登录后即可通过Web界面与本地大模型对话.
基于gpt_academic搭建
- 安装Anaconda：从清华镜像站下载对应的客户端进行安装.
- 获取API KEY和Secret Key：以百度千帆大模型为例，进入官网登录后进入控制台界面，选择「应用接入」创建应用，记录下API Key、Secret Key.
- 克隆项目与安装依赖：在命令行中输入“git clone ”克隆项目，进入项目根目录，依次执行“conda create -n gpt_academic python=3.10”“conda activate gpt_academic”“pip install -r ”安装依赖.
- 修改配置文件并启动：在项目根目录执行“touch ”创建配置文件，按要求填写相关信息，最后执行“python ”启动服务，在浏览器输入显示的服务地址即可使用.
基于Ollama搭建
- 安装Ollama：从官网下载对应系统的安装程序，如Windows系统选择“Download for Windows(Preview)”，Mac系统选择“Download for Mac”，Linux系统可通过脚本“curl -fsSL | sh”或二进制文件等方式安装.
- 下载大模型：安装完成后，在命令行输入“ollama run (model name)”来运行本地大模型，可通过model library查看模型，如选择llama2大模型，Ollama会自动下载到本地.
- 使用Open WebUI交互：先安装Docker，再在命令行输入“docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ”安装Open WebUI 。安装完成后，访问，注册登录后即可通过Web界面与本地大模型对话.
基于gpt_academic搭建
- 安装Anaconda：从清华镜像站下载对应的客户端进行安装.
- 获取API KEY和Secret Key：以百度千帆大模型为例，进入官网登录后进入控制台界面，选择「应用接入」创建应用，记录下API Key、Secret Key.
- 克隆项目与安装依赖：在命令行中输入“git clone ”克隆项目，进入项目根目录，依次执行“conda create -n gpt_academic python=3.10”“conda activate gpt_academic”“pip install -r ”安装依赖.
- 修改配置文件并启动：在项目根目录执行“touch ”创建配置文件，按要求填写相关信息，最后执行“python ”启动服务，在浏览器输入显示的服务地址即可使用.
2024-12-06
浏览97
登录后评论
点赞
评论
分享