DeepSeek本地部署小白攻略
一、必备软件下载网站:
Ollama官方网站:https://ollama.com/download
Chatbox AI官网:https://chatboxai.app/zh#
deepseek-r1推理模型地址: https://ollama.com/library/deepseek-r1
二、Ollama常用运行命令
1. 启动Ollama服务: ollama serve
2. 从模型文件创建模型: ollama create
3. 显示模型信息: ollama show
4. 运行模型: ollama run 模型名称 例如:ollama run deepseek-r1:14b
5. 从注册表中拉去模型: ollama pull 模型名称
6. 将模型推送到注册表: ollama push
7. 列出模型: ollama list
8. 复制模型: ollama cp
9. 删除模型: ollama rm 模型名称
10. 获取有关Ollama任何命令的帮助信息: ollama help
三、各软件安装步骤及配置说明
首先,Ollama 安装会直接安装到 C 盘,建议 C 盘空间 ≥ 12G。
1、下载 Ollama并安装 Ollama:点击 Download,然后选择 Download for Windows,默认安装即可。
2、 选择模型大小:根据电脑性能选择模型大小,数字代表模型的参数数量(例如 7b 表示 70 亿参数,671b 表示 6710 亿参数)。
入门级用户:如果电脑配置一般(如集成显卡或低端 GPU),可以选择 1.5b 或 7b 模型。
中端用户:如果电脑有中高端 GPU(如 NVIDIA RTX 3060 或更高),可以选择 14b 或 32b 模型。
高端用户:如果有多块高端 GPU(如 NVIDIA A100 或 RTX 4090),可以选择 70b 或 671b 模型。
3、使用命令下载并运行 DeepSeek:根据需要选择命令(官网也有提供):
打开任务管理器(记得以管理员身份运行)。输入命令进行部署ollama run deepseek-r1:14b(本人使用的),以下是对应的模型命令:
DeepSeek-R1-Distill-Qwen-1.5B ollama run deepseek-r1:1.5b
DeepSeek-R1-Distill-Qwen-7B ollama run deepseek-r1:7b
DeepSeek-R1-Distill-Llama-8B ollama run deepseek-r1:8b
DeepSeek-R1-Distill-Qwen-14B ollama run deepseek-r1:14b
DeepSeek-R1-Distill-Qwen-32B ollama run deepseek-r1:32b
DeepSeek-R1-Distill-Llama-70B ollama run deepseek-r1:70b
DeepSeek-R1-Distill-Llama-671B ollama run deepseek-r1:671b
4、使用 DeepSeek
下载完成后,在Send a message ( /? for help)处输入想问DeepSeek的问题并回车,稍等片刻就会出现答案。
5、安装 Chatbox,使用ui界面访问deepseek
直接下载Chatbox并安装。注意:安装路径需要与 Ollama 安装路径一致(默认安装即可),否则可能无法连接到本地 AI。
6、配置 Chatbox
点击 设置,在 模型提供方 中选择 OLLAMA API。API 域名 默认配置即可。在 模型 中选择已安装的本地 AI(DeepSeek-R1:14b),点击保存。配置完成后,就可以在本地愉快地使用 AI 了!
7、局域网开放端口访问,与他人一起使用。
Ollama管理器下载:Ollama 管理器 - 简单易用的大模型管理工具-https://miyang.cn/ollama