|
使用Ollama部署deepseek大模型
前置条件
使用英伟达显卡下载cuda驱动 https://developer.nvidia.com/cuda-downloads
Ollama
Ollama 官方版: https://ollama.com/
我的显卡在Windows电脑上面 所以使用Windows的安装方式去安装
若你的显卡是在Linux上面 可以使用如下命令安装
curl -fsSL https://ollama.com/install.sh | sh
当然Ollama不只是可以启动deepseek模型，也可以启动他的模型
https://ollama.com/search
# 模型的安装命令
# 1.5B Qwen DeepSeek R1
# 所需空间大约 1.1G
ollama run deepseek-r1:1.5b
# 7B Qwen DeepSeek R1
# 所需空间大约 4.7G
ollama run deepseek-r1:7b
# 8B Llama DeepSeek R1
# 所需空间大约 4.9G
ollama run deepseek-r1:8b
# 14B Qwen DeepSeek R1
# 所需空间大约 9G
ollama run deepseek-r1:14b
# 32B Qwen DeepSeek R1
# 所需空间大约 20G
ollama run deepseek-r1:32b
# 70B Llama DeepSeek R1
# 所需空间大约 43G
ollama run deepseek-r1:70b
# 671B Llama DeepSeek R1
# 所需空间大约 404G
ollama run deepseek-r1:671b
# Windows的环境变量监听
# OLLAMA_HOST 0.0.0.0
# 启动命令
ollama serve
Open WebUI
官方安装文档： https://docs.openwebui.com/
Open WebUI官网文档翻译：
注意：
使用Docker安装Open WebUI时，请确保在Docker命令中包含
-v open-webui:/app/backend/data
这一步至关重要，因为它确保您的数据库正确挂载，避免任何数据丢失。
安装默认配置
1.如果您的计算机上安装了Ollama，可以使用以下命令：
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
2.如果Ollama在另一台服务器上，请使用以下命令：
连接到另一台服务器上的Ollama时，请将OLLAMA_BASE_URL更改为服务器的URL：
docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
要使用Nvidia GPU支持运行Open WebUI，请使用以下命令：
docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda
3.仅用于OpenAI API使用的安装
如果您仅使用OpenAI API，请使用以下命令：
docker run -d -p 3000:8080 -e OPENAI_API_KEY=your_secret_key -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
4.带有捆绑Ollama支持的Open WebUI安装
此安装方法使用一个单独的容器映像，将Open WebUI与Ollama捆绑在一起，通过单个命令实现简化设置。根据您的硬件设置选择适当的命令：
使用GPU支持：通过运行以下命令利用GPU资源
docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama
仅CPU：如果您不使用GPU，请改用以下命令：
docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama
这两个命令都支持内置、简单的安装Open WebUI和Ollama，确保您可以快速启动一切。
# 我用到的命令
docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=http://192.168.1.100:11434 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
访问：http://192.168.1.120:3000
关于
https://www.oiox.cn/
https://www.oiox.cn/index.php/start-page.html
CSDN、GitHub、51CTO、知乎、开源中国、思否、掘金、简书、华为云、阿里云、腾讯云、哔哩哔哩、今日头条、新浪微博、个人博客
全网可搜《小陈运维》
文章主要发布于微信公众号
-----------------------------------
©著作权归作者所有：来自51CTO博客作者小陈运维的原创作品，请联系作者获取转载授权，否则将追究法律责任
使用Ollama部署deepseek大模型
https://blog.51cto.com/u_12212643/13200194
(责任编辑：IT) |