如何在企业内网部署 DeepSeek:离线安装教程
前言
本文将详细介绍如何将 DeepSeek 部署到企业内网,由于许多企业内网无法直接访问互联网,这里将说明离线部署的方式。这种方式的核心思路是先在可以互联网的电脑上安装好 DeepSeek,然后将其迁移到企业的内网环境。
什么是 DeepSeek?
DeepSeek 是一个强大的深度学习模型,能够处理各种数据分析和处理任务。其灵活架构和强大的性能,使其在许多行业中备受。不过,要在企业内网中使用 DeepSeek,我们需要一些特殊的设置。(防盗标识:本文发布于 blog.star7th.com )
第一步:在公网电脑上安装 Ollama
首先,你需要在可以访问互联网的电脑上安装 Ollama,这是 DeepSeek 运行所需的环境。你可以通过访问 Ollama 官方网站 下载适合你系统的安装包。
下载 Ollama
选择对应的平台版本进行下载安装。安装完成,你可以通过命令行使用 Ollama。
第二步: DeepSeek 模型
一旦你成功安装了 Ollama,就可以开始下载 DeepSeek 模型。以下载版本为 deepseek-r1 的 32b 模型为例,执行以下命令:
ollama pull deepseek-r1:32b
下载模型可能需要一些时间,请耐心等待。
第三步:定位模型文件
模型下载完成后,你需要找到 Ollama 的模型存放目录。不同平台的默认存放路径如下:
- mac: `~/.ollama/models`
- Linux: `/usr/share/ollama/.ollama/models`
- Windows: `C:\Users\<username>\.ollama\models`
进入相的模型目录,并导航到 blobs 子目录。查看当前目录文件大小,并识别与你下载的模型大小匹配的目标文件。例如, deepseek-r1 的 32b 模型文件大约为 19G。找到该文件,例如: sha-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 。将该文件复制并重命为 deepseek-r1-32b.gguf 。
第四步:将模型上传到企业内网
通过 SFTP 等方式将 seek-r1-32b.gguf 文件上传到企业内网的 Linux 服务器。
第五步:下载 Ollama 离线包
如果你的企业内网服务器是 64 位 Linux 系统,你需要下载 Ollama 的离线包访问 Ollama 下载页面 进行下载(请注意,该链接可能会随时间变更,如失效请到官网寻找)。
将下载的 ollama-linux-amd64.tgz 文件上传到你的企业内网服务器。
第六步:在企业内网服务器上安装 Ollama
在企业内网的 Linux服务器文件上传目录下,执行以下命令以解压并 Ollama:
sudo tar -C /usr -xzf ollama-linux-amd64.tgz
第七步配置 Ollama 服务
下一步是配置服务文件。使用以下命令并编辑服务文件:
vi /etc/systemd/system/ollama.service
将以下内容粘贴到文件中:
[Unit]
Description=Ollama Service
After=network-online.target[Service]
ExecStart=/usr/bin/ollama serve
User=root
=root
Restart=always
RestartSec=3
Environment="PATH=$PATH"
Environment="OLLAMA_HOST0.0.0.0"
Environment="OLLAMA_KEEP_ALIVE=-1"
[Install]
WantedBy=default.target
保存并退出编辑器。
第八步:启动 Ollama 服务
在终端中执行以下命令以使服务生效并启动:
sudo systemctl-reload
sudo systemctl enable ollama
sudo systemctl start ollama
此时,Ollama 应该已经成功安装并运行。
第九步:加载 DeepSeek 模型
接下来你需要加载刚才上传的 DeepSeek 模型。在模型所在的目录中创建一个名为 Modelfile 的新文件:
vi Modelfile
在文件中粘贴以下内容:
FROM ./deepseek-r1-32b.gguf
保存文件并退出。
第十步:创建Seek 模型
执行以下命令创建 DeepSeek 模型:
ollama create deepseek-r1:32 -f Modelfile
第十一步:运行模型
最后,你可以运行 DeepSeek 模型以下命令验证其是否正常工作:
ollama run deepseek-r1:32b
至此,你已成功将 DeepSeek 部署到企业内网环境中。
评论