DeepSeek本地部署全攻略:保姆級教程

      本文將詳細介紹如何在本地部署 DeepSeek 模型，并以圖文的形式把操作步驟展示出來，確保即使是初學者也能輕松上手。我們將從環境準備、安裝依賴、模型下載到運行模型的每一步進行詳細講解。

      一、本地部署的適用場景

      本地部署適合以下情況：

      電腦配置較高，有獨立顯卡：本地部署需要較強的硬件支持，尤其是GPU需求。

      有私密數據需要處理，擔心泄密：本地部署可以避免數據上傳到云端，確保數據安全。

      需要與本地工作交流結合：處理高頻任務或復雜任務時，本地部署可以提供更高的靈活性和效率。

      日常使用量大，調用 API 需要收費：本地部署可以節省 API 調用的費用。

      想要在開源模型基礎上做個性化定制：本地部署允許你對模型進行二次開發和定制。

      總結：有錢有技術 + 怕泄密 → 本地部署 沒錢沒技術 + 圖省事 → 直接使用網頁/APP

      ·

      二、本地部署的基本步驟

      1. 環境準備：確保你的系統滿足以下要求

      操作系統：Linux(推薦 Ubuntu 20.04 或更高版本)或 Windows。

      Python：3.8 或更高版本。

      GPU：支持 CUDA 的 NVIDIA GPU(推薦16GB 顯存以上)。

      CUDA：11.2 或更高版本。

      CUDNN：8.1 或更高版本。

      Linux擇按照我編輯的跟著操作就行，Windows根據自己的電腦類型，選擇不同版本。

      蘋果電腦選最左邊(藍色框)，Windows系統選最右邊(紅色框)，之后點擊下載(綠色框)。

      2. 安裝依賴

      首先，安裝必要的依賴項：

      sudo apt-get update

      sudo apt-get install -y python3-pip python3-dev python3-venv git

      3. 創建虛擬環境

      為了避免依賴沖突，建議在虛擬環境中操作：

      python3 -m venv deepseek-env

      source deepseek-env/bin/activate

      4. 安裝 PyTorch

      根據你的 CUDA 版本安裝 PyTorch。例如，CUDA 11.2 的安裝命令如下：

      pip install torch torchvision torchaudio --extra-index-url xxx://download.pytorch.org/whl/cu112

      5. 克隆 DeepSeek 倉庫

      從 GitHub 克隆 DeepSeek 的代碼庫：

      git clone xxxx://github.xxx/deepseek-ai/deepseek.git

      cd deepseek

      6. 安裝項目依賴

      安裝項目所需的 Python 依賴：

      pip install -r requirements.txt

      7. 下載預訓練模型

      下載 DeepSeek 的預訓練模型權重，并將其放置在 models/ 目錄下。你可以從guan方提供的鏈接下載，或使用以下命令(假設模型權重已上傳到某個服務器)：

      wget xxxx://example.xxx/path/to/deepseek_model.pth -O models/deepseek_model.pth

      8. 配置環境變量

      設置必要的環境變量，例如模型路徑和 GPU 設備號：

      export MODEL_PATH=models/deepseek_model.pth

      export CUDA_VISIBLE_DEVICES=0

      9. 運行模型

      使用以下命令啟動模型推理或訓練：

      python run.py --model_path $MODEL_PATH --input "你的輸入文本"

      10. 測試模型

      你可以通過提供輸入文本來測試模型的輸出：

      python run.py --model_path $MODEL_PATH --input "你好，DeepSeek!"

      11. 訓練模型(可選)

      如果你想從頭訓練或微調模型，可以使用以下命令：

      python train.py --model_path $MODEL_PATH --data_path path/to/your/data

      12. 部署模型(可選)

      你可以將模型部署為 API 服務，使用 Flask 或 FastAPI 等框架：

      pip install fastapi uvicorn

      uvicorn api:app --reload

      13. 訪問 API

      如果部署成功，你可以通過 xxx://localhost:8000 訪問 API，并通過 POST 請求發送輸入文本。

      使用 Ollama 進行本地部署(簡化版)Windows系統

      如果你覺得上述步驟過于復雜，可以使用 Ollama 來簡化本地部署過程。Ollama 是一個用于管理 AI 模型的工具，特別適合初學者。

      1. 安裝 Ollama

      打開瀏覽器，搜索 Ollama，進入guan網。

      點擊 Download，根據你的操作系統選擇對應的版本(Windows、macOS 或 Linux)。

      下載并安裝 Ollama。安裝完成后，桌面會出現一個羊駝圖標。

      特別說明：最好安裝在C盤，安裝在其它盤，需要重新配置環境變量。

      2. 選擇并安裝模型

      打開 Ollama guan網，點擊右上角的 Models。

      選擇 deepseek-r1 模型，并根據你的電腦性能選擇合適的參數版本(如 1.5b、7b、14b 等)。

      復制安裝命令，例如：

      ollama run deepseek-r1:1.5b

      打開命令行(Windows 用戶按 Win + R，輸入 cmd)，粘貼并運行上述命令。模型將自動下載并安裝。

      點擊鍵盤上的“Enter”鍵，模型會自動下載。

      3. 與模型對話

      安裝完成后，你可以直接在命令行中與模型對話：

      ollama run deepseek-r1:1.5b

      輸入你的問題，模型會立即給出回答。

      此時大模型安裝在你的電腦上，就算斷網也可以繼續用，也不用擔心數據泄露。

      后續運行模型操作注意事項：

      當你關閉電腦后，下次再打開ollama。會發現點擊ollama的圖標，電腦沒反應。

      因為你點擊圖標，只是啟動了ollama，想要和大模型聊天，還是需要打開命令行。

      繼續通過命令行和大模型聊天：

      同時按下鍵盤上的Win和R鍵，在彈出的窗口里輸入cmd，點擊確定打開命令行。在命令行界面，輸入剛剛的命令“ollama run deepseek-r1:1.5b”。因為你之前已經下載過，這次無需下載，可以直接和模型聊天。

      四、安裝 Open-WebUI(可選)

      Open-WebUI 可以為 Ollama 提供一個更友好的圖形界面，但安裝過程較為復雜，適合有一定技術基礎的用戶 (只是讓交互界面更好看，可以不必安裝)

      這里就給大家簡單的演示講解下：

      1. 安裝 Docker

      打開瀏覽器，搜索 Docker，進入guan網，根據你的電腦系統下載并安裝 Docker 桌面版。

      安裝完成后，需要重新啟動電腦，才能正常使用docker。重新啟動后，如果你的桌面上出現了docker的圖標，就表示安裝成功了。

      2. 安裝 Open-WebUI

      打開命令行，輸入以下命令安裝 Open-WebUI：(linux系統)

      docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

      安裝完成后，打開瀏覽器，訪問 xxx://localhost:3000，注冊一個賬號并登錄。

      在界面左上角選擇你的模型，即可開始對話。

      Windows：瀏覽器搜索Open-WebUI，進入guan網，并復制紅框中的命令。

      按照上面提到的步驟，打開命令行，輸入復制的命令，等待安裝完成。

      運行Open-WebUI

      雙擊docker的桌面圖標，打開軟件。點擊紅框端口，即可運行Open-WebUI。

      初次訪問時，需要注冊一個賬號。這些信息會儲存在你的電腦里。

      在界面左上角，選擇你的模型，就可以開始對話啦。

      五、常見問題

      1. 如何查看已安裝的模型?

      在命令行中輸入以下命令：

      ollama list

      2. 如何刪除模型?

      在命令行中輸入以下命令：

      ollama rm deepseek-r1:1.5b

      在命令行輸入，ollama rm + 模型名稱，例如：ollama rm deepseek-r1:1.5b，就會自動刪除對應模型。

      3. ollama的其它功能

      命令行輸入ollama，展示出ollama的其它功能。

      比如：輸入“ollama stop”是停止模型運行，“run + 模型名”是運行對應模型。

      六、總結

      通過以上步驟，你可以輕松在本地部署 DeepSeek 模型。無論是通過手動安裝還是使用 Ollama，本地部署都能為你提供更高的靈活性和數據安全性。