憑借卓越性能表現(xiàn)與先天開源優(yōu)勢,DeepSeek正迅速成為全球擴展大模型應(yīng)用實踐的一大“圓心”。作為英特爾在GPU領(lǐng)域的重要布局,英特爾銳炫™顯卡既是游戲黨與視頻生產(chǎn)力工作者的新歡,也可用作計算卡,對DeepSeek提供加速支持,為企業(yè)用戶部署相關(guān)AI應(yīng)用提供一條全新的高價性比實現(xiàn)路徑。具體來說,就是與英特爾®至強®可擴展處理器或英特爾®至強®W處理器搭配,以多卡配置的型態(tài)來運行和加速DeepSeek推理任務(wù)。
本文將在DeepSeek-R1- Distill-Qwen-32B推理場景下,以面向企業(yè)級應(yīng)用且成本最低可控制在5-6萬元人民幣的4路英特爾銳炫™A770顯卡 + 至強®W處理器的解決方案為例,詳細闡述搭建硬件環(huán)境、配置驅(qū)動與軟件、優(yōu)化參數(shù)設(shè)置等步驟,手把手教大家部署和配置這一方案。
1、軟硬件安裝配置與初始化
1.1 硬件安裝配置
圖. 安裝4路英特爾銳炫™ A770顯卡的AI工作站
在BIOS設(shè)置中,將Re-Size BAR Support設(shè)為[Enabled]
1.2 軟件安裝配置
安裝操作系統(tǒng)04.1 LTS(鏡像文件可訪問https://old-releases.ubuntu.com/releases/22.04.1/ubuntu-22.04.1-desktop-amd64.iso獲取)。
~$ lspci | grep 56a0
18:00.0 VGA compatible controller: Intel Corporation Device 56a0 (rev 08)
36:00.0 VGA compatible controller: Intel Corporation Device 56a0 (rev 08)
54:00.0 VGA compatible controller: Intel Corporation Device 56a0 (rev 08)
cc:00.0 VGA compatible controller: Intel Corporation Device 56a0 (rev 08)
~$ wget -qO - https://repositories.intel.com/gpu/intel-graphics.key | sudo gpg --yes --dearmor --output /usr/share/keyrings/intel-graphics.gpg
~$ echo "deb [arch=amd64,i386 signed-by=/usr/share/keyrings/intel-graphics.gpg] https://repositories.intel.com/gpu/ubuntu jammy/lts/2350 unified" | sudo tee /etc/apt/sources.list.d/intel-gpu-jammy.list
~$ sudo apt update
~$ sudo apt-get install -y linux-image-6.5.0-35-generic linux-headers-6.5.0-35-generic linux-modules-6.5.0-35-generic linux-modules-extra-6.5.0-35-generic
~$ sudo apt install intel-i915-dkms
~$ sudo vim /etc/default/grub
GRUB_DEFAULT="Advanced options for Ubuntu>Ubuntu, with Linux 6.5.0-35-generic"
~$ sudo update-grub
~$ sudo reboot
~$ sudo apt install -y intel-opencl-icd intel-level-zero-gpu level-zero intel-media-va-driver-non-free libmfx1 libmfxgen1 libvpl2 libegl-mesa0 libegl1-mesa libegl1-mesa-dev libgbm1 libgl1-mesa-dev libgl1-mesa-dri libglapi-mesa libgles2-mesa-dev libglx-mesa0 libigdgmm12 libxatracker2 mesa-va-drivers mesa-vdpau-drivers mesa-vulkan-drivers va-driver-all vainfo hwinfo clinfo
~$ sudo gpasswd -a $(USER) render
~$ sudo newgrp render
~$ clinfo | grep "Driver Version"
Driver Version 23.43.27642.67
1.3 在英特爾® 至強® W平臺上設(shè)置
~$ sudo vim /etc/modprobe.d/blacklist.conf
~$ sudo update-initramfs -u
~$ sudo vim /etc/gdm3/custom.conf
]# sudo update-initramfs -u
~$ sudo reboot
1.4 監(jiān)控工具xpu-smi安裝
~$ wget https://github.com/intel/xpumanager/releases/download/V1.2.27/xpu-smi_1.2.27_20240103.051106.5eeb3f13.u22.04_amd64.deb --no-check-certificate
~$ sudo apt install ./xpu-smi_1.2.27_20240103.051106.5eeb3f13.u22.04_amd64.deb
~$ xpu-smi discovery
2、大模型服務(wù)與聊天機器人演示
2.1 容器(Docker)安裝及服務(wù)設(shè)置
~$ apt-get install linux-tools-6.5.0-35-generic linux-cloud-tools-6.5.0-35-generic
# Query max turbo frequency, like W3445, Max Turbo Frequency is 4.8GHz:
~$ sudo cpupower frequency-set -d 4.8GHz
~$ sudo xpu-smi config -d 0 -t 0 --frequencyrange 2400,2400
~$ sudo xpu-smi config -d 1 -t 0 --frequencyrange 2400,2400
~$ sudo xpu-smi config -d 2 -t 0 --frequencyrange 2400,2400
~$ sudo xpu-smi config -d 3 -t 0 --frequencyrange 2400,2400
2.2 安裝并啟動vLLM服務(wù)
~$ docker pull intelanalytics/ipex-llm-serving-xpu:2.2.0-b11
~$ sudo bash backend-ipex-docker.sh
~$ docker exec -it ipex-llm-b11 bash
~$ cd workspace & bash vllm-deepseek-r1-distill-qwen-32b-openaikey.sh
2.3 使用Chatbox AI進行性能測試
User> ssh -L 8001:localhost:8001 worker@192.168.10.110
創(chuàng)新不止步:全新24GB銳炫™ 顯卡與滿血版DeepSeek R1方案正在路上
本部署指南雖然是圍繞4路英特爾銳炫™ A770顯卡的方案展開,且以DeepSeek-R1-Distill-Qwen-32B版為例,但我們的實踐探索并未局限于此。
一方面,該解決方案可對DeepSeek各個蒸餾版提供同樣靈活的支持。使用者可通過調(diào)整輸入模型名稱,以及設(shè)定并行使用的顯卡數(shù)量來進行調(diào)整(使用--tensor-parallel-size參數(shù)來控制)。
另一方面,多路英特爾銳炫™顯卡 + 英特爾®至強®可擴展處理器 /至強®W處理器方案的關(guān)鍵目標,還是鎖定在DeepSeek- R1-671B這一性能巔峰版本上,其配置與優(yōu)化方法很快就會與大家見面。預(yù)計其技術(shù)路徑會同時覆蓋基于KTransformer,能更充分發(fā)揮至強® 處理器內(nèi)置AI加速技術(shù)AMX潛能的方案,以及GPU配置密度更高的單機16路英特爾銳炫™ 顯卡的方案。
另一個值得期待的進展,就是專為生產(chǎn)力應(yīng)用打造的新一代英特爾銳炫™顯卡 B580 24G顯存版本也正向我們走來,其4張卡即可提供96GB的顯存容量,意味著用戶可在單機中更輕松地部署更大參數(shù)量的DeepSeek服務(wù)(例如DeepSeek- R1-671B版本),進而能在實戰(zhàn)中以較低的成本和較為便捷的部署方式,開啟不縮水的DeepSeek服務(wù)。
好文章,需要你的鼓勵
新加坡國立大學研究團隊開發(fā)了SPIRAL框架,通過讓AI與自己對弈零和游戲來提升推理能力。實驗顯示,僅訓(xùn)練AI玩簡單撲克游戲就能讓其數(shù)學推理能力提升8.6%,通用推理提升8.4%,且無需任何數(shù)學題目作為訓(xùn)練材料。研究發(fā)現(xiàn)游戲中的三種推理模式能成功轉(zhuǎn)移到數(shù)學解題中,為AI訓(xùn)練提供了新思路。
同濟大學團隊開發(fā)的GIGA-ToF技術(shù)通過融合多幀圖像的"圖結(jié)構(gòu)"信息,創(chuàng)新性地解決了3D相機噪聲問題。該技術(shù)利用圖像間的不變幾何關(guān)系,結(jié)合深度學習和數(shù)學優(yōu)化方法,在合成數(shù)據(jù)集上實現(xiàn)37.9%的精度提升,并在真實設(shè)備上展現(xiàn)出色泛化能力,為機器人、AR和自動駕駛等領(lǐng)域提供更可靠的3D視覺解決方案。
伊利諾伊大學研究團隊通過對比實驗發(fā)現(xiàn),經(jīng)過強化學習訓(xùn)練的視覺語言模型雖然表現(xiàn)出"頓悟時刻"現(xiàn)象,但這些自我糾錯行為并不能實際提升推理準確率。研究揭示了AI模型存在"生成-驗證差距",即生成答案的能力強于驗證答案質(zhì)量的能力,且模型在自我驗證時無法有效利用視覺信息,為AI多模態(tài)推理發(fā)展提供了重要啟示。
MIT等頂尖機構(gòu)聯(lián)合提出SparseLoRA技術(shù),通過動態(tài)稀疏性實現(xiàn)大語言模型訓(xùn)練加速1.6倍,計算成本降低2.2倍。該方法使用SVD稀疏性估計器智能選擇重要計算部分,在保持模型性能的同時顯著提升訓(xùn)練效率,已在多個任務(wù)上驗證有效性。