DeepSeek-R1 是由杭州深度求索公司开发, 该模型完全开源了所有训练技术和模型权重，性能对齐闭源的 OpenAI-o1, deepseek 通过 DeepSeek-R1 的输出，蒸馏了 6 个小模型给开源社区，包括 Qwen2.5 和 Llama3.1。本文档将讲述如何使用 RKLLM 将 DeepSeek-R1 蒸馏模型 DeepSeek-R1-Distill-Qwen-1.5B 大语言模型部署到 RK3588 上利用 NPU 进行硬件加速推理。本文介绍DeepSeek-R1在麒麟系统上的部署步骤

一、下载链接

为了支持RK3588上升级DeepSeek，需要如下下载安装包。


git clone https://www.modelscope.cn/radxa/DeepSeek-R1-Distill-Qwen-1.5B_RKLLM.git

通过克隆之后，获得如下文件列表

此时我们将安装包文件放置到RK3588的麒麟操作系统上

二、安装DeepSeek

安装DeepSeek非常简单，如下：


export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:~/DeepSeek-R1-Distill-Qwen-1.5B_RKLLM
cd ~/DeepSeek-R1-Distill-Qwen-1.5B_RKLLM
chmod +x llm_demo

三、使用DeepSeek

使用DeepSeek仅需运行如下命令即可：


./llm_demo DeepSeek-R1-Distill-Qwen-1.5B.rkllm 10000 10000

然后我们得到如下信息：


rkllm init start
I rkllm: rkllm-runtime version: 1.1.4, rknpu driver version: 0.9.3, platform: RK3588
rkllm init success
user:

至此我们可以开始使用DeepSeek

例如询问斐波那契数列如下：

例如询问提供医生疾病诊疗手册

其他三个小问题：

翻译
计算
数学

四、注意事项

4.1 请确认当前机器是否支持RK3588NPU

如支持，则我们运行时可以看到NPU的负载如下：

4.2 请确认内存剩余空间

如内存紧张，可以开启swap如下：


sudo mkdir -p /swap/
# 设置分区的大小
dd if=/dev/zero of=/swap/swap0 bs=1024 count=8388616
# 设置该目录权限
sudo chmod 0600 /swap/swap0
# 创建SWAP文件
sudo mkswap /swap/swap0
# 激活SWAP文件
sudo swapon /swap/swap0