前言

最近国产大模型 deepseek 比较火，正好手里有块板子，看了下硬件配置，部署 DeepSeek-R1-Distill-Qwen-1.5B 没有问题，所以干脆直接试下 deepseek5B，看下效果如何。
板子参数：8+64GB，NPU：6 Tops

1. 部署方式

目前有两种部署方式。一种是使用 ollama 部署，另一种是使用 rknn 官方的代码块部署。区别则是第一种使用 cpu，后者使用 npu。

1.1 使用 ollama 部署

# 进入 ollama 官网，复制 Linux 安装命令。网络较慢，需要科学上网
$ curl -fsSL https://ollama.com/install.sh | sh

# 下载运行7b模型
$ ollama run deepseek-r1:7b

1.2 使用 rknn 官方代码块部署

1.2.1 转换模型

因为官方已经有转换好的模型供我们下载，所以这里就直接使用。
下载地址：deepseek rknn模型 密码： rkllm

1.2.2 下载 RKNN-LLM 工具包并运行模型

# 1
$ git clone https://github.com/airockchip/rknn-llm.git

# 2
$ cd rknn-llm/examples/DeepSeek-R1-Distill-Qwen-1.5B_Demo/deploy
$ sudo chmod 777 build-linux.sh

# 3
$ ./build-linux.sh
# 需要修改gcc和g++路径。
# 报错: -bash: ./build-iinux.sh: /bin/bash^M: bad interpreter: No such file or directory
# vi 末行模式下输入 set ff=unix 后，保存重新运行即可。

# 4
# 编译完成后在当前文件夹会出现install/demo_Linux_aarch64目录,将下载好的模型文件放入到demo_Linux_aarch64目录

# 5
$ export LD_LIBRARY_PATH=./lib  
# 如果初始化失败，找不到库，可以将lib库中的so文件拷贝到/usr/lib库中

# 6 运行
$ taskset f0 ./llm_demo /path/to/your/rkllm/model 2048 4096

不出意外的话就可以正常运行了。

cpu和内存占用

npu占用