19962171882香橙派发布OrangePi 5Plus本地部署Deepseek-R1蒸馏模型指南
2025-02-19 17:05:32
在DeepSeek迅速成为行业焦点之际,香橙派昇腾系列产品已经率先完成了与 DeepSeek 模型的深度适配,通过在边缘进行离线部署,帮助用户实现高效端侧智能,确保数据处理的安全性和可控性。
紧接着,香橙派官方发布OrangePi 5Plus运行Deepseek-R1蒸馏模型实操指南,赶紧收藏起来吧!
OrangePi 5 Plus采用了瑞芯微RK3588八核64位处理器,具体为四核A76+四核A55,8nm工艺设计,主频最高可达2.4GHz,集成ARM Mali-G610, 内置 3D GPU,兼容OpenGL ES1.1/2.0/3.2、OpenCL 2.2和Vulkan 1.2;内嵌的NPU支持INT4/INT8/INT16/FP16混合运算,算力高达6TOPS,可以满足绝大多数终端设备的边缘计算需求;拥有4GB/8GB/16GB(LPDDR4/4X)、32GB LPDDR4X,和eMMC 闪存插座,可以外接16GB/32GB/64GB/128GB/256GB eMMC模块。OrangePi 5 Plus支持OrangePi 官方研发的操作系统Orangepi OS,同时,支持Android12、Debian11、Ubuntu22.04等操作系统。OrangePi 5 Plus顺利通过开放原子开源基金会XTS认证,并获颁OpenHarmony生态产品兼容性证书。
实操指南:OrangePi 5Plus运行Deepseek-R1蒸馏模型
1.1.6.DeepSeek-R1-Distill-Qwen-1.5B
1) 参考用户手册在pc端安装RKLLM工具链。
2) 参考用户手册在pc端编译llm_demo测试程序。
3) 先在Ubuntu操作系统上安装Git LFS,如果已安装可跳过这一步。
4) 接着下载DeepSeek-R1-Distill-Qwen-1.5B模型。
5) 参考下面的代码修改test.py文件。
a. modelpath:DeepSeek-R1-Distill-Qwen-1.5B文件夹所在的绝对路径。
b. llm.export_rkllm:转换后模型保存路径。
6) 创建一个名为“data_quant.json”的文件。内容可以参考下面的示例。
7) 然后用python3运行test.py文件来转换大模型。
8) 转换成功的输出如下所示:
9) 最后转换成功会在当前目录下得到DeepSeek-R1-Distill-Qwen-1.5B.rkllm文件,大小约为1.9G。
10) 参考用户手册更新NPU内核驱动和rknn-llm相关文件。这里使用的版本是:
11) 将在Ubuntu PC端编译好的llm_demo程序和DeepSeek-R1-Distill-Qwen-1.5B.rkllm模型文件上传到开发板中。
12) 然后运行下面的命令限制最多打开的文件描述符(每开一个终端都要运行)。
13) 然后运行下面的命令来启动模型。
14) 运行成功的话就会弹出以下界面。
15) 如果运行完弹出以下失败界面的话,reboot重启开发板就可以了。第四步运行成功的话则跳过这一步。
16) 在交互界面输入问题后按回车,测试成功的结果如下:
（来源：点财网）