与非网 · 半导体与工程·· 1 天前AI 评分22
ZMC700E 控制器 AI 部署指南:6TOPS NPU 与 RKNN 工具链
产品应用 | ZMC700E控制器AI部署指南
AI 导读
致远电子 ZMC700E 控制器基于 RK3576 处理器,内置最高 6TOPS 的 INT8 算力 NPU,支持 AI 算法部署。文章介绍其 NPU 特性、RKNN 工具链及从模型转换到板端推理的完整部署流程,并以 YOLOv5 为例演示目标检测。
深度导读
ZMC700E 是广州致远电子开发的新一代高性能智能总线型控制器,采用 RK3576 低功耗处理器,集成 4 核 Cortex-A72 + 4 核 Cortex-A53 + ARM Cortex-M0,板载 4GB DDR4、8GB eMMC 与 32KB EEPROM。接口方面提供 3 路以太网(1 路千兆、2 路 EtherCAT 主站百兆)、5 路 RS485、2 路 CAN、2 路 232、16 个用户 I/O 以及 USB3.0、TypeC、HDMI 和 TF 卡支持,面向电力设备、储能、注塑、机器人、锂电设备等工业场景。
其内置 NPU 专为神经网络算法加速设计,采用高度并行的 MAC 阵列架构,针对卷积、矩阵乘法、激活函数等操作做硬件优化。RK3576 的 NPU 可提供 INT8 精度下最高 6 TOPS 算力,并支持 INT16 精度卷积运算,可支撑机器视觉、智能检测等工业 AI 任务,在产线现场完成缺陷检测、工件分类等推理而无需上传云端。
配套 RKNN 工具链支持 TensorFlow、PyTorch、Caffe、ONNX、TFLite 等主流框架,包含 PC 端 RKNN-Toolkit2 与板端 RKNN Toolkit Lite2,覆盖模型转换、量化、推理与性能评估。文章也指出其限制:工具链、板端驱动与固件版本需严格匹配,INT8 量化会带来微小精度损失,特殊与新算子支持依赖瑞芯微工具链更新。
部署流程上,文章给出在 Ubuntu 22.04 虚拟机中通过 conda 创建 Python 3.8 环境、安装 RKNN-Toolkit2 的步骤,并建议先将各框架模型导出为 ONNX 再转换为 .rknn。以 YOLOv5 为例,通过 model_config.yml 配置量化参数、用 test.py 完成 config、load_onnx、build、export 与 inference,量化数据集推荐至少 500 个样本。
最后将生成的 .rknn 模型放入示例工程,使用致远电子 aarch64 交叉编译脚本构建,通过 adb push 部署到 ZMC700E 上运行,输出结果可 adb pull 回传查看。示例中行人与大巴均被准确识别,验证了模型转换与板端推理流程的可行性。
来源:与非网 · 半导体与工程 · eefocus.com