“嵌入式AI”是近两年最火的概念，但如何在资源受限的边缘设备上高效运行庞大的神经网络，是开发者面临的头号难题。传统的“CPU+GPU”模式在嵌入式领域往往受限于功耗墙，而“CPU+FPGA”或“CPU+NPU”的异构计算架构，则提供了一条高能效比的落地路径。
异构计算的核心思想是：让合适的硬件做合适的事。在嵌入式AI场景中，数据流通常包含预处理、推理、后处理三个阶段。
以智能交通摄像头为例，它需要实时识别车牌和车型。
1.数据预处理(FPGA/PL主导)： 摄像头采集的原始RAW数据需要经过ISP(图像信号处理) pipeline，包括去马赛克、白平衡、伽马校正等。这些操作算法固定但数据量巨大，非常适合用FPGA的并行逻辑实现。FPGA可以在数据写入内存之前，就以“流水线”的方式完成处理，且不占用CPU资源。
2.AI推理(NPU/PL主导)： 预处理后的图像送入AI加速器。如果是FPGA方案，可以通过HLS(高层次综合)工具将CNN网络量化并部署在PL端，利用FPGA丰富的DSP切片进行乘加运算。相比于通用CPU，FPGA可以实现流水线级的推理，延迟极低且确定。
3.逻辑后处理(CPU/PS主导)： 推理结果(如“车牌号：京A88888”)输出后，CPU负责将这些结构化数据打包，通过4G/5G模块上传云端，或者控制道闸开启。
这种异构协同不仅仅是速度的提升，更是能效的飞跃。根据相关测试数据，在ResNet-50等经典网络模型上，异构架构的能效比(TOPS/W)通常是纯CPU方案的8倍以上。
此外，异构计算还解决了“多模态融合”的问题。在高级辅助驾驶系统中，需要同时处理雷达点云数据和摄像头图像数据。FPGA可以并行接收这两种不同格式的数据，进行硬件级的时间同步和对齐，然后再送给AI引擎处理。这种在硬件底层实现的数据融合，是单纯依靠软件算法难以企及的。