在近期舉辦的嵌入式視覺大會上,來自Xilinx合作伙伴安富利(Avnet)的高級FPGA/DSP設計工程師Mario Bergeron向大家展示了一款雙攝像頭采集圖像并實現融合的演示Demo。硬件平臺采用的是Avnet PicoZed SOM(片上系統),核心集成的是Xilinx Zynq Z-7030 SoC,同時還用到了PicoZed嵌入式開發套件的FMC擴展板卡等模塊。采用的兩款攝像頭分別是FMC接口的Python-1300-C彩色圖像傳感器,分辨率達1280x1024,配置靈活,敏感度高,性能高,主要應用于工業圖像采集應用,同樣是安富利(Avnet)公司設計生產的。另一個攝像頭采用的是FLIR紅外熱成像傳感器,輸出60x80分辨率的紅外視頻流,通過Pmod接口實現與PicoZed SoM的通信與數據傳輸。
首先對彩色圖像進行了Sobel邊緣檢測處理,然后對紅外圖像進行拉伸處理(warped)并重新調整大小(resize),這樣才能夠將兩幅圖像進行融合。開發過程中充分借助了Xilinx reVISION Stack資源,Sobel邊緣檢測和重新調整圖像大小的算法都直接來自reVISION Stack提供的算法庫,圖像融合部分是工程師Mario Bergeron采用C語言實現的,因為這三部分算法模塊都是計算密集型任務,因此采用Vivado HLS進行綜合創建硬件加速器模塊,然后借助SDSoC工具實現加速器模塊與ARM處理器的通信連接,生成軟件接口驅動程序。