过去几年里，嵌入式视觉应用大量涌现，包括从相对简单的智能视觉门铃到执行随机拾取和放置操作的复杂的工业机器人，再到能够在无序、地形不断变化的环境中导航的自主移动机器人（AMR）。快速采用嵌入式视觉技术的行业包括汽车、消费电子、医疗、机器人、安防/监控以及大量工业应用。

如今，嵌入式视觉正逐渐应用于人工智能（AI）和机器学习（ML）系统中，用来分析图像和视频流、检测/识别人和物体以及从看到的景象中提取信息，便于采取下一步行动（关于AI、ANN、ML、DL和DNN的常见问题1）。

本文首先介绍了当今嵌入式视觉设计一些趋势。然后探讨了现场可编程逻辑门阵列（FPGA）在嵌入式视觉系统中的应用。最后讨论了使用莱迪思半导体的CrossLink™ FPGA创建嵌入式视觉系统。

嵌入式视觉的发展趋势

推动嵌入式视觉设计的主要趋势有：高分辨率和高带宽的需求持续增长，系统中视觉传感器和显示器的数量与日俱增，以及小尺寸和低功耗的要求不断涌现。此外，将人工智能（AI）和机器学习（ML）功能加入嵌入式系统也是大势所趋，尤其是添加到靠近视觉传感器的本地端。

嵌入式视觉系统的另一个趋势是接口标准的数量和种类不断增长。表1列出了一些最常见的接口类型。其中用于“模块内部”（inside the box）的标准（如设备内部）通常要求驱动几厘米到几十厘米大小的设备，而“模块之间”（box-to-box）的接口可能需要在几米到几百米甚至更大的设备间驱动视觉数据。

表1：常见视频接口

PHY这个术语是“物理层”的缩写，通常是在芯片上或者作为芯片（集成电路）实现的一种电子电路。PHY用于实现开放系统互连（OSI）模型的物理层功能，无论计算或电信系统底层内部结构和技术如何，该模型都能对其通信功能进行标准化。

在嵌入式视觉系统中使用莱迪思

CrossLink FPGA支持MIPI

WP0023C

MIPI简介

嵌入式视觉应用中MIPI的使用日益增多，尤其是CSI-2（摄像头/传感器）和DSI（显示屏）协议，两者均采用被称之为D-PHY的PHY。在带宽和接口长度方面，MIPI在位于OpenLDI和eDP/DP（eDisplay Port和Display Port）之间。

MIPI联盟是一家在全球拥有250名企业会员的国际组织。ARM、英特尔（Intel）、诺基亚（Nokia）、三星（Samsung）、意法半导体（STMicroelectronics）和德州仪器（Texas Instruments）于2003年创建MIPI联盟，彼时MIPI是“移动产业处理器接口”的英文首字母缩略词。然而，如今该组织的各类规范不仅适用于处理器互连，更能满足一台设备上全部接口需求，所以MIPI不仅仅是首字母缩略词，而是已经作为单独的名称使用。

为了了解更多有关MIPI流行的背景信息，我们不妨回顾一下1990年代中期个人计算机（PC）刚开始流行的时期（图1）。当时的PC使用的接口是外设部件互连标准（PCI）和通用串行总线（USB）。这些低成本的PCI和USB技术随后被各类不同的产品采用。

图1：PC和智能手机出货量（资料来源：莱迪思半导体和行业分析师）

MIPI CSI-2和DSI-2协议也是如此，它们最初用于智能手机。自从2007年发布首款iPhone以来，智能手机急速增长，远远超过PC。这推动了规模经济，低成本的摄像头、显示屏和处理器组件开始涌现，它们开始广泛用于各类非智能手机应用和市场。（本文中的“处理器”可能是指SoC芯片、ASSP和应用处理器等器件）

在嵌入式视觉系统中使用莱迪思

CrossLink FPGA支持MIPI

WP0023C

MIPI采用的D-PHY接口（如图2所示）使用一个差分时钟和一到四个差分数据通道，支持的速度为80 Mbps到2.5 Gbps。

图2：MIPI D-PHY接口

MIPI接口支持两种运行模式：高速（HS）和低速（LP）。该接口在发送器和接收器之间主要是单向传输，但是在某些低速通信情况下，能够从接收器向发送器传输。

在嵌入式视觉设计中使用FPGA

嵌入式视觉设计的一个重要特征是其架构通常需要不断调整以适应各种规范的变化，这就让FPGA成为实现这类设计的理想选择。

一个主要的考虑因素就是ASIC/ASSP和FPGA设计开发周期的差别，使用FPGA来实现设计（图3），可加快产品上市（从而快速盈利）。

图3：使用FPGA加速产品上市和盈利

在嵌入式视觉系统中使用莱迪思

CrossLink FPGA支持MIPI

WP0023C

中型ASIC/ASSP从设计到量产其开发周期要将近一年。此外，由于设计规范不断发生变化，期间还存在诸多风险（在嵌入式视觉设计中非常常见），再加之ASIC/ASSP的设计流程大多错综复杂，这就意味着某个流程出现耽搁，会对其他流程产生连锁的负面反应。

若采用FPGA实现设计，设计人员可采用经过市场检验的硬件，在现场重新配置，应对任何设计规范的变更。

从设计人员的角度来看，开发周期的最初阶段（即在抽象的RTL阶段捕获设计）都是相同的，其余步骤要么相似，要么所需时间和资源更少，要么根本不需要。因此使用FPGA的总体优势是可以在大约三分之一的开发时间内实现设备的正常工作。

从历史角度看，一些嵌入式系统的设计人员认为FPGA是大尺寸、高功耗的器件，仅仅用于数据中心、通信中心、医学成像以及军事等大型应用。

这些传统的FPGA通常有几十万LUT，功率高达50-100 W，封装尺寸可达55 x 55 mm，通常配置散热片。然而还有一些专门实现特定功能的FPGA产品，专注于要求小尺寸和低功耗的应用。例如莱迪思半导体提供这类小尺寸（从10 x 10 mm，功耗1 W到1.4 x 1.4 mm，功耗仅为1 mW）的FPGA产品，满足那些要求小尺寸和高能效应用的需求。

与小型ASIC/ASSP相比，这些功能导向的FPGA更容易快速开发、使用更灵活。此外，由于大多数通用FPGA旨在应用于工业和汽车等多个市场，它们通常都支持商用和工业温度环境。而ASIC/ASSP大多被开发用于消费电子产品，对此类温度环境的支持不太普遍。

CrossLink FPGA简介

莱迪思半导体主要提供四种FPGA产品系列：ECP™、MachXO™、iCE™和CrossLink™。ECP系列包括了设计人员所一般认为的“传统”FPGA——主要针对互连和加速应用的通用器件。MachXO FPGA具有数百个可编程输入/输出（I/O），非常适合需要GPIO扩展、接口桥接和电源管理功能的各类应用。iCE系列是尺寸最小的超低功耗FPGA，最小型号封装尺寸仅为1.4 mm x 1.4 mm，提供18个I/O。

尤其值得一提的是针对高速视频和传感器应用进行了优化的CrossLink FPGA。CrossLink FPGA通过硬核PHY增强了其传统的可编程架构，提供业界最快的MIPI D-PHY桥接解决方案，支持高达12 Gbps和4K UHD分辨率（图4）。此外，CrossLink器件提供2.46 x 2.46 mm的WLCSP小型封装和0.4 mm、0.5 mm和0.65 mm球间距的BGA封装。

在嵌入式视觉系统中使用莱迪思

CrossLink FPGA支持MIPI

WP0023C

图4：用于嵌入式视觉的CrossLink FPGA包括硬核MIPI D-PHY，优化性能和设计

CrossLink FPGA提供两个4通道MIPI D-PHY收发器，每个PHY速率达6 Gbps，还提供15个可编程源同步I/O对，通过LVDS、SLVS200、subLVDS、LVCMOS和OpenLDI（OLDI）等接口标准实现摄像头和显示屏互连。此外，这些可编程I/O可实现每通道速率最高1.2 Gbps的“软MIPI”接口，而LVCMOS可用于在本地实现并行/RGB接口。

应用案例

CrossLink FPGA的应用包括传感器桥接、传感器复制、传感器聚合、显示屏桥接和分屏。这里的“桥接”是指将视频信号从一种接口标准转换为另一种。

在现有控制器上使用MIPI传感器和显示屏：一个典型的案例就是现有系统的SoC、ASSP或AP不支持MIPI，但是设计人员希望在保留原有处理器（及代码）的同时对系统进行升级，新增更为高效、低功耗、基于MIPI的传感器和/或显示屏（图5）。

图5：使用CrossLink FPGA让现有的SoC、ASSP、AP兼容MIPI传感

器和/或显示屏

在现有传感器和显示屏上使用MIPI控制器：当设计人员的SoC、ASSP、AP支持MIPI，但是又希望使用原本的非MIPI传感器和显示屏系统时，也会面临同样的问题。工业领域的许多图像传感器和显示屏都采用LVDS、SUBLVDS或并行接口。此外，许多传统的传感器采用的是全局快门而非卷帘快门。这就推动了对更为复杂的桥接解决方案的需求。

在嵌入式视觉系统中使用莱迪思

CrossLink FPGA支持MIPI

WP0023C

图6：使用CrossLink FPGA让MIPI接口的SoC、ASSP、AP兼容现有的非MIPI传

感器/或显示屏

传感器数据复制：该应用的一个典型案例是，对安全性要求高的应用需要进行数据备份（如智能汽车），因此来自传感器的视频输入可能需要分成两个数据流，馈送到两个单独的处理器中（和许多其他接口标准一样，MIPI是点对点的，因此不能将单个传感器直接连接多个处理器）。

这类应用的思路是，如果其中一个处理器发生故障，必须要有数据备份。此外，如果有多个传感器，每个传感器的数据流都可以被拆分并馈送到多个处理器。当然，传感器复制可与桥接功能结合使用。图7展示了一种可能的配置场景。

图7：使用CrossLink FPGA在对安全性要求高的系统中实现传感器数据复制

显示器分屏：当我们需要获取由系统处理器生成的视频信号，并将该信号拆分连接到多个显示屏时，就需要用到显示器分屏的功能。它可以与桥接功能结合使用。图8展示了一种可能的配置场景。

图8：使用CrossLink FPGA实现显示器分屏

在嵌入式视觉系统中使用莱迪思

CrossLink FPGA支持MIPI

WP0023C

传感器聚合：最后，我们来谈谈传感器聚合应用。正如本文以上所述，这一应用得以发展是因为系统中添加了越来越多的图像传感器。问题在于某些处理器的传感器输入数量有限，因此我们需要某种方式来聚合来自多个传感器的数据。

图9：使用CrossLink FPGA实现传感器聚合

当然，与传感器复制和显示屏分屏一样，传感器聚合也可以和桥接功能一起使用。

使用CrossLink FPGA进行设计

使用CrossLink FPGA进行设计时，要先问自己一些基本的问题，然后顺着答案设计基本架构。例如，你打算使用什么PHY和协议来输入输出视频信号（图10）？

图10：作出架构方面的决定

这些决定大多和你所选择的传感器和显示屏类型有关（或者因为没得选择不得不使用这些类型）。还有一些影响因素就是即将使用的SoC/ASSP/AP处理器类型。反过来，对于上述问题的答案也会引导你思考如何处理图像及其格式，包括是否要进行复制、聚合和拆分等操作。此外，一旦决定了输入和输出数据速率，就可以结合PHY和协议的选择来决定你的设计要求多少输入和输出通道。