可编程的 DSP 可用于实现各种现有的编解码器和将来的编解码标准。目前的趋势是每两年就会发布新的编解码标准，每个新标准会需要更多的 DSP 周期。因此，选择具有兼容性发展蓝图的 DSP 平台（如 ZSP）非常重要，这样通过系统升级而不是重新设计即可满足未来的系统要求。

多媒体将选定的所有元素（包括文字、音频、静态图像、视频和图形）集成到单一媒体对象中。流技术（Streaming technology）可在媒体对象被读取、收听或者观看的同时实时传输这些对象。在 RealAudio 公司 1995 年提供首个商用流媒体产品之前，绝大部分的互联网媒体文件需要完整下载后才能播放。而现在，不必等到流音频剪片（clip）下载完成才能播放，而是在传输的过程中就可以回放。

流媒体数据由服务器端发送，并由客户端接收和实时显示。当接收缓冲器包含足以避免数据遗失的足够多信息时，客户端就可以开始播放音频 / 视频，以避免信息遗失。专用的多媒体服务器通常用于实施基于网络的流传输。多媒体服务器可以连续地传输数据，而不会出现爆发式传输和长时间的停滞，所以在回放开始之前，客户端只需要很少的缓冲数据。

业已出现在嵌入式 DSP 上的音频 / 视频压缩算法是提供流传输所需实时性能的关键。由于它们具有对数字数据进行编码和解码的能力，此类算法被称为编解码器。

虽然流传输通常与分布式计算机网络的关系最为密切，但是其它形式的数字通讯同样需要流传输。数字音频广播（如 DRM、XMSR、Sirius Satellite Radio）、数字广播电视（如 Direct TV、韩国的 T-DMB）、3GPP 手机和蓝牙手机等均需要使用编解码器，以满足流传输要求。此外，编解码器在存储压缩等非流传输应用中也是非常有用的。

标准化的编解码器提供最高度的互通性。流传输音频标准有：MPEG1/2、Layer 3（MP3）、数字杜比 AC-3、MPEG2 AAC、WMA 和 Ogg Vorbis。通用的视频压缩标准包括 MPEG2、MPEG4 SP/ASP、MPEG4 AVC/H.264 和 WMV。

标准音频编解码器

MP3：MP3 原本用于表述 MPEG1 Layer 3，但是日常应用中已经发展至包含 Layer 1， Layer 2 以及 Fraunhofer Institute 所扩展的 MPEG 2.5。MP3 是得到最高认知度的编解码器之一，在互联网编解码器中具有最大的用户群。但是为达到近 CD 品质音频，对某些难应付的内容需要高于 192kbps 速率。

MPEG1、Part 3 （ISO/IEC 11172-3）：定义了双声道，采样率为 32、44.1 或者 48KHz，编码率从 32 到 384kbps 的编解码方法。此标准描述了三个相关方法：Layers I、II、和 III。Layer III 提供最高的压缩率，但是复杂度也最高。

MPEG2、Part 3 （ISO/IEC 13818-3）：对 MPEG1 标准提供了两个重要的改进。首先，低比特率需求通过使“低采样率（LSF）”扩展标准化而得到满足。该编解码器提供了 16、22.05、和 24kHz 采样率编码方法；其次，MPEG1 模式被扩展为支持上至 12 声道的音频数据。Fraunhofer 的低频率扩展，即 MPEG2.5，提供了 MPEG2 一半的采样频率选择：8、11.025 和 12kHz。

数字杜比（AC-3）：目前，数字杜比具有最大的多声道编解码用户群。通过将多声道整合至单一编码对象中，数字杜比实现了高品质、低复杂度音频压缩。尽管该算法与编码声道的数量无关，目前的实现方案已经接受了 SMPTE 的建议，即采用了由 5 个全带宽音频声道和 1 个用于低音的分带宽声道组成 5.1 声道：分别为左、中、右、左环绕、右环绕和低频扩展（LFE）。

数字杜比支持灵活的播放方式：1 声道到 5.1 声道，32、44.1 或者 48KHz 采样率，比特率从 32 到 640kbps。解码后的音频可自动匹配播放系统以提供与音响配置无关的最佳品质的音效。

aacPlus 系列编解码器：Coding Technologies 公司已经开发了一系列得到国际标准组织广泛采用的编解码器。MPEG2 采用了 AAC，以 128kbps 提供接近 CD 的品质，即使对于特别复杂的内容也如此。aacPlus v1 被 DVD 论坛、DVB、Digital Radio Mondiale、3GPP2 和 ISMA 等组织定为标准。aacPlus v2 在 2004 年末开始商用，已被指定为 3GPP 中的高品质音频编解码器，aacPlus v 2 的所有组件都是 MPEG-4 音频规范的组成部分。

AAC：aacPlus 系列编解码器均是围绕 MPEG2、Part 7（ISO/IEC 13818-7）所描述的 AAC 核心而建立。AAC 提供 8、11、12、16、22、24、32、44、 48、63、88 或者 96kHz 的采样率，以及高达 48 声道的音频，每个声道比特率可高达 288kbps。其定义了三个紧密相关的方案：低复杂度（Low Complexity）、Main 和可伸缩采样率（SSR）。低复杂度的 AAC-LC 需要非常少的处理器资源，因此通常用于嵌入式应用中。

MPEG4、Part 3（ISO/IEC 14496-3）：为 MPEG2 AAC 增加了知觉噪音替代（PNS）工具，因此定义为 MPEG4 AAC。PNS 通过对类噪声信号的参数化编码，从而简化这些信号的表达方法。不能将 PNS 与 MPEG2、MPEG4 中的时域噪声整形（TNS）相混淆。

aacPlus V1：该编解码器有时被称为“高效 AAC”（HE-AAC）。它整合了基本的 AAC 编解码器和频带复制（SBR）技术。SBR 是一种频带扩展技术，可使几乎任何音频编解码器在比特率下降 30％时仍能保证音质。SBR 通过使用频带低半部分信息加上一些编码参数来表达频带的高半部分信息。SBR 技术也可用于其他编解码器，例如结合带 MP3 的 SBR 构成了 MP3Pro 编解码器。

aacPlus V2：在 aacPlus V1 中增加参数化立体声（PS）技术，形成了 aacPlus V2 编解码器。PS 技术使用左声道和一些额外的编码参数，生成右声道，进一步降低了比特率。aacPlus V2 在 160 Kbps 下可达到 DVD5.1 声道品质，在 48Kbps 可达到近 CD 立体声品质，在 32 Kbps 下可达到极佳立体声效果，在 24Kbps 下可达到娱乐品质立体声效果，在低于 16Kbps 时可达到高品质单声道效果。aacPlus V2 的效率使移动数字广播新应用成为可能。

WMA：WMA 是微软授权的 Windows Media Series 中一系列广泛使用的音频编解码器。此系列中最新版本是 WMA9、WMA9 Professional、WMA9 Lossless、WMA9 Voice 和 WMA9 Variable Bit Rate（VBR）。在嵌入式应用中，WMA9 是此系列中最常见的编解码器；提供 16 位 /320kbps 双通道，采样率高达 48KHz。“Professional”支持 24 位、96KHz 采样率和高达 128 到 768kbps 的 7.1 声道。与数字杜比相同，解码后的音频可自动匹配播放系统，以提供和音响配置无关最佳品质的音效。“Lossless”用于 CD 存档，压缩率在 2:1 和 3:1 之间。“Voice”用于压缩语音至 20kbps。尽管 VBR 对于大部分的流应用并不理想，但 WMA9 和“Professional”都能以可变比特率编码。“Lossless”则总是使用 VBR 功能。

Ogg Vorbis：为无需专利费用的开放资源，具有近似于 MP3 的音质。“ogg”是容器格式，而“Vorbis”为音频编解码器。由于它免除了与 MP3 游戏音乐相关的按每游戏收取的许可费用，因此 Ogg Vorbis 在电脑游戏厂商中使用率日益上升。

标准视频编解码器

联合视频组（JVT）由 ITU 的视频编码专家组（VCEG）和 ISO/IEC 运动图像专家组（MPEG）组成。VCEG 开发自愿性标准，用于会话和非会话类音 / 视频应用的先进移动图像编码。MPEG 开发国际标准，用于移动图像、音频及两者组合内容的压缩、编码、解压缩、处理和编码表达等，以满足各种应用。总之，JVT 已经开发了包括 ITU H.262/MPEG2 和 H.264/MPEG4 AVC 在内的最流行的视频标准。

PEG2 Video/H.262：MPEG2（ISO/IEC 13818-2），也被称为 ITU-T H.262，是目前消费类电子视频设备中使用最广泛的视频编码标准。MPE2 视频用于数字电视广播：包括陆地，海底电缆和直接卫星广播。它能在 25fps（PAL）或者 30fps（NTSC）的固定帧率下达到 720x576 像素成像。此外，它也是 DVD-V 中必需的编解码器。

MPEG4-SP/ASP：ISO/IEC 14496-2 描述了 MPEG4 Simple Profile（SP）/Advanced Simple Profile（ASP）。其中，SP 用于下一代便携式终端和窄带互联网。而 ASP 增加若干工具，编码效率提高了 1.5 到 2 倍。他们两个均在市场上获得越来越多的接受。

MPEG4-AVC/ITU-T H.264：AVC 是由 ISO/MPEG 和 ITU-T 联合技术委员会开发的多媒体标准。AVC 提供更高的压缩率、更好的视频质量和比 MPEG2 更高的容错性，有望用于互联网广播和移动通讯。

WVM/SMPTE VC-1：WMV9 是微软的多媒体标准，其特性包括支持流处理、变比特率以及与 MPEG4-AVC/H.264 相媲美的容错工具。除了用于家庭电脑，WMV9 目前也在电影院用于数字投影。电影中使用的编码可以是 7-12Mbps 的恒定比特率 CBR 或变比特率 VBR，并达到 DVE 分辨率（720x480）。

嵌入式 DSP 流媒体解决方案

由于一系列原因，DSP 成为流媒体编解码器的理想选择。首先，各种不同的编解码器和不断变革的标准要求解决方案必须是可编程的；其次，大部分的编解码器是运算密集型，而 DSP 就是设计用于高效数学运算；另外，功耗和成本是移动流传输中的重要考虑，而 DSP 内核提供了低功耗、低成本的最佳组合。

典型的音频 / 视频流媒体系统通常同时使用内部存储器和外部存储器。内部存储器是以 DSP 内核时钟速度运行的快速存储器；外部存储器比较慢，价格也较便宜。编解码指令存储于外部存储器，但下载到内部存储器中执行。由于视频流数据量巨大，除非必须，其通常放在片外，而音频流数据则可片内外任意放置，还可以根据需要将一些 IP 模块挂在系统 SoC 总线上。

前后兼容的 DSP 平台

目前的趋势是每两年就会发布新的编解码标准，每个新标准会需要更多的 DSP 周期。因此，选择可按兼容性发展蓝图来演变的 DSP 平台非常重要，这样通过系统升级而不是重新设计即可满足未来的系统要求。ZSP 则提供了适应多媒体标准不断变革所必需的灵活性和性能。

LSI 逻辑公司的 ZSP 产品部门提供全系列可综合的软件兼容 DSP 内核，并提供广泛的音 / 视频标准代码，产品发展蓝图内的内核是代码兼容的。广泛的第三方合作伙伴网络确保新的标准将迅速可用。基于 ZSP 的音 / 视频系统可轻松地与新兴的音 / 视频标准相适应。

各代（G1/G2/G3）的 ZSP 都基于易编程的架构。ZSP 内核专门为低功耗应用优化，是个人音 / 视频播放器等移动应用的理想选择。ZSP 具有 16/32 位数据通道，支持高质量音频处理和视频处理所需的控制性能。

G2 内核具有强大的协处理器接口，支持嵌入到内核执行流水线的硬件加速器。硬件加速器可以松散或者紧密地耦合于 ZSP 执行流水线。紧耦合加速器可视为 ZSP 的指令集扩展，这使它们易于编程和使用，即使是基于 C 代码。

ZSP 内核拥有卓越的编译器，不仅支持汇编代码的高效开发，还支持 C 代码的高效编译；再加上现成可用的标准代码，保证了最快速的系统设计和实现。