编解码知识

1.主次码流　　

主次码流是指硬件逻辑单元在启动一次后同时产生2路码流，即一路主码流和一路次码流。主码流和次码流可以为不同的编码协议。次码流不能单独存在。一般情况下，主码流较之次码流，码流大，压缩比小，图像质量高。例如，在应用中，主码流一般用于本地存储，次码流用于网传。

2.网络摄像头MJPEG和H264的区别

M-JPEG源于JPEG压缩技术，是一种简单的帧内JPEG压缩，压缩图像质量较好，在画面变动情况下无马赛克，但是由于这种压缩本身技术限制，无法做到大比例压缩，录像时每小时约1-2GB空间，网络传输时需要2M带宽，所以无论录像或网络发送传输，都将耗费大量的硬盘容量和带宽，不适合长时间连续录像的需求，不大实用于视频图像的网络传输。
MPEG是压缩运动图像及其伴音的视音频编码标准，它采用了帧间压缩，仅存储连续帧之间有差别的地方，从而达到较大的压缩比。
        MPEG现有MPEG—1、MPEG—2和MPEG—4三个版本，以适应于不同带宽和图像质量的要求。
　　①、MPEG—1的视频压缩算法依赖于两个基本技术，一是基于16*16（像素*行）块的运动补偿，二是基于变换域的压缩技术来减少空域冗余度，压缩比相比M-JPEG要高，对运动不激烈的视频信号可获得较好的图像质量，但当运动激烈时，图像会产生马赛克现象。
           MPEG-1以1.5Mbps的数据率传输视音频信号，MPEG-1在视频图像质量方面相当于VHS录像机的图像质量，视频录像的清晰度的彩色模式 ≥240TVL,两路立体声伴音的质量接近CD的声音质量。
           MPEG-1是前后帧多帧预测的压缩算法，具有很大的压缩灵活性，能变速率压缩视频，可视不同的录像环境，设置不同的压缩质量，从每小时80MB至 400MB不等，但数据量和带宽还是比较大。
　　②、MPEG-2它是获得更高分辨率（720*572）提供广播级的视音频编码标准。
           MPEG-2作为MPEG-1的兼容扩展，它支持隔行扫描的视频格式和许多高级性能包括支持多层次的可调视频编码，适合多种质量如多种速率和多种分辨率的场合。
           它适用于运动变化较大，要求图像质量很高的实时图像。
           对每秒30帧、720*572分辨率的视频信号进行压缩，数据率可达3-10Mbps。
           由于数据量太大，不适合长时间连续录像的需求。
　　③、MPEG-4是为移动通信设备在Internet网实时传输视音频信号而制定的低速率、高压缩比的视音频编码标准。
           MPEG-4标准是面向对象的压缩方式，不是像MPEG-1和MPEG-2那样简单地将图像分为一些像块，而是根据图像的内容，其中的对象（物体、人物、背景）分离出来，分别进行帧内、帧间编码，并允许在不同的对象之间灵活分配码率，对重要的对象分配较多的字节，对次要的对象分配较少的字节，从而大大提高了压缩比，在较低的码率下获得较好的效果， MPEG-4支持MPEG-1、MPEG-2中大多数功能，提供不同的视频标准源格式、码率、帧频下矩形图形图像的有效编码。
总之，MPEG-4有三个方面的优势：
　　①、具有很好的兼容性；
　　②、MPEG-4比其他算法提供更好的压缩比，最高达 200：1；
　　③、MPEG-4在提供高压缩比的同时，对数据的损失很小。
所以，MPEG-4的应用能大幅度的降低录像存储容量，获得较高的录像清晰度，特别适用于长时间实时录像的需求，同时具备在低带宽上优良的网络传输能力。

H.264是 ITU-T的VCEG（视频编码专家组）和ISO/IEC的MPEG（活动图像编码专家组）的联合视频组（JVT：joint video team）开发的一个新的数字视频编码标准，它既是ITU-T的H.264，又是ISO/IEC的MPEG-4的第10部分。
        1998年1月份开始草案征集，1999年9月，完成第一个草案，2001年5月制定了其测试模式TML-8，2002年6月的 JVT第5次会议通过了H.264的FCD板。
        目前该标准还在开发之中，预计明年上半年可正式通过。
　　H.264和以前的标准一样，也是 DPCM加变换编码的混合编码模式。

        但它采用“回归基本”的简洁设计，不用众多的选项，获得比H.263++好得多的压缩性能；加强了对各种信道的适应能力，采用“网络友好”的结构和语法，有利于对误码和丢包的处理；应用目标范围较宽，以满足不同速率、不同解析度以及不同传输（存储）场合的需求；它的基本系统是开放的，使用无需版权。

        在技术上，H.264标准中有多个闪光之处，如统一的VLC符号编码，高精度、多模式的位移估计，基于4×4块的整数变换、分层的编码语法等。
        这些措施使得H.264算法具有很高编码效率，在相同的重建图像质量下，能够比H.263节约50％左右的码率。
         H.264的码流结构网络适应性强，增加了差错恢复能力，能够很好地适应IP和无线网络的应用。
        其实现在多数的什么H.264都是 H.263＋＋通过改进后的算法，是压缩率变的小了点！如果是从单个画面清晰度比较，MPEG4有优势；从动作连贯性上的清晰度，H.264有优势

3.变码率和定码率

固定码率英文是constant bit rate，缩写CBR。这是一个用来形容通信服务质量（QoS，Quality of Service）的术语。保持码率基本维持在平均码率。实现简单，对复杂场景会因码率不足造成马赛克现象，对于简单场景则不能充分利用编码空间。

可变码率英文是variable bit rate，缩写VBR。这是一个用来形容通信服务质量(QoS for Quality of Service)的术语。

VBR, (2-pass VBR), “二次处理VBR”。是通过对整个视频源进行2次处理使编码效率最高：第一遍判断何处为复杂场景和简单场景，第二遍根据码率的上下限，把码率重新分配更多给复杂场景。可以在实验中看出，tmpgenc在进行这种编码时进度指示在50%以前是没有预览图象的，而且桢进度指示为0。这种码流控制方式应该在给定码率下得到最好的质量，但是和具体2次分配算法关系很大。同时耗时最长。一些其他编码器甚至有3次处理的码率优化。

4.输出设备

CVBS：复合视频基带信号（或复合视频消隐与同步）。复合的视频一般通过黄色RCA接头来连接的。它将亮度、色度、同步和色彩脉冲信息整合到一根电缆内。

CVBS 是被广泛使用的标准，也叫做基带视频或RCA视频，是全国电视系统委员会（NTSC）电视信号的传统图像数据传输方法，它以模拟波形来传输数据。复合视频包含色差（色调和饱和度）和亮度（光亮）信息，并将它们同步在消隐脉冲中，用同一信号传输。

快速扫描的NTSC电视中，甚高频（VHF）或超高频（UHF）载波是复合视频所使用的调整振幅，这使产生的信号大约有6MHz宽。一些闭路电视系统使用同轴电缆近距离传输复合视频，一些DVD播放器和视频磁带录像机（VCR）通过拾音插座提供复合视频输入和输出.

HDMI，英文全称是High Definition Multimedia Interface，中文名称是高清晰多媒体接口的缩写。专用接口，现在新品影视产品基本都有此接口。

5.移动侦测

什么是移动侦测

移动侦测，英文翻译为“Motion detection technology”，一般也叫运动检测，常用于无人值守监控录像和自动报警。通过摄像头按照不同帧率采集得到的图像会被CPU按照一定算法进行计算和比较，当画面有变化时，如有人走过，镜头被移动，计算比较结果得出的数字会超过阈值并指示系统能自动作出相应的处理。移动侦测技术是运动检测录像技术的基础，现在已经被广泛使用于网络摄像机、汽车监控锁、数字宝护神、婴儿监视器、自动取样仪、自识别门禁等众多安防仪器和设施上。常见的移动侦测系统还允许使用者可以自由设置布防撤防时间、侦测的灵敏度、探测区域。当触发时应可联动录像、联动报警输出、联动摄像机转到相应的预置位。

移动侦测原理

移动侦测允许在指定区域能识别图像的变化，检测运动物体的存在并避免由光线变化带来的干扰。但是如何从实时的序列图像中将变化区域从背景图像中提取出来，还要考虑运动区域的有效分割对于目标分类、跟踪等后期处理是非常重要的，因为以后的处理过程仅仅考虑图像中对应于运动区域的像素。然而，由于背景图像的动态变化，如天气、光照、影子及混乱干扰等的影响，使得运动检测成为一项相当困难的工作。

　　早期的运动检测如MPEG1是对编码后产生的I帧进行比较分析，通过视频帧的比较来检测图像变化是一种可行的途径。原理如下：MPEG1视频流由三类编码帧组成，它们分别是：关键帧（I帧），预测帧（P帧）和内插双向帧（B帧）。I帧按JPEG标准编码，独立于其他编码帧，它是MPEG1视频流中唯一可存取的帧，每12帧出现一次。截取连续的I帧，经过解码运算，以帧为单位连续存放在内存的缓冲区中，再利用函数在缓冲区中将连续的两帧转化为位图形式，存放在另外的内存空间以作比较之用，至于比较的方法有多种。此方法是对编码后的数据进行处理，而目前的MPEG1/MPEG4编码都是有损压缩，对比原有的图像肯定存在误报和不准确的现象。

移动侦测方法

（一）背景减除法

　　背景减除方 （Background Subtraction ） 是目前运动检测中最常用的一种方法，它是利用当前图像与背景图像的差分来检测出运动区域的一种技术。它一般能够提供最完全的特征数据，但对于动态场景的变化，如光照和外来无关事件的干扰等特别敏感。最简单的背景模型是时间平均图像，大部分的研究人员目前都致力于开发不同的背景模型，以期减少动态场景变化对于运动分割的影响。

（二）时间差分法

　　时间差分（又称相邻帧差）方法（Temporal Difference ）是在连续的图像序列中两个或三个相邻帧间采用基于像素的时间差分并且阈值化来提取出图像中的运动区域。时间差分运动检测方法对于动态环境具有较强的自适应性，但一般不能完全提取出所有相关的特

（三）光流法

　　基于光流方法（Optical Flow）的运动检测采用了运动目标随时间变化的光流特性，如Meyer[2] 等通过计算位移向量光流场来初始化基于轮廓的跟踪算法，从而有效地提取和跟踪运动目标。该方法的优点是在摄像机运动存在的前提下也能检测出独立的运动目标。然而，大多数的光流计算方法相当复杂，且抗噪性能差，如果没有特别的硬件装置则不能被应用于全帧视频流的实时处理。

　　此外，在运动检测中还有一些其他的方法，运动向量检测法，适合于多维变化的环境，能消除背景中的振动像素，使某一方向的运动对象更加突出的显

示出来，但运动向量检测法也不能精确地分割出对象。

6.平台接入配置

GB28181国家标准：

 

视频编解码标准H.264/MPEG-4；

 

音频推荐标准G.711/G.723/G.729

 

视音频存储格式PS格式

H．264的一致性测试

比特流一致性测试

解码器一致性测试