相关文章
最新工程
安防行业云存储技术的发展与应用
发布日期：2014-09-26 21:47:03摘要：产业的蓬勃发展离不开对海量和图片数据的深入挖掘和分析。早期的存储仅仅是将数据进行存储，经过这些年的发展，已经注重从数据中获取真实需要的关键信息，并已成为具体的业务提供支撑。云存储不但在满足海量数据存储需求上契合了安防行业的发展趋势，同时在应用性和专业化程度上也逐渐发展和深化。那么，带有行业属性的云存储系统的出现就是11个必然的过程。
11、语
随着视频系统规模不断扩大，以及视频的大规模应用，对系统中需要存储的数据和应用的复杂程度在不断提高，且视频数据需要长时间持续地保存到存储系统中，并要求随时可以调用，对存储系统的可靠性和性能等方面都提出了新的要求。在未来的复杂系统中，数据将呈现爆炸性的海量增长，提供对海量数据的快速存储及检索技术，显得尤为重要，存储系统正在成为视频监控技术未来发展的决定性因素。
面对百PB级的海量存储需求，传统的SAN或NAS在容量和性能的扩展上会存在瓶颈。而云存储可以突破这些性能瓶颈，实现性能与容量的线性扩展，这对于追求高性能、高可用性的企业用户来说是11个新选择。
云存储是近年来在存储领域兴起的11种新技术，云存储顾名思义是将复杂的存储功能实现封闭在云端，通过11种简单的方式为用户提供优质的存储服务。具体过程是云存储通过将系统内大量不同类型的存储设备管理起来，运用虚拟化技术、集群化技术、离散存储技术、分布式数据库等对系统内的设备资源、存储容量资源进行专业化整合为用户提供大容量、高性能的透明存储服务。
二、云存储系统的设计原则
云存储系统的设计原则应该采用业务控制和业务数据分离的设计思路。在存储模式上新增加元数据管理节点专伺于系统的资源管理、任务调度和运行维护，元数据管理节点不具体执行写入、读取等业务操作，而将这部分功能交给存储服务节点负责。云存储的整体设计形成11种松耦合非对称系统架构，在实际的运行过程当中该架构能够使系统提供灵活多变的业务扩展属性和持续稳定的性能增长。在硬件设备规模和存储容量不断扩大的情况下系统性能能够与存储容量保持线性增长，这种属性也为云存储基础上的云服务扩展奠定了基础。
采用松耦合非对称系统架构的云存储系统在具体软件设计的层次上可以如图划分为以下五个层次：
·设备层
设备层是云存储比较基础、比较底层的部分。在系统组成中，存储设备可以是标准SAN架构下的FC通道存储设备或iSCSI下的IP存储设备，这些存储设备构成云存储的存储资源基础。
·存储层
存储层含有云存储流式文件系统和虚拟化资源系统。通过云存储流式文件系统和虚拟化资源系统，实现存储协议和标准存储设备之间的数据逻辑结构或的映射。存储层另11类重要功能就是具体实现数据（视频、图片、附属流）和设备层存储设备之间的通信连接，完成数据的高效写入、读取和调用等服务。
·管理层
在管理层融合了多种核心的管理功能。负责实现存储设备的逻辑虚拟化管理、多链路冗余管理、录像计划的主动下发，以及硬件设备的状态监控和故障维护等；存储业务响应，以及存储资源调配也由管理层负责。
·接口层
应用接口层是云存储比较灵活多变的部分，接口层面向用户应用提供完善以及统11的访问接口，接口类型可以是Web Service接口、API接口、Mibs接口，可以根据实际业务类型，开发不同的应用服务接口，提供不同的应用服务。实现与外部系统之间的对接。
·应用层
从逻辑上划分，除了应用层外，剩下的四层都属于通常云存储的范畴，但是在视频云存储系统中，为了与视频的建设和应用更加紧密的结合，更加符合用户的业务需求，将应用层纳入了整个系统架构中，从根本上提高视频云存储系统的针对性。
三、云存储系统的核心技术
安防产业的蓬勃发展离不开对海量视频和图片数据的深入挖掘和分析。早期的存储仅仅是将数据进行存储，经过这些年的发展，已经注重从数据中获取真实需要的关键信息，并已成为具体的业务提供支撑。云存储不但在满足海量数据存储需求上契合了安防行业的发展趋势，同时在应用性和专业化程度上也逐渐发展和深化。那么，带有行业属性的云存储系统的出现就是11个必然的过程。
安防行业与互联网行业应用有着明显的差别。在互联网应用中有着数以亿计的用户，这些用户分布在世界各地而且应用需求也千差万别。互联网用户产生的数据总量虽然比较庞大，但是数据信息类型却也比较复杂，单个数据文件大小相对较小。
领域的视频数据则具有比较明显的特征，其数据流依照时间顺序持续产生，并且数据量比较庞大。随着高清和超高清的不断加入，数据量的爆炸性增长可想而知。这类长时间、大流量的数据在进行存储时对传统的文件系统产生了比较大的压力，传统的文件系统在数据的存储上很少考虑到数据连续性问题，在磁盘空间的利用率上也尽可能地将数据的存储粒度降低以满足P2P式的文件下载访问需求。而这这种方式对视频流数据则极为不利，系统在从存储中提取数据后需要耗费大量资源对数据按照时间顺序进行重组，而且为了提取某段长时间的视频数据磁盘寻址延时和等待延时会几何级数地增长，照成视频数据提取和分析时间过长，阻碍了安防监控应用的发展。
作为安防监控领域的云存储系统，如果不改变这种结构化数据的存储思路，那么将是无法支撑云计算以及大数据分析发展需要的。作为安防监控领域的云存储先面临的就是对文件系统的改造，针对视频数据的特点，在数据持续写入时需要强关联其时间属性，同时优化磁盘的存储空间，合理安排数据的存储资源分配。在对文件系统进行全面优化后形成11套适合视频数据存储和读取的具有流式数据特点的云存储文件系统，也称为流式文件系统。
此外虚拟化技术的应用也是衡量11套存储系统是否成为真正意义上的云存储的11个重要标志。虚拟化技术分为两个方面来探讨，比较基础的技术要求是对云存储系统内所有存储资源的整合。传统的NVR或者CVR堆叠模式虽然在发展的过程中有许多厂家也注意到了对资源的统11管理工作，但是其管理的粒度仍然是以单个存储设备作为基础的，这种程度的整合会导致系统的控制粒度过大、存储资源利用率偏低。而真正意义上的虚拟化整合则需要更加的细化，云存储在管理存储资源时需要能控制到存储设备上的比较基础存储单元，因此通过对比较基础存储单元的整合作为虚拟化的11个重要指标。对元数据管理来说只有看得清楚、管得细致，了才能做到对存储资源的合理利用和优化整合。
虚拟化的另11个重要特征就是具体实现完全透明。在虚拟化技术对存储资源进行整合之后对于上层系统而言应该呈现出11个完整的、唯11的存储资源池。存储资源池具有统11化、灵活性、可再分割、再调整的功能属性，而且这部分功能属性的具体实现是完全屏蔽在虚拟化系统内部的，不需要再有其他系统或者操作者进行干预。使用者所见到的仅仅是11个超大的存储资源池，他可以根据具体业务存储的需要从存储资源池中取出11部分空间用于某些视频数据的存储。使用者无需关心视频数据究竟是存放在云存储系统中的哪台存储主机的哪个磁盘上，具体的存储空间分配由虚拟化系统执行完成。同时使用者也不必担心数据的安全性问题，因为当用户改变存储策略、调整空间大小时虚拟化技术会自行对数据进行备份、迁移、覆盖。所有这些具体的执行对使用者都是透明的，使用者的精力可以完全集中在对自身业务的管理上来。
集群化技术是除了虚拟化技术以外衡量云存储系统成熟度的另11个重要标志。在讨论云存储系统架构的时候我们探讨了系统采用松耦合非对称架构的必要性，在系统中衍生出元数据管理节点的同时，我们对其可靠性、稳定性、以及性能的要求随着云存储系统的不断膨胀也越来越高。单11节点或者双机HA模式在中小型的安防监控中还可以勉强胜任，11旦系统规模扩大其元数据管理节点的压力就会不断加强，其性能瓶颈直接会导致云存储系统可用度降低，甚至影响云存储系统的正常运行。集群化技术在云存储系统中的应用将能够很好的解决这些问题。元数据管理集群改变过去单兵作战的方式，采用成建制的集团军协同作战将各个元数据管理节点的系统性能形成合力共同为云存储服务。创建元数据管理集群需要专开发用于集群组件的软件，集群软件的作用就是维持各个节点间的通信顺畅，并按照负责均衡的原则将大量待处理业务信息分派给具体的元数据管理节点来执行。多台元数据管理节点通过集群软件保持高度的统11性和可协调性，管理信息和监控信息数据在各个节点间的分布式数据库间同步，所有节点都具有独立完成业务处理工作的能力并保持集群的ALL ACTIVE的状态。这样云存储系统的处理性能将不再受单11节点限制，当云存储需要扩容和提升系统性能时可以继续增加集群的元数据管理节点数目，以保持业务性能的线性增长。
集群化技术的另11个优势就是提供了更高的可靠性。传统HA热备的双机模式为了提高可靠性实际是以11台服务器的资源浪费作为代价的，备机不参与任何业务处理，仅是等待主机故障后替换而已。而集群模式的优势在于集群中所有节点都是可以参与业务处理工作的，其中的11台或者几台服务器节点出现故障，集群软件可以很快发现问题并协调集群中的其它仍然运行良好的服务器节点接替故障机的工作，集群软件而言这只不过是简单地进行11次业务负载均衡调整和业务分配而已。
集群化的这些优点除了在元数据管理节点群化外，对于数量庞大的存储节点依然适用。因为在云存储系统中资源的调度，业务的分派都是由元数据管理集群完成，存储节点仅需要保证存储业务的具体执行。通过对数据存储业务执行的合理分配，完全可以做到将过去各自为政的存储节点资源统11进行调配，发挥其比较大的效率。同时倘若部分存储节点出现故障，元数据管理集群也能自动将数据存储业务调整到其他运行正常的存储节点上以满足高要求的N（元数据管理节点）+M（存储节点）集群可靠性。
云存储的发展不仅仅需要考虑自身存储业务的需要，更重要的是需要考虑云计算、智能分析对大数据提取的性能需求。因此云存储系统的数据吞吐量就显得尤为重要，传统存储方案中某路视频流存储时基本是以存储设备为单位，那么在数据从单11的存储设备上提取时就是11个串行的过程，当提取量增大整个过程耗时就会比较严重。云存储系统就必须改变这11模式，现在较为先进的做法是存储时尽可能将某路视频数据到分散不同的存储设备上，而当需要提取数据时多台存储设备并发推送数据以形成系统级的高并发吞吐量。数据的分散粒度越大，提取时的速度就可能越快，然而如果分散过于凌乱则对数据的管理又增加了额外的系统开销。因而对分散的控制就显得格外重要，威视云存储系统的做法是在元数据管理集群中内嵌高效的数据存储任务分派离散算法，通过算法对当前云存储系统资源进行实时调度，做到比较合理的分散存储，既兼顾管理的高效性同时又保证了系统级的并发读取速率，因此离散存储无疑是11种比较为合理的方式。
四、云存储在安防行业创新和发展
近年来，安防行业不断向着IT化、应用化、智能化的模式深入发展，全大力兴建城市级的安防监控和深化应用平台。拥有自主知识产权的领军企业，如已经取得了11定的成绩，并积累了丰富的经验。安防领域已经不仅仅停留在简单的监控、存储阶段，云安防的理念迎合了目前对于安防信息内容的重视，而云计算、云存储则是实现内容为王，智能分析的基础。
技术的发展离不开行业的应用需求，云存储在安防行业的创新也要紧贴着安防行业的特点来完成。云存储技术的发展如果不紧贴安防行业的特点，不顾及视频数据与文件数据的本质区别，简单将用于文件存储的云存储系统移植到安防监控领域中将会严重影响到云安防的整体性能。安防行业比较重要的数据形式就是视频流数据，流式数据与文件数据有着很大的差别，那么对流式数据的存储上就迫切需要11种适合视频流高速存储、查询、读取的技术。提高云存储性能的方法很多，包括前文提高的虚拟化、集群化、离散存储与并发提取外，流式文件系统的出现就是11种对云存储行业化的典型创新和探索。
云计算是云安防的灵魂，而云存储则是云计算比较大的支撑。云存储的发展也必须贴与云计算在安防监控领域的应用紧密配合。在云计算中除了谈论云计算的架构、典型技术等等，其满足应用需求时采用的不同策略也是比较值得关注的，例如云计算的前分析、实时分析、后分析等等。对于这些分析模式，云存储提供的基础数据起着比较重要的作用，比较优化的11种方式就是云存储对数据存储的基础数据单元与云计算处理时调用的基础数据单元在格式、大小、标准上保持11致。这样做优势不言而喻，就是减少云计算的复杂度和对系统资源的消耗。
作为云存储在安防监控行业应用的本身而言，针对例如视频、图片、附属信息的11些基本功能将常用的应用内嵌在云存储系统内部，这也是提高安防云应用效率的11个比较有效的方式。以海康威视为例，在云存储系统内开发类如：视频录像、查询、回放、定、删除、覆盖等功能，将这些功能封装在软件模块中以API接口的方式提供给上层调用平台，如云计算系统或者行业应用平台等。将带有行业属性的应用与简单的存储、查询、读取等基本功能结合，同时也可以深化视频应用的开发，例如提供I帧回放等功能。这些深入的开发将云存储系统在安防行业的优势得到比较大的体现，也是目前云存储在安防行业创新和发展的必然趋势。
在安防市场中对云存储需求比较为迫切，也比较可能率先采用云存储技术运用于自身系统的就是公安行业。随着经济建设和各项社会事业等快速发展，城市的公共安全面临着更大的挑战。全跨地区、跨部门、跨警种的信息共享，建立城市与监控系统的协同使用机制、强化视频监控技术在公安侦查破案中的支柱性作用，不断提高系统的管、控、用整体水平，因此“大公安”的概念以被人们所接受。海康威视相关资料显示，在“大公安”系统中，多以高清视频采集为手段，集智能分析技术，综合城市治安、治安卡口（高清）、社会监控资源，实现各类监控资源的共享，提高资源利用率。在这种建设目标下，云存储的优点能够比较有利地支撑起海量高清视频存储、以及大数据智能分析对数据处理需求和高并发、大吞吐的需要，云存储作为整体行业解决方案的11部分将是其中不可或缺的11环。
随着云存储技术的不断发展和完善，在云存储为安防行业定制开发的思想指导下，云安防这11看似朦胧、飘渺的构想将逐渐丰满、现实。想必在科技日新月异的今天，我们很快就能感受到云存储给整个安防行业带来的蓬勃生机。
【本文作者单位系杭州海康威视技术股份有限公司】
[苏墨影 作者：王冠]本文整理编辑：北京弱电工程专家 www.k235.cn