带宽超百G、文件超百PB、IOPS超十万的并行存储系统

龙骧® 并行存储可有效解决存储阵列无法解决的容量扩展能力,同时也有效的解决存储阵列的带宽扩展能力,真正达到容量和带宽的同步扩充。

龙骧® 并行存储为客户提供的性价比更高,更能保护投资(TCO)的存储系统,其使用通用的存储服务器作为存储节点,支持不同品牌、不同型号、不同时期的硬件进行混搭,十年不落伍。

龙骧® 并行存储为客户提供更加简单的维护方案,相比存储阵列的的安装维护步骤和知识准备,龙骧® 并行存储内置众多与管理相关的自动化处理过程,无需繁杂劳动。

海量易扩展的存储系统

龙骧® 并行存储使用服务器存储设备,而不是专业的存储阵列,降低维护和使用成本,新老设备可以混合在一个存储系统中,而不像传统阵列对硬盘容量的一致性有着严格的要求。

龙骧® 并行存储能够支持超过数百PB 级的存储容量,用户可适时按需进行在线动态扩展;龙骧® 并行存储采用带外管理技术,形成独立的元数据节点集群和存储数据节点集群,领先的元数据服务器集群技术消除了现有存储系统中所存在的单目录下文件数量、小文件处理速度等种种限制,提供了近乎无限的文件存储数量和极高的文件检索速度,能够高效支持千万级大目录的存储系统(单目录下可轻松创建千万数量级的文件,并能对文件进行高速随机检索),IOPS(fread())能力可达百万级。

同时龙骧® 并行存储系统采用了全系统规模数据高可用技术,彻底消除存储系统中的单点故障,支持1+M、2+1和4+1数据冗余模式,分级存储技术使得多种数据模式可以同时存在,结合特有的自动故障探测和快速故障恢复技术,确保用户的应用持续稳定地运行。

龙骧® 并行存储单卷可支持300PB以上的存储空间,高效的管理上千亿个文件,单目录可以高效支持千万级的文件数量。龙骧® 并行存储拥有高效的多元数据服务器集群技术和高效的海量文件检索技术,在存放上千亿文件的同时保持极高的文件检索效率,NL-SAS SATA 4TB的盘有效输出40MB/s,15Krpm SAS可有效输出70MB/s。龙骧® 并行存储系统能够在单个目录下高效管理上千万个文件的存储系统,在单目录下存放上千万数量文件时,仍然能够提供每秒数万的文件检索效率。

  • 存储节点不少于2台,元数据节点为2N个;
  • 每12盘位NL-SAS SATA存储服务器可输出将近5Gbps带宽;
  • 每TB数据恢复时间12分钟左右(依赖硬件);
  • 不停机在线扩展系统容量;

自动化的故障恢复机制降低管理员工作强度

故障自动恢复软件内置有一整套完整的故障恢复流程,能够自动探测集群存储系统内各类可能出现的故障,如磁盘损坏、系统宕机、网络中断等。该软件一旦发现了软硬件故障就会立刻启动相应的故障处理恢复流程对数据进行相应的恢复保护,确保数据的完整性,并且整个恢复过程完全不影响业务连续运行。

而且由于故障自动恢复软件能够提供的是整个集群全局的数据恢复,充分的利用了集群内的空闲资源进行相应的处理,能够高出RAID技术五倍的数据恢复速度确保数据完整性,为业务长期稳定运行打下基础。

通常情况下,机械盘均有一定的故障率,建议在硬盘配置的时候,咨询相关硬件厂商,增加一定的余量,这样当某块硬盘故障的时候,系统还能找到可用的硬盘(群)以保存故障硬盘的数据。

不建议使用台式机硬盘,这是因为企业级硬盘和台式机硬盘,在硬件上最大的区别就是前者有抗旋转振动传感器,在多硬盘、高密度环境下部署时,机箱、硬盘旋转共振时所导致的磁头偏移,体现在系统上就是后台读写频繁的、大量的retry、timeout,然后系统踢盘,数据重建。台式机硬盘MTBF仅为企业盘的一半,质保仅有3年(企业盘5年)。

BlackBlaze是一家国外在线数据备份公司,他们大量采用了台式机硬盘,仅仅用于冷存储,年故障率接近10%;Seagate等厂商也推出了用于视频监控的硬盘,宣称也增加了抗旋转振动功能,但支持的硬盘数也不超过16个

为了减少系统故障率,建议系统设备冗余配置如下:

  • 一备一:不少于2个存储节点,建议3个以上(含)
  • 2+1冗余:不少于3个存储节点,建议4个以上(含)
  • 4+1冗余:不少于5个存储节点,建议6个以上(含)

多级高速缓存

龙骧® 并行存储系统在存储服务器、元数据服务器和应用服务器等都有缓存,缓存基于文件切片粒度,可以使用到整个物理内存,一般地,可以配置到32GB内存,如果是多读一写的业务,比如视频网站,可能有很多热点影片,则可以配置更多的内存。

存储服务器缓存,可以直接从内存中读取热点数据块,避免读取SAS/SATA盘带来的性能损失;元数据服务器缓存,可以让应用直接获得文件切片位置链,加快定位;应用服务器缓存,可以直接读取本地内存中的数据切片,而无需通过网络访问得到,使得数据推送的带宽只与本地网卡带宽相关。系统采用高效的缓存算法,包括先进先出、TTL和最少使用等,确保调度最优,用户可以自定义失效的TTL时间,可让让更多的片段保存在内存缓存中,提高一写多读的系统的高效。

比如在一个VOD点播中,有许多用户喜欢一个片子,A用户点播后,应用服务器中没有缓存,则向MDS节点和OSS节点读取数据,当B用户点播后,发现其中几个片段已经存在应用服务器的缓存中,则其直接从该缓存中读取,C用户点播后,采用快进的方式,到达中间的某个的片段,此时缓存中没有该片段,则其从MDS节点和OSS节点读取数据,当A用户正常播放到该位置时,发现已经存在该片段,则直接读取,而不会再从后端节点中读取。越是很多人读取,可以让几乎整个影片在内存缓存中,从而达到快速输出的目标,只要入口带宽足够,系统几乎可以输出应用服务器节点的网络带宽。

数据全局共享,无需NFS系统

龙骧® 并行存储系统采用文件系统全局命名空间,可让不同的节点挂载不同的目录,做到相互隔离,在传统网络共享存储系统中,客户端几乎可以看到所有的跟他有关还是无关的目录,虽然其没有打开的权限,但是“不怕贼偷,就怕贼惦记”,安全受到潜在的威胁。

授权的计算节点都可看到一致文件系统视图,如同NAS系统一样,但是其又没有NAS系统的热点问题,无需在某个节点做数据冲裁,在高并发读写操作中,以及在PB级和数千高清摄像头的项目中,比如VOD视频服务、广电视频推流以及视频监控,其性价比远高于传统NAS,在海量存储中替代传统NAS系统,已经成为行业趋势。

支持虚拟机在各物理节点上快速迁移,虚机的运行文件放在龙骧® 并行存储中,当某个虚机故障时,虚机管理系统通过策略,若将其迁移到某个物理节点上,直接在该物理机上挂载即可,无需将运行文件进行拷贝。

龙骧® 并行存储系统的高效全局输入输出能力,每个12盘位节点均可平滑输出5Gbps的带宽,可广泛地使用在高性能计算,渲染农场和电视台非现编等领域中。