在讲数据保护之前,大家首先要知道数据保护最基本的概念——3-2-1数据备份原则。
随着企业级容灾备份领域的发展,传统的3-2-1数据备份原则具体已经逐渐被很多人忘记,但是它已经演化成为各种企业级数据保护方案最基本的概念。然而下放到消费级而言,这个概念对于消费者玩家而言,依然行之有效。它可以提供安全的数据保护,以及遇到灾难后的数据还原。数据备份的3-2-1规则规定,应在两个不同的存储介质上至少存储三个数据副本或版本,其中一个不在现场设施中存储。以下了解这三个要素中的每个要素及其要解决的问题:图片来自Veeam3个数据副本:除了原有的副本,你应该始终让你的重要数据有两个额外的备份副本,无论是存储在服务器、NAS、硬盘驱动器、网盘或其他地方。这将确保不会发生一次单一的事件而毁掉所有重要数据的情况。2种不同的存储介质:用户应该将数据的副本以至少两种不同的媒介或存储类型保存。这可能包括一个内部驱动器,以及外部媒介,如磁盘、磁带、闪存、以及NAS或云盘存储。理想情况下,本地备份的其中之一应该采用映像技术,例如苹果公司的Time Machine其能够备份整个操作系统、应用程序和文件来创建本地备份,所以您不必重新安装或重新配置您的系统偏好了。从本质上讲,映像备份可让您将整个系统恢复到一个特定的时间点。每种媒介都有不同的故障模式,而这就保证了不会有一样的故障模式。1个异地备份:将至少一份备份存储在异地是保证数据免于受到类似火灾,水灾或盗窃等物理灾难损害的必要措施。当您已经对您重要的数据创建了多个副本之后,保存初始原件的完整性就显得异常重要,否则有该原件所备份的每个副本都会有相同的缺陷。如果你将其存储到多个位置,必须检查所有文件都是一致的。这样,重复数据删除技术将确保你能消除冗余的数据块,而加密将增加安全性,而分类编目和索引将方便您进行快速检索。3-2-1数据备份原则一直是一个很好的原则,如果玩家能理解并且遵守这个原则,那么找数据保护层面会节省大量的时间和成本。咱们后面也会在HBS3中讲到如何通过威联通NAS来进行3-2-1数据备份原则的实施。数据保护(硬盘层面、NAS层面)在消费级NAS玩家层面,技术的发展让无论是NAS还是硬盘厂商针对主体数据也拥有更多的保护措施。这些保护措施一般分为NAS层面和硬盘层面。两者又分别采用了众多技术来保证数据安全。其中硬盘层面以希捷酷狼与酷狼Pro系列硬盘为例,它的数据保护技术已经包括有硬件和固件与服务两个方面,硬件层面包括用料、全系CMR传统磁记录技术设计以及硬件可靠性测试,包括有平均故障间隔时间、为期 6 周的可靠性测试,以及温度、电压、腐蚀、冲击和振动以及声学等检查测试,这些测试极其严苛。固件与服务层面又包括有希捷特有的AgileArray 技术、IronWolf Health Management (IHM) 酷狼健康管理功能以及3年内免费原厂数据救援服务一次。NAS以威联通TS-551为例,这包括有阵列冗余概念、Qtier技术、存储池概念、快照概念、HBS3混合云存储概念、档案层级与与区块层级备份等等。此外,威联通还推出全快闪、QuTS Hero等新技术用来更好的保护数据,玩家可以去了解体验。希捷酷狼(技术的实际应用)首先,大家介绍希捷酷狼系列和酷狼Pro系列硬盘采用的数据保护技术,以及这些技术在实际生活中产生的影响。希捷在全球数据存储领域已经拥有40多年的历史,其酷狼系列和酷狼Pro系列是针对消费级推出的最高级别的NAS硬盘,该解决方案接受超过 160 项严格的质量测试。希捷一直不断衡量产品质量的各个方面,无论是硬盘磁头在包含数据的磁盘上方多近的位置盘旋,还是确保边缘实时数据处理的兼容性。希捷酷狼和酷狼Pro系列的可靠性测试包括有平均故障间隔时间、为期 6 周的可靠性测试,以及温度、电压、腐蚀、冲击和振动以及声学等检查测试,这些测试极其严苛,以确保该系列的高质量与高可靠性。AgileArray 技术(内置)AgileArray技术是希捷酷狼系列的核心技术,它针对硬盘在 NAS 网络存储环境进行了优化。AgileArray 拥有全球最先进的硬盘电源管理,这个最先进的“最”字并不是虚的,它是确切的描述。它支持在多盘位环境中实现硬盘的双面平衡和 RAID 优化。在实际体现中,希捷酷狼Pro系列6TB硬盘的的典型待机模式下的功耗为1W,它的典型休眠模式下的功耗为1W。平均运行时功耗为8.1瓦。平均无故障时间(MTBF)为120万小时,最大不可恢复错误/被读数据为1/10E15,每年运行小时数为8760小时,质保期为5年。IHM酷狼健康管理功能(需开启)希捷还有一个IronWolf Health Management(IHM)酷狼健康管理功能,它其实是一个NAS的内置软件,专为管理希捷酷狼和酷狼Pro的健康而研发,可以有效实现预防、干预和恢复功能。酷狼健康管理软件完全嵌入NAS设备中,可以实时保护硬盘的数据安全。大家需要在威联通NAS后台(存储与快照总管→磁盘/VJBOD),点击具体硬盘,打开IronWolf运行状况管理里面对硬盘进行定期测试,从而通过持续分析和诊断关键参数,从而全面监控NAS设备中硬盘的健康状况,比如,该软件可以监测温度、冲击、摄动和湿度在内的多项运行参数信息,为用户提供预防措施和建议,避免潜在问题的发生,确保NAS硬盘的健康运转。3年原厂数据救援服务(祝大家用不到)今年9月份,希捷宣布其全线的希捷酷狼(IronWolf)和酷狼Pro(IronWolf Pro)系列存储产品均配备3年内免费原厂数据救援服务(Seagate Rescue Data Recovery Services,SRS)1次。 希捷数据救援服务是业界首家原厂全面数据救援服务,其覆盖范围非常广泛,不仅帮助希捷的用户恢复珍贵数据,同时还将服务延伸到其他品牌的用户,成为众多用户珍贵数据的忠实卫士。希捷拥有一个由世界级数据恢复专家组成的一流数据恢复团队,并在杭州设立了实验室,无论用户硬盘是遭遇磕碰、浸水,或是数据遭到误删等,数据恢复团队都会针对不同的情况,设法从各种存储设备中恢复数据。在希捷数据救援服务的帮助下,用户的数据恢复成功率高达90%,大部分用户的数据都可以在2天至1个月内得到恢复。此外,被恢复的数据还会被加密返还,用户的隐私也能得到严格保护。威联通(数据层面技术)威联通最初是专业做企业级NAS的,所以它家的NAS系统整体UI设计可能更偏向工业风,但是就功能而言,它的数据保护功能在领域内绝对是非常强的。大家首先谈一下关于威联通的存储架构。阵列冗余概念(建议详细了解)威联通的存储池架构如下:这张图是威联通 QTS 的存储系统架构,底层是物理硬盘,上层是逻辑存储区域。物理硬盘 HDD/SSD 构成存储池 Storage Pool,存储池之上划分卷 Volume,卷上划分共享文件夹 Shared Folder。用大家平常使用的 Windows 系统进行类比:1、Shared Folder 相当于 Windows 下的一个文件夹,可以单独配置用户的存取(Access)权限。2、Volume 即是逻辑分区,例如 C 盘、D 盘这样的。3、Storage Pool 即是对底层硬盘的一层逻辑封装,将 RAID 等底层细节隐藏,不暴露给上层的操作系统或应用程序。当底层硬盘发生更换、故障时,都不会影响上层系统的运行(前提是你做了 RAID1 等冗余设置)。4、Hard Drives 即是在现实中真实存在的硬盘本体。通过HDD/SSD 构成存储池 Storage Pool的过程就是使用磁盘阵列(RAID)来进行。磁盘阵列(Redundant Arrays of Independent Disks,RAID),有“独立磁盘构成的具有冗余能力的阵列”之意。磁盘阵列是由很多价格较便宜的磁盘,组合成一个容量巨大的磁盘组,利用个别磁盘提供数据所产生加成效果提升整个磁盘系统效能。利用这项技术,将数据切割成许多区段,分别存放在各个硬盘上。简而言之,RAID可以提供安全性、读写性能、存储池容量,具体根据阵列类型而定!RAID方案常见的可以分为6种。JBOD、RAID 0、RAID 1、RAID 5、RAID 6、RAID 10JBOD(Just a bunch of disk)严格上来说不是一种RAID,因为它只是简单将多个磁盘合并成一个大的逻辑盘,并没有任何的数据冗余。数据的存放机制就是从第一块磁盘开始依序向后存储数据。如果某个磁盘损毁,则该盘上的数据就会丢失。RAID 0无冗余备份,存储池包含所有硬盘容量,硬盘全部用来提升读写能力。简单而言:假设10块硬盘组成RAID 0阵列,存储池读写能力变成单个硬盘的读写能力的10倍!硬盘只要损坏一块,阵列内所有硬盘的数据会立刻丢失。RAID 1是一种镜像磁盘阵列,其原理就是把一块硬盘的数据以相同位置指向另一块硬盘的位置。RAID 1又称为Mirror或Mirroring,它的宗旨是最大限度的保证用户数据的可用性和可修复性。它只支持2块硬盘。存储池容量只有单块硬盘容量大小,不能提高存储性能,硬盘可以允许随机损坏一块。它的高数据安全性,尤其适用于存放重要数据,如服务器和数据库存储等领域。RAID 5将数据以块为单位分布到各个硬盘上。RAID5不对数据进行备份,而是把数据和与其相对应的奇偶校验信息存储到组成RAID5的各个磁盘上,并且奇偶校验信息和相对应的数据分别存储于不同的磁盘上。当RAID5的一个磁盘数据损坏后,利用剩下的数据和相应的奇偶校验信息去恢复被损坏的数据。它的容量为(n-1)块硬盘总容量,存储性能提升(n-1)倍,硬盘可以允许随机损坏一块。RAID 6同RAID5一样,数据和校验码都是被分成数据块然后分别存储到磁盘阵列的各个硬盘上。RAID6加入了一个独立的校验磁盘,它把分布在各个磁盘上的校验码都备份在一起,这样RAID6磁盘阵列就答应多个磁盘同时出现故障,它会进行两次奇偶校验,以提供写入保护,因而RAID 6的写入速度小于其它级别的RAID。RAID 6容量为(n-2)块硬盘总容量,存储性能提升(n-2)倍,硬盘可以允许随机损坏2块。但是在4块硬盘的情况下,RAID 6的计算相较于RAID 10而言会更加密集,所以重建速度较慢。RAID 10其实结构非常简单,首先创建2个独立的RAID 1,然后将这两个独立的RAID 1组成一个RAID 0,RAID 10容量为2块硬盘总容量,存储性能提升2倍,硬盘可以防止两个磁盘同时出现故障,但是这两块硬盘不能是存储同一份数据的硬盘。如果发生意外,RAID 10重建速度较RAID 6更快。大家对于各种RAID 磁盘阵列的选择,拥有太多种方式,偶随意列举几种资深老玩家的方法:1、一个存储池 :RAID 5+1(一块热备盘)2、一个存储池:RAID1 + 剩下都是静态卷3、一个存储池 :RAID 104、一个存储池 :RAID 65、两个存储池:RAID 1,RAID 56、全部静态卷。根据文件重要程度,按需手动备份多块硬盘建立完存储池后就需要在上面建卷,威联通又提供静态卷、厚卷、精简卷三种卷形式。静态卷:适合放置对磁盘性能要求高的应用或文件,例如作为下载盘,或者用于存放虚拟机的硬盘。不支持快照。厚卷:支持快照、LUN,适合存放照片等一般文件。没有特殊需求的话一般使用厚卷。精简卷:支持快照、LUN,空间非常灵活,用多少就占用多少,原理和虚拟机的虚拟硬盘类似。性能比较差。Qtier混合存储技术 (需掌握并使用)从将SLC存储介质引入EMCDMX开始,向全闪存存储过渡约有十年的时间。但是全闪存成本太高,而作为过渡使用的混合存储系统也逐渐成为一种新的主流。威联通在混合存储领域的研究是目前所有NAS品牌里面最为深入的。目前威联通提供了Qtier技术和SSD高速缓存加速技术,这两种技术相信大家肯定都有所了解。但是这次大家需要好好进行比较一下。QNAP Qtier 技术是威联通独有的实现自动分层存储解决方案,可识别数据的存取频率,自动将频繁存取的「热」数据移动到性能较高的磁盘层,而将较少存取的「冷」数据移动到成本低、大容量的磁盘层,让企业享有性能与成本 (TCO) 兼顾的存储服务。Qtier几点特色值得一说:1、自动学习。用户可以启用自动排程,由系统主动分析存储池读取及写入的 I/O 量,决定适合的时间点进行数据分层转移,并自动调整数据迁移的速度。智能数据感知的学习机制每一天都会运作,让存储效率达到最佳。2、智能感知 (IO Aware),性能提升更明显。系统将在 SSD 层将能保有预留空间,随时支援临时出现的高随机读写重要应用,提供如同 SSD 高速缓存般加速 IOPS 性能的好处。此功能将可避免若 SSD 层空间已完全被占用,而无法应付突如其来的高密集存取重要应用的需求。随选即用3、随选随用,自定义配置。Qtier 在每个阶段都可弹性启用,不再受限于一开始建立存储池时的设定。您可依应用需求弹性为 NAS 安装 SSD、QM2 扩充卡,或连接存储扩充设备,再透过存储与快照总管,将单一存储池自由加入新的分层,并立即升级启用 Qtier。玩家需要在建立存储池的时候,选择启用Qtier。作者使用2块酷狼110系列 240GB 固态硬盘组成RAID 1 作为超高速层,使用3块希捷酷狼Pro 6TB 机械硬盘组成RAID 5 作为容量层。SSD高速缓存技术(需掌握并使用)与Qtier相似的技术是SSD高速缓存技术,基本所有NAS厂商都有。这个技术类似于将SSD作为HDD的SLC Cache来使用,从而有效提升磁盘访问的 IOPS 性能。首先介绍一下SLC Cache。TLC SSD为了解决NAND Flash读写较慢的问题,就为产品配备了SLC Cache,之所以称之为SLC Cache,是因为它并不是真正意义上的SLC NAND Flash,大家知道SLC NAND Flash因为每个Cell只存储1bit数据,所以读写速率全面领先MLC和TLC,TLC SSD里面配备的SLC Cache实际上是在既有的TLC NAND Flash里面划出一部分空间,在其中的每个Cell中只写入1bit的数据,以提升SSD的读写性能。而SSD高速缓存的机制与此类似,只是把SSD区域作为SLC Cache 来使用,在该容量内NAS可以一直保持SSD的读写速度,但是当单次传输超过SSD区域容量时候,会出现明显掉速情况。但是这样也是极大提升了原本的NAS读写性能了。开启这个也十分简单,只需要选定磁盘,选择高速缓存类型即可,包括RAID类型。高速缓存类型包括有:只读高速缓存,读写高速缓存,只写高速缓存。根据选择的种类不同,SSD选择的RAID不同,用来加速的场景也不同。1、对于只读高速缓存,可以使用RAID0来提高性能,因为不存在丢失数据的风险。2、对于读写高速缓存和只写高速缓存,应当使用受保护的RAID类型(RAID1、5、6、10)来保护高速缓存中的数据。对于多个SSD,为了获得最佳写入性能,应当使用RAID 10。Qtier 与 SSD高速缓存 孰优孰劣?作者接下来会针对三种情况进行测试:Qtier技术:作者使用2块希捷酷狼110系列 240GB 固态硬盘组成RAID 0 作为超高速层,使用3块希捷酷狼Pro 6TB 机械硬盘组成RAID 5 作为容量层。SSD高速缓存:作者使用3块希捷酷狼Pro 6TB 机械硬盘组成RAID 5 ,使用2块酷狼110系列 240GB 固态硬盘组成 RAID 0 作为SSD高速读写缓存。混合使用:作者使用3块希捷酷狼Pro 6TB 机械硬盘组成RAID 5 ,使用1块酷狼110系列 240GB 固态硬盘,两者组成Qtier混合存储,再来1块酷狼110系列 240GB 固态硬盘作为高速读写缓存。实际体验结果如表格。在千兆局域网内,三者结果相差不大,Qtier技术的提升效果比SSD高速缓存加速的效果略好。快照概念 (你肯定知道游戏存档)威联通的特色快照功能非常值得一提。大家之前应该都玩过单机游戏,大多数单机游戏都有存档功能,你可以选择任意时间点进行存档,如果后面关卡GAME OVER就可以读档重来。而威联通的快照备份也是针对于NAS的某一个时间点的状态进行存档。你可以主动存档,也可以设置定时自动存档,如每周一次,每天一次均可。威联通快照为数据提供区块级保护。快照可以记录厚卷、精简卷或区块 iSCSI LUN 在特定时间点的状态。意外删除或修改快照中的数据时,可将其迅速恢复至该状态。那么何为区块级保护?区块层级Block- based LUN技术:以 iSCSI LUN 分享 NAS 空间的方法,可分为 File-based LUN 与 Block-based LUN 两种。File-based LUN 是在 NAS 的文件系统中建立映像档,再将空间分享给其他设备,但也因其存在于文件系统上,性能发挥有限。而后期所发展的 Block-based LUN,则直接将 LUN 以区块的方式做分配应用,不仅加强性能,更原生支持虚拟化应用技术,如:VAAI 精简分配与空间回收、Microsoft ODX 等,成为 iSCSI 存储应用的首选。档案层级File-based LUN技术:因为 Block-based LUN 具备高效及完整的虚拟化支持,能让各式服务器、虚拟机以优化且稳定的方式运用本机外的存储空间,因此受到企业用户所喜好。而 QNAP NAS 的快照功能均以支持 Block-based LUN 为首要目标,Block-Based LUN 搭配 QNAP 快照,将可给企业用户带来比起 File-based LUN 快照更高速的秒速快照撷取与还原,并有效帮助降低灾难发生时的复原时间乃至营业损失。在此之前,所有NAS的备份都是使用档案层级File-based LUN技术,后来区块层级Block- based LUN技术出来后威联通率先采用。威联通提供多项功能以进行数据快照与还原,可轻松回复意外删除或覆盖的文件,亦能还原整个系统至特定时间点下的健康状态。用户可以通过计划或手动模式创建快照,并将快照文件再次备份于另一台 NAS 或服务器中。目前威联通快照支持的各种参数如下。快照已成为现今存储系统必备的功能之一。QNAP 提供的快照功能,可有效保护存储系统中的文件夹、文件、及 iSCSI LUN 的数据。当恶意软件攻击或意外事件发生时,用户便可以利用快照,迅速将资料复原至特定时间点的状态,确保系统运作不中断。但是它与其他品牌NAS的快照有什么不同呢?最后,快照功能是万无一失的吗?不是的,快照功能是建立在存储池之上的,它只能保证建立在存储池上的卷数据不被丢失,但是如果存储池崩了,它对于数据的保护也是无能为力。HBS3 (多重备份)威联通Hybrid Backup Sync 3(HBS3)是将数据备份、复原、同步等功能整合到一个应用里面,通过USB单键备份、Time Machine备份、RTRR远程备份(或通过RTRR、Rsync、FTP、CIFS/SMB文件同步等作法)等超强备份功能可以将 QNAP NAS 中的数据备份或同步到另一台 QNAP NAS、远程服务器或云服务中。目前,HBS 3整合了WebDAV、Google Drive、Microsoft OneDrive 、HUAWEI Cloud、Dropbox、Box、Yandex Disk、Amazon Cloud Drive、Amazon S3、Amazon Glacier、Azure Storage、Google Cloud Storage,以及与S3、OpenStack Swift、WebDAV兼容等32 种云端存储服务,这让它兼具私有云及公有云优点,提供用户更弹性的混合云存储应用体验,并支持 TCP BBR 壅塞控制算法,翻倍外网传输速度,开创更完备的备份策略。而在远程服务器方面,威联通也支持远程NAS、Rsync、FTP、CIFS/SMB等远程端的备份。HBS 3还支持QuDedup技术,它可以进行来源端的重复数据删除,极小化备份文件有效减少带宽及云端备份空间的使用,加速数据备份及还原时间。用户可于计算机上安装 QuDedup Extract Tool 轻松开启云端下载经由 QuDedup 去重复化的 .qdff 格式文件,实现数据可携,工作随时随地快速接轨。此外,用户还可下载 QuDedup Extract Tool 应用工具解析 QuDedup 去重复化文件格式 .qdff,并直接在计算机上还原从远程或云端上所下载的 .qdff 资料,这意味着你的资料可以在NAS、计算机及云端跨设备存取,不担心在云端泄露。总结又到了结尾时间,很高兴大家看完这篇科普贴。有问题欢迎留言互动。偶是加勒比考斯,大家下期再见。