molian502 发表于 2014-4-18 13:32:18

关于存储的容余数据删除功能

大存储开了容余数据删除功能会对性能有形响吗?

尾巴 发表于 2014-4-18 13:33:02

重复数据删除吧?
会有一定的性能影响,当然,也看你启用的什么模式的重复数据删除了,还得看你的存储采用的什么算法等等的

ylqy 发表于 2014-4-18 13:33:48

关注中……

TiGi 发表于 2014-4-18 13:34:36

指重复数据删除?开启了的话,肯定有。
很多顶级存储,删重性能也是一个相互攀比的性能指标!
——————————————————
删重,其实可以对冷数据进行删除 —— 例如Server 2012里面,可以对若干天之前的数据进行删重!此外也可以对某些类型的文件不删重。

seanlaser 发表于 2014-4-18 13:35:11


dedup性能,我觉得这个要细分成成多个指标:
1 样本写入后多快能开始dedup
2 开始dedup后多快可以dedup完成(对于一定的样本,不然比较没有意义)
3 dedup中,外部性能剩下多少
4 dedup后,特定样本的读取和更改性能
5 对于特定改写后,再次完成dedup的速度

seanlaser 发表于 2014-4-18 13:35:54


对于上面的各个指标,期待的好结果是可以如下描述:
1 样本写入后,dedup越快开始越好
2 开始后,越快完成越好
3 dedup中,对外部性能损失越小越好,如果有提升更好
4 dedup后,读取和改写性能损失越小越好,如果有提升更好
5 对于特定改写,再次完成越快越好

seanlaser 发表于 2014-4-18 13:36:32

对于市面上dedup的分块尺寸来说,有分的很小的,例如康贝小到512K,也有大的例如EQL 十兆或者百兆级别。
尺寸越小,块内可能的变化就越少,意味着重复率越高,但是对于特定文件来说,组成的索引也就越大,不论读取还是改写所需的搜索操作越多,对于存储来说,虽然数据区可以减小更多,但是metadata的描述相应变大了,对应所需的资源消耗会更多。
一般说来存储上的芯片不是很适合做这种搜索工作,以后说不定会产生专门适合的加速卡或芯片用以提供高效的metadata处理,这样将来索引的长大不再是问题的时候,块可以变得非常小,甚至实时的dedup也不再会影响性能!

TiGi 发表于 2014-4-18 13:37:11


第一项,估计很多存储/系统,可以自定义;
第二项,估计通常的比较都是以此为基准的;
第三项,估计也会有类似的比较 —— 但是性能优先、删重优先,存储的设置趋向肯定不同 —— 这个也和用户买怎样的存储干啥用有关;
第四项,估计通常的比较也会有;
第五项,个人觉得一定程度上是“1”有关。
——————————————————————
总体而言,个人觉得大规模上Dedup存储的,应该是那些数据量大、拥有较大存储设备的用户。将不同的数据分布到不同的存储上或者同一个设备内的不同层上是“王道”。
——————————————————————
就目前和长远看,速度和容量肯定还是无法共存的 —— 计算机系统一贯如此。
页: [1]
查看完整版本: 关于存储的容余数据删除功能