公开待跟进未分类
极速计算超大文件指纹
提交时间
2026/04/30
详细需求
把一个 10G byte 大小的无规则文本文件 用一种极速的方式,如1s 以内,计算出文件指纹 文件指纹,不限于目前的 md5,sha265 等,但是要确保唯一性。 不靠堆硬件来解决,而是要找到极致的算法,在普通的 Apple Mac M1 设备上,也能达到同样的性能要求和效果。
提交时间
2026/04/30
把一个 10G byte 大小的无规则文本文件 用一种极速的方式,如1s 以内,计算出文件指纹 文件指纹,不限于目前的 md5,sha265 等,但是要确保唯一性。 不靠堆硬件来解决,而是要找到极致的算法,在普通的 Apple Mac M1 设备上,也能达到同样的性能要求和效果。