人脸测评

人脸识别有着重要的用途,近年来对该领域的不断研究研究,各场景下人脸识别的商业产品不断发展,使得在安防、金融等领域得到了广泛的应用。

衡量人脸识别的性能的最常用的数据集为LFW,它通过6000组的1:1的verification的验证来计算精度。

随着卷积神经网络在人脸识别领域中的应用,主流算法在该数据库上的精度不断提高,多数的开源算法也能达到99.X%级别的精度。一方面是因为卷积神经网络的强大的特征提取能力,另外一方面是因为LFW为网上爬取的数据集,与开源的训练集可能会有人员上的重复,从而干扰了对算法评定的准确性。

为了更好的评估算法的精度,一个新的人脸识别测评集的出现是非常有意义的。

为了更好的对人脸识别的算法进行评估,本文提供了一个新的人脸verification的测试集。

我们采用了线下采集的方式,对于每个actor,我们首先签署了授权协议后,对如下内容进行采集:

我们共采集了20000人,使用身份ID对人员进行管理,可有效的避免重复,并且具有数据库的可扩展性。

我们使用了其中1000人的数据来进行构建测试集。

目前actor多来自与东亚地区,后续会加入中亚、非洲、美洲等地的数据。

测试集的设计如下:

测试集分为8组,每组对actor的不同类型的数据进行评估。每组中的正样本为1000个pairs,使用这1000个pairs的正样本,可以生成大量的负样本集合,我们采用了两种模式,简单模式下随机采样选择1000个负样本,困难模式下使用我们的baseline的算法mining出相对较难的一些样本,在从中随机选择1000个负样本。这样,我们每一组的测试都包含有1000个正样本和1000个负样本,分为简单和困难两种测试模式。

我们对如下的识别方法进行了评测:Facenet + Center-loss,以及公共云API来获得表现评价。

您可在“测评表”查看结果。

我们也提供3组即500人的正样本免费下载,您可下载数据并用您自己的算法进行测评。如果您对此感兴趣,请进一步联系我们。

Pair name Soft FaceNet Method Soft CloudAPI Hard FaceNet Method Hard CloudAPI
每人随机选择一张手机自拍照和一张正常光照环境下的监控视频的照片 Accuracy: 0.912+-0.021 Accuracy:0.973294 Accuracy: 0.476+-0.1563 Accuracy:0.813294
每人随机选择一张手机自拍照和一张背光光照环境下的监控视频的照片 Accuracy: 0.891+-0.019 Accuracy:0.893294 Accuracy: 0.500+-0.165 Accuracy:0.819594
每人随机选择一张手机自拍照和一张有表情变化的手机拍摄的照片 Accuracy: 0.940+-0.018 Accuracy:0.973232 Accuracy: 0.500+-0.165 Accuracy:0.861294
每人随机选择一张手机自拍照和一张有角度姿态变化的手机拍摄的照片 Accuracy: 0.926+-0.021 Accuracy:0.763294 Accuracy: 0.539+-0.195 Accuracy:0.813209
每人随机选择一张不带眼镜的手机拍摄的照片和一张带眼镜的手机拍摄的照片 Accuracy: 0.879+-0.028 Accuracy:0.973124 Accuracy: 0.617+-0.210 Accuracy:0.735294
每人一张电子证件照和一张手机拍摄的照片 Accuracy: 0.879+-0.028 Accuracy:0.863294 Accuracy: 0.462+-0.178 Accuracy:0.810694
每人一张扫描证件照和一张手机拍摄的照片 Accuracy: 0.889+-0.025 Accuracy:0.970094 Accuracy: 0.400+-0.165 Accuracy:0.913294
每人一张电子证件照和一张监控摄像头拍摄的照片 Accuracy: 0.856+-0.032 Accuracy:0.813294 Accuracy: 0.500+-0.109 Accuracy:0.800294
Down Load

Contact us if you need us.

Request a Demo