布法罗大学的计算机科学家已经开发出一种工具,自动识别deepfake照片通过分析光反射的眼睛。
描述的工具证明94%的有效实验论文接受IEEE国际会议音响、演讲和信号处理在6月在多伦多举行,加拿大。
角膜是几乎像一个完美的半球形和非常契合,”论文的作者说,Siwei律,博士,纽约州立大学帝国创新计算机科学与工程系教授。所以,任何即将发光的眼睛从这些来源会对角膜图像。
“两只眼睛应该非常类似的反射模式,因为他们看到了同样的事情。这是我们通常通常不会注意到当我们看一张脸,“律说,多媒体和数字取证专家在国会作证。
这篇论文,暴露GAN-generated面临使用不一致的角膜高光可以在arXiv的开放获取存储库。
合作者是蜀,三年级计算机科学博士生和媒体在乌兰巴托,法医实验室研究助理和Yuezun Li博士前高级研究科学家现在在乌兰巴托中国海洋大学的讲师中心人工智能。
工具地图的脸,检查眼睛的微小差异
当我们看一些东西,我们看到的图片是反映在我们的眼睛。在真实的照片或视频,反思眼睛通常似乎是相同的形状和颜色。
然而,大多数图像生成的人工智能,包括生殖对手网络(GAN)图像-未能准确地或持续这么做,可能是因为许多照片结合生成伪造的图像。
律的工具利用这个缺点发现微小偏差反射光deepfake眼中的图像。
进行实验,研究小组从Flickr Faces-HQ获得真实图像,以及伪造的图像这个人不存在库AI-generated的面孔,看起来栩栩如生,但是确实是假的。所有图片都是portrait-like(真实和假人直接进入相机有很好的照明)和1024×1024像素。
该工具通过映射每个面。然后检查眼睛,紧随其后的是眼球最后反映在每一个眼球。比较令人难以置信的详细的潜在的形状差异,反射光的光强和其他特征。
“Deepfake-o-meter”,并承诺deepfakes战斗
虽然有前途,律的技术有一定的局限性。
首先,你需要一个反射光源。同时,不匹配的光反射的眼睛固定在编辑图像。此外,每个像素的技术似乎只反映在眼睛——不是眼睛的形状,在眼睛的形状,或反映在什么眼睛的本质。
最后,技术比较了双眼内反射。如果主题是失踪的一只眼睛,或眼睛是不可见的,技术失败。
律,研究机器学习和计算机视觉项目20多年,此前证明deepfake视频往往有不一致或不存在的眨眼率视频对象。
除了在国会作证时,他在2020年帮助Facebook deepfake检测全球性挑战,他帮助创建了“Deepfake-o-meter”,一个在线资源来帮助普通人测试,看看他们看过的视频是,事实上,deepfake。
他说确定deepfakes是越来越重要,特别是考虑到党派的世界充满了竞赛,与性别有关的紧张局势和虚假信息的危害,特别是暴力。
不幸的是,大部分的这些类型的假视频创建用于色情,这致使很多心理伤害的受害者,”律说。也有潜在的政治影响,假视频政客说一些或做一些他们不应该做的。那就糟糕了。”
