图 6. 我们开放词汇检测器的一些示例结果。此处显示的类别来自 COCO 中的新类别。
总体情况:研究和社会影响
我们相信,我们的工作将对 OVD 研究的未来产生积极的影响。通过自动化创建训练数据的边界框注释流程,我们朝着减少(甚至最终消除)注释过程中所需的人力和精力以及由此产生的费用迈出了重要的一步。
虽然我们认为它的整体影响将是积极的,但些负面影响的可能性。由于我们的伪标签生成器无需人工干预即可从输入标题中挖掘对象的注释,因此我们的伪标签可能会有偏见, 这是由于视觉语言模型和/或图像标题对中可能存在偏见造成的。手动过滤掉有偏见的图像标题数据样本或词汇对象名称可能是解决这一潜在问题的两个有效方法。但是,由于人类注释者可能会在注释过程中引入他们自己固有的偏见,因此自动化注释过程并不一定会导致更多偏见 手机号数据库列表 的结果。未来的工作可以评估自动注释与手动注释的偏见。
底线
关键要点和结果:
边界框标签生成的新方法:我们开发了一个新框架,该框架使用从大规模图像标题对自动生成的伪边界框标签来训练开放词汇对象检测器。