近年来,在线跨模态哈希因其能处理更为贴近现实的流数据场景而受到广泛关注. 虽然取得了不错的进展,但现有方法大都依赖准确清晰的数据标记. 目前,针对无监督学习模式下在线跨模态哈希的研究相对较少,还有很多问题有待解决. 例如,新到达的数据流通常规模较小,因此常常存在分布不平衡的现象. 而现有模型极少关注这个问题,导致模型对离群样本敏感,鲁棒性较差. 并且,现有方法大都关注样本的整体结构而忽视了邻域信息对于生成公共哈希码的帮助. 为了解决上述问题,提出了基于双重结构保持的无监督在线跨模态哈希方法,称为SPOCH(structure preserving online cross-modal hashing). 该方法的基本思想是同时挖掘样本空间的全局结构信息和邻域结构信息来生成相应的公共表示,用以指导哈希码和哈希函数的学习. 针对全局结构的学习,引入$ {L_{2,1}} $范数取代$ {L_2} $范数来约束损失函数,利用$ {L_{2,1}} $范数结构化稀疏的性质缓解模型对离群样本的敏感性;针对邻域结构的学习,利用多模态融合的邻域样本进行样本重构,使得所学公共表示更好地表征多模态信息. 此外,为了缓解遗忘问题,提出在新旧数据上联合优化,并设计相应的更新策略提高算法的训练效率,实现在线检索. 在2个广泛使用的跨模态检索数据集上进行的实验结果表明,较现有最先进的无监督在线跨模态哈希方法,SPOCH在可比较甚至更短的训练时间内取得了更优的检索精度,验证了所提方法的有效性.
… … 相似文献神经渲染是一种基于深度学习的新兴图像和视频生成方法,它将深度学习模型和计算机图形学的物理模型相结合,从而获得可控和逼真的场景表示和渲染,实现对诸如光照、相机参数、姿态等场景属性的控制. 一方面,神经渲染既可以充分利用深度学习的优势,实现传统前向渲染流程的加速,也可以为影像的逆向渲染和3维场景重建等特定任务提供新的解决方案;另一方面设计适应神经渲染流水线的创新硬件结构,突破现有图形处理器的并行计算和功耗瓶颈,有望为虚拟现实和增强现实、影视创作和数字娱乐、人工智能和元宇宙等未来重点领域提供重要支撑. 综述了神经渲染的技术内涵、主要挑战和研究进展,在此基础上分析了神经渲染流水线对硬件加速支持的共性需求和当前主流神经渲染硬件加速结构的特点,进而讨论了神经渲染处理器架构的设计挑战,最后展望了其未来的发展趋势.
… … 相似文献