41.
42.
43.
会议纪要、客服质检等应用对多说话人语音转写与归属判断的需求正日益增长. 随着近年来多模态大语言模型的迅速发展, 音频-语言模型因其能够同时理解音频信号与自然语言提示, 并在自回归解码框架中统一处理两种模态的能力, 天然契合这种“说话人日志”任务的需求, 为端到端多说话人音频转写提供了全新的思路. 提出一种基于音频-语言模型的端到端说话人日志系统, 通过两阶段训练策略实现语音识别能力与判断说话人归属能力的协同优化, 将音频-语言模型的能力泛化到具体的下游任务上. 训练的第1阶段采用监督微调(SFT), 在标准交叉熵损失中引入“说话人损失”, 以加权的方式强化对稀疏说话人标签token的学习信号; 第2阶段使用了基于组相对策略优化(GRPO)算法的强化学习策略, 以联合指标cpCER与SA-CER设计奖励函数, 突破了监督学习的性能瓶颈. 在双说话人的场景下开展实验, 对比了热门开源工具3D-Speaker、Diar Sortformer和闭源的AssemblyAI、Microsoft Azure说话人日志API, 并通过消融实验证明了训练方法的合理性, 随后将实验拓宽至四说话人场景. 结果表明, 两阶段的训练方法在双说话人环境中显著提升了模型的语音识别能力与判断说话人归属的能力, 而在四说话人场景中, 常规的监督微调已取得较大收益. 进一步讨论了大模型资源消耗、输入时长限制、跨域适应等问题, 提出了引入流式音频编码器、课程学习、拒绝采样策略等未来优化方向. 研究表明音频-语言模型在多说话人日志任务中具备显著潜力, 但亦需在复杂声学场景下完成更多技术突破.… … 相似文献
44.
研究3类非平衡广义Feistel结构的中间相遇攻击, 并在Q1模型下对这3类结构进行量子中间相遇攻击. 首先, 采用多重集和差分枚举技术对3分支Type-III型广义Feistel结构构建4轮中间相遇区分器, 分别向前向后扩展1轮进行6轮中间相遇攻击, 并利用Grover算法和量子爪搜索算法对该结构进行6轮量子密钥恢复攻击, 该攻击所需的时间复杂度为O(23?/2·?)次量子查询, 其中?为广义Feistel结构的分支长度. 其次, 对3分支Type-I型广义Feistel结构的9轮区分器分别向前向后扩展1轮进行11轮中间相遇攻击及量子密钥恢复攻击, 相应的时间复杂度分别为O(22?)次11轮加密和O(23?/2·?)次量子查询. 最后, 以 3-cell型广义Feistel结构为例探讨了n-cell型广义Feistel结构的量子中间相遇过程, 对n-cell型广义Feistel结构构建2n轮中间相遇区分器, 并进行2(n+1)轮中间相遇攻击及量子密钥恢复攻击, 且时间复杂度分别为O(22?)次2(n+1)轮加密和O(23?/2·?)次量子查询. 结果表明, 相比于经典环境, Q1模型下消耗的时间复杂度更低.… … 相似文献
45.
现实世界中许多应用场景都可以用图数据表示, 图上的查询也具有广泛的应用, 如可达、最短路径、关键字、图匹配、PageRank、SimRank、k-core、k-truss和Clique等. 针对特定的查询问题, 目前的研究方法可概括为: 提出相应的查询处理算法, 并构建索引结构来加速查询. 然而, 现实应用中需求的多样化以及图数据规模爆炸式的增长为该研究方法带来了两方面挑战. 第一, 同一个图数据在应用中会涉及多种查询, 但针对不同查询问题的处理机制和索引结构均不相同, 因此在设计图数据库时需构建多个索引和相应的查询算法; 第二, 索引的规模通常比原图数据的规模大, 多个索引同时存在会占用大量的系统空间, 导致图数据库的性能急剧下降, 不能被真正的应用. 为解决上述挑战, 提出一种统一的查询处理机制, 即为大图数据构建统一且高效的索引结构, 并基于统一索引结构设计可达、最短路径、关键字和图匹配这4种查询处理算法. 为构建统一索引结构, 对大图数据进行划分, 并根据可达、最短路径、关键字和图匹配这4种查询的特点提取出图数据中的重要顶点, 该统一索引结构规模比图数据规模小, 并且能高效地支持上述4种查询. 最后, 通过在4组真实数据上的实验验证了统一索引结构和4种查询处理算法的高效性和扩展性.… … 相似文献
46.
48.
49.
50.
51.
52.
53.
大多数图异常检测方法依赖图神经网络(GNN)在相对高质量的图数据上进行学习. 然而, 在现实应用中, 这种理想场景极为罕见, 大多数数据存在标签缺失、动态变化和结构不完整等问题, 这些问题统称为动态不完整图. 针对GNN在极端条件下性能下降的挑战, 提出一种可解释的动态不完整图异常检测方法EXDIG (explainable dynamic incomplete graph anomaly detection), 其核心是一种结合强-弱互信息优化的图掩码自编码器框架. 该框架通过对图结构(节点/边)和节点特征进行掩码, 模拟现实中的动态不完整场景. 此外, 通过强-弱互信息损失, EXDIG捕捉结构与特征之间的关系, 同时保持结构完整性, 降低过拟合风险, 并提升泛化能力. 此外, 该方法通过在节点、边及特征上引入掩码扰动, 提高动态不完整图异常检测的可解释性, 使其能够识别关键组成部分, 并为异常检测结果提供透明且可信的解释. 在9个真实世界图数据集上进行了评估, 实验结果表明, EXDIG在不同程度的动态不完整场景下, 在多种下游任务和表示学习评估(包括有监督和无监督设定)中均优于现有最先进方法. 其中, 在异常检测数据集Amazon上, EXDIG的NMI和ARI指标分别提升了超过 13% 和 15%; 在动态不完整比率从25%到99%的设置下, 其F1分数波动被控制在5%以内. 此外, EXDIG还实现了在动态不完整图中对各节点的可解释性分析.… … 相似文献
54.
随着人工智能技术的蓬勃发展和广泛应用, 越来越多的恶意软件检测方法和工具利用深度学习的强大学习能力来检测安卓平台上新出现的恶意软件. 然而, 深度学习模型已经被证明容易受到对抗攻击的威胁. 与此同时, 攻击者已经开始提出多种针对安卓恶意软件检测方法的对抗攻击方法, 即生成对抗性安卓恶意软件, 从而达到绕过恶意软件检测的目的. 现有安卓恶意软件检测方法容易受到对抗攻击威胁的主要原因在于, 这些恶意软件检测方法都建立在单一模态特征之上, 而以单一模态存在的特征却很容易被攻击者恶意性地操控. 因此, 为了提高当前安卓恶意软件检测方法可以抵御对抗攻击的鲁棒性, 提出一种基于多模态融合学习的安卓恶意软件鲁棒检测方法RMDroid, 可以在不影响针对一般性安卓恶意软件检测准确性的基础上, 显著提高其抵御对抗攻击的鲁棒性. 具体而言, RMDroid首先会从待测安卓软件的多种模态中提取多种模态的特征信息, 然后分别利用相应的深度学习模型学习表征相应模态深层语义信息的特征向量, 最后利用异类识别网络降低甚至消除多模态特征中受到对抗攻击干扰的模态特征对最终恶意软件预测的影响, 从而提高其抵御对抗攻击的鲁棒性. 实验结果表明, 所提出的RMDroid在5项有效性指标和1项鲁棒性指标上均优于所有基线检测方法. 特别的, 在误报率FPR相同的情况下, RMDroid的检出率TPR比最好的基线检测方法的检出率TPR高出10%以上; 并且针对最先进的HRAT攻击, RMDroid的鲁棒性值高达96%以上, 显著高于MaMaDroid和MalScan基线检测方法的鲁棒性值.… … 相似文献
55.
56.
57.
(t, N)门限多方隐私集合交集协议(threshold multi-party private set intersection, TMP-PSI)允许当指定参与方的集合元素x在其余不少于t–1 (t＜N)个参与方的私有集合中出现时, 数据元素x作为交集结果输出, 在提案投票、金融交易威胁识别、安全评估等场景具有广泛应用. 现有的门限多方隐私集合交集协议运行效率低、通信轮数多且只能由某一个指定参与方获取交集. 针对这些问题, 设计一种基于弹性秘密共享的参与方门限测试方法, 结合不经意键值对存储(oblivious key-value store, OKVS)提出一种TMP-PSI方案, 能够有效减少计算开销和通信轮数. 为了满足多参与方获取私有集合中交集信息的需求, 提出第2种拓展门限多方隐私集合交集(extended threshold multi-party private set intersection, ETMP-PSI)协议对份额分发方式进行改变, 与第1种方案相比, 秘密分发者和秘密重构方没有额外增加通信轮数和计算复杂度, 实现了多参与方获取私有集合中的交集元素. 所设计的协议在数据集合大小为n = 216的三方场景下运行时间为6.4 s (TMP-PSI)和8.7 s (ETMP-PSI), 与现有的门限多方隐私集合交集协议相比, 重构方和分发方的通信复杂度由O(nNtlognλ)降为O(bNλ).… … 相似文献
58.
59.
60.
关于我们 |
广告服务 |
商务洽谈 |
联系我们 |
免责条款 |
隐私声明 |
网站导航
网站版权所有：中国科学院软件研究所 京ICP备09084417号-9
地址：北京海淀区中关村南四大街4号 邮编：100190 电话：010-62562563 E-mail ： cj_mail@jscas.ac.cn
本系统由:北京勤云科技发展有限公司提供技术支持
网站版权所有：中国科学院软件研究所 京ICP备09084417号-9
地址：北京海淀区中关村南四大街4号 邮编：100190 电话：010-62562563 E-mail ： cj_mail@jscas.ac.cn
本系统由:北京勤云科技发展有限公司提供技术支持
