Verus-Insight: 实现AI生成视频中可解释的人工痕迹检测
Verus-Insight 通过结构化三阶段能力(检查规划、证据验证、证据聚合)提升AI视频人工痕迹检测性能,配合人类监督训练和Verus-Bench评测基准,在细粒度分析和视频级检测中实现显著提升。
Verus-Insight 通过结构化三阶段能力(检查规划、证据验证、证据聚合)提升AI视频人工痕迹检测性能,配合人类监督训练和Verus-Bench评测基准,在细粒度分析和视频级检测中实现显著提升。
RealMe 通过高分辨率视频扩散模型将稀疏低分辨率输入转化为 2K 分辨率、4D 一致的体积视频。该模型采用因子化时空注意力机制和多视图布局感知嵌入,在 DNA-Rendering 基准和自建 RealVV 数据集上实现视觉保真度和 4D 一致性超越 SOTA 方法。
ALLOT 通过单元探测和轨迹校准优化视频扩散模型的块稀疏注意力分配,在相同或更短 wall-clock 时间下,于 HunyuanVideo 上实现 11.8 dB PSNR 提升,并在九种设置中优于或持平默认策略。
研究提出未来块预测(FCP)辅助目标,通过预测时间分离的视频块来提升视觉演化建模能力。FCP 在无需额外预训练视觉编码器的情况下,以更低训练计算成本实现更优物理合理性。该方法可能促进更结构化的表示空间构建,对自回归世界模型开发有潜在价值。
研究人员提出了一种新模型,能够直接协同生成任意骨骼结构的3D运动和视频,同时定位关节位置并恢复相机姿态。该模型通过分离运动模型与视频模型,使用交叉注意力层连接,支持从文本生成多样化骨骼动画,并能将视频转换为骨骼运动,实现关键帧控制。研究团队使用生成式视频编辑器创建了近20万训练对,评估显示该方法比视频优先管道更忠实于原始动作。
研究提出在3D隐空间中直接生成场景,通过扩散模型实现3D-grounded场景生成,实验证明其在效率和空间一致性上优于2D方法,代码已开源。
InfiniDream 是一个 VLM 驱动的开放式程序化 3D 世界生成框架,通过符号约束资产生成和端到端文本到世界管道,支持创建新型逼真资产和大规模 3D 场景。在 100 个对象和 20 个场景生成任务中,该框架在四个感知指标上表现更优,并通过多样性分析和人类偏好评估验证有效性。
研究人员提出EgoXperience,一个全栈范式,通过数据收集、自动标注、统一建模和基准测试解决第一人称视频中人类活动重建的一致性问题。该研究包含EgoX-Engine自动标注引擎、EgoX-Data-6M数据集和EgoX模型,在单目第一人称视频输入下实现了相机、场景、手部和物体的联合度量重建,实验显示在场景估计和世界空间手-物体姿态恢复方面达到SOTA性能。
DeOverlay 提出源锚定流程模型,通过区域加权流匹配和可见性归一化时间聚合重建视频,在 DVTE-Bench 上超越四个基线,Mask LPIPS 和 Mask VFID 分别降低 58.3% 和 70.3%。该基准包含 1,631 对视频,覆盖八类文本叠加层。
RoAR-VAE 通过鲁棒预测原则改进潜在扩散性,在相同训练预算下平均生成基准性能超越最强基线 tokenizer 2.19 分,小文本重建精度较 FLUX.1-VAE 提高 16.93 个百分点。该模型结合 RobustAlign 和 RobustRecon 两个目标,平衡了重建保真度与下游生成可学习性。
TextRIRO 通过破坏原始图像构建自配对训练数据,结合字符列打乱与图像裁剪方法,在真实场景文本编辑任务中实现高精度与视觉真实性,并构建 TextRIRO-3M 数据集提升下游文本识别准确率。
RLSplat 提出资源线性预算控制的前馈 3D Gaussian Splatting 框架,其表示大小、推理延迟和峰值内存随高斯预算减少线性下降。零样本评估显示,RLSplat 在各预算下均优于现有方法,低预算时运行速度提升 4.1 倍,峰值内存减少 9.6 倍,且仅需 1/4 高斯数量即可超越最强基线。
Policy-Mask 通过联合优化时间步、网络块和通道选择,在 ADE20K 上实现 38.9 mIoU,CIFAR-100 达 75.4% top-1 准确率。该方法在 256 通道时取得最佳性能,适用于扩散模型和扩散 transformers。
VideoMaMa++ 提出基于扩散模型的视频抠图框架,通过保留和精炼 token 实现跨块边界的时间一致性,在长视频中优于现有方法。该框架采用双流 token 交互和滑动窗口推理,在标准基准和真实长片段中均提升细节准确性和时间一致性。
SpecKCast 通过频域预测实现扩散模型加速,在 FLUX.1-dev、Qwen-Image 等模型上达到 6 倍速度提升,仅需额外 0.05 GiB 内存。该方法使用 2D 离散余弦变换和卡尔曼滤波跟踪特征系数,仅在预测不确定性超过阈值时重新计算模型输出。
StreamingSwap 实现单卡 RTX 4090 上 20 FPS 的实时视频换脸,支持长达 10 分钟的稳定生成。该方法通过联合身份监督损失和短上下文训练优化身份转移与视觉质量,并发布包含 1000 小时训练数据的 HumanFaceVid 数据集。
PhysSkin++ 通过自监督神经蒙皮场学习连续变形子空间,支持跨形状泛化、实时简化模拟及网格/点云/3D高斯绑定,可控制碰撞感知动画并补充弹性响应。
FineSplat 通过细分图像块和双分组策略提升3D高斯飞溅的细节重建能力,在相同或更少高斯数量下实现SOTA效果。该框架结合视图分组与3D空间分组优化多视图交互,并利用重建误差反馈增强精细结构与外观恢复。
研究提出 Painting Change Map,通过跟踪 1000 个时间步的结构变化,实现对绘画/反绘画过程的细粒度时空控制。该方法在基准测试中超越现有控制基线,与 SOTA 绘画方法性能相当或更优,代码已开源。
研究团队提出 MT Forcing 方法,通过 Single-Turn DMD 和 Teacher-Forcing Guidance 解决多轮图像编辑中的质量漂移和内容一致性问题,显著提升统一多模态模型的跨轮次稳定性。该方法在自回归扩散框架下避免了递归误差累积,实验证明其能保持视觉质量与内容一致性。
加州大学伯克利分校研究团队提出了一种基于信息内容的成像系统评估与优化框架IDEAL,可直接从测量数据量化成像系统性能,无需重建算法。该框架在彩色摄影、射电天文、无透镜成像和显微镜四个领域验证了信息估计与下游任务性能的相关性,并能优化系统参数达到与端到端方法相当的效果。
推荐理由:原文提出了基于信息内容的成像系统评估与优化框架,可直接应用于多种成像领域。