2024年将是AI视频之年@英伟达高级科学家 Jim Fan
2023年，我们看到了扩散模型推理速度方面的一些重大理论改进，例如Song等人的原始一致性模型论文，以及最近的LCM。（另外，对抗扩散蒸馏。）我们已经开始看到使用这些想法的项目，例如Dan Wood的Art Spew(每秒77512×512图像，在单个4090上)、Modal的Turbo.art(基于SDXL Turbo) 和fal.ai的30fps脸部交换。
可以确定的是，AI确实让某些东西变得不一样了。
1. 🚀 **挑战与解决方案**:面对现有研究在理想条件下渲染3D人物的局限性，Wild2Avatar专注于解决真实场景中摄像头视野被遮挡导致部分遮挡的问题。
在实验中，VCoder与开源的多模态LLMs（如MiniGPT-4、InstructBLIP、LLaVA-1.5和CogVLM）进行了比较，并在COST验证集上进行了测试。实验结果表明，VCoder在对象识别任务中表现最佳，特别是在对象计数和识别方面优于基线模型。在处理复杂场景中的对象计数和识别任务时，VCoder展现出更高的准确性，尤其是在场景中有许多实体时。