微软和 nvidia 合作实现 ai 视频培训突破-凯发k8国际真人

aba52a02b72047c

microsoft 和 是凯发k8国际真人的合作伙伴,在云、游戏和集成方面开展多个项目。在两家公司之间的最新工作中,微软和英伟达展示了能够提高视频序列 ai 训练速度的研究。

在一篇题为“用于视频表示学习的参数高效多模态转换器”的论文中,研究人员讨论了他们如何将多模态转换器的大小减少 97%,以改进 30 秒视频剪辑的 ai 训练(以 480 帧采样,每秒 16 帧)。这是对现有模型的重大改进,可以处理 10 秒或更短的视频序列。

微软和英伟达指出,学习和理解视频是人工智能面临的最大挑战之一。让 ai 高效学习多模态表示是理解视频(例如动作、对象和音频)的基础。最近的多模态转换器已经变得擅长理解视频序列的各个方面,例如视觉和语言,或图像识别。

尽管如此,训练多模态转换器 ai 仍然是一个挑战,因为它需要大量内存。微软在一篇博文中表示,许多现有的 transformer 只是利用现有的预训练模型来训练自己。

减少模型负载

微软和英伟达进行了重大改进,使模型能够更有效地训练新的视频序列。该模型有五个组成部分:音频和视觉卷积神经网络 (cnn)、音频和视觉转换器以及多模态转换器。

cnn 在 1 秒视频序列上同时包含视觉信号和音频信号,变压器对来自 30 秒输入序列的视觉、音频和视听信号进行编码。微软承认,在 gpu 上训练该模型仍然是内存密集型的,因为它包含 1.55 亿个权重参数,而三个转换器总共消耗了总参数的 1.28 亿(82.6%)。

微软和英伟达没有接受小批量和更长的训练周期,而是决定拆分权重参数以减少模型大小。两家公司的研究人员都使用了两种方法来实现这一目标:

  • “第一种策略在每个转换器内的层之间共享权重,将转换器视为展开的循环网络。如图 2(b) 所示,这将参数减少了 83%(从 1.28 亿减少到 2200 万)。
  • 第二种策略涉及使用低秩分解的部分权重共享,我们将变压器的每个权重矩阵分解为 w=uσv 的形式,并在变压器之间共享 u,同时保持 σv 对每个变压器私有。”

总的来说,研究团队能够将变压器的参数使用量从 1.28 亿个减少到仅 400 万个。

未经允许不得转载:凯发k8国际真人 » 微软和 nvidia 合作实现 ai 视频培训突破

分享到
网站地图