视频问答（Video QA）需要模型同时理解画面中的物体、场景以及这些元素随时间发生的变化。很多早期方案把视频均匀采样成若干帧，再用预训练的2D卷积网络逐帧提取特征，最后通过简单的池化或循环网络聚合。这种方式在处理静态内容时问题不大，一旦动作持续时间较长或者问题涉及前后因果，模型就很容易答错。比如一段视频中人物先打开水龙头再拿起杯子，问题问的是拿杯子之前做了什么，单纯依赖帧级全局特征很难把动作顺序精确对齐到问题表述上。
要改善时空推理能力，最直接的想法是让特征本身带有时间和空间两个维度的信息。3D卷积和Transformer是近些年解决这一问题的两条主流路线。3D卷积沿时间轴扩展卷积核，天然适合提取局部运动片段；Transformer则把帧或空间块视为序列，利用注意力机制建立任意两帧之间的联系。本文会分别说明两者的作用原理，并给出一种将它们组合起来提升视频QA表现的具体做法。
3D卷积如何捕获局部运动特征
2D卷积的卷积核只在图像的高和宽两个方向上滑动，输出特征图不包含时间信息。3D卷积增加了深度维度，卷积核形状可以是d×k×k，其中d表示时间跨度。例如一个3×3×3的卷积核会在连续3帧的空间3×3区域上同时做加权求和。这种设计使得输出的每个位置都由多个相邻帧共同决定，因此能描述物体在短时间内的位移、形变或遮挡关系。
以C3D模型为例，它使用连续的3D卷积和3D池化层堆叠成网络，输入从几帧到十几帧不等的视频片段。训练时通过一个视频分类任务让网络学会区分不同动作，训练完成后中间层的特征经常被用在视频QA中作为视觉表示。C3D的优点是实现简单，计算量相比逐帧2D卷积略高但可以接受。缺点也很明显：一个小的时间卷积核只能看到很局部的时间窗口，如果两个相关联的事件间隔超过卷积核覆盖范围，3D卷积就无法直接建立联系。例如一段长达30秒的视频里，开头出现一把钥匙，结尾有人用它开门，3D卷积核难以跨越这么大的时间间隔把钥匙和开门动作关联起来。
改进方案包括I3D，它在2D网络的预训练权重基础上做膨胀，把2D卷积核复制多份并沿时间轴堆叠，这样既能利用ImageNet上已经学到的空间特征，又能获得时间建模能力。SlowFast网络则把帧率拆成高低两个分支，低帧率分支捕捉外观，高帧率分支捕捉快速运动，两条支路分别使用3D卷积。对于视频QA，这些模型可以提供更丰富的局部时空特征，但它们仍然无法解决长距离时序依赖的问题，这正是Transformer可以发挥作用的地方。
Transformer在视频时序建模中的优势
Transformer最初用于自然语言处理，核心是多头自注意力机制。给定一个输入序列，自注意力会为序列中任意两个位置计算相关性权重，然后用加权和更新每个位置的表示。在视频领域，可以把一张张帧特征当作序列元素输入Transformer，也可以把每一帧划分成空间块，再把所有块拼接成更长的序列。不管哪种方式，Transformer都能直接让第一帧和最后一帧发生交互，不会因为时间距离远而丢失梯度信息。
视频QA中一个典型场景是理解事件发生的先后顺序。问题可能问视频最后发生了什么，或者问某个动作之前的状态。使用Transformer时，模型可以在回答阶段关注与问题最相关的那些帧，即使这些帧在视频中的位置相隔很远。例如视频里第5秒出现的一把雨伞，第45秒有人撑开它，问题问雨伞是什么时候出现的，Transformer能够根据问题中的雨伞一词，分别关注第5秒和第45秒的特征，从而推断出正确时间。这与3D卷积只能覆盖短时间窗口的局限性形成对比。
不过直接把原始视频帧输入Transformer会带来两个问题。首先是计算量，视频通常包含大量帧，每一帧又包含大量像素，序列长度过大会导致注意力计算的显存消耗呈平方级增长。其次是没有显式的空间归纳偏置，仅靠自注意力可能一开始难以区分物体的空间位置关系。因此实际应用中常常先用3D卷积或2D卷积提取紧凑的空间特征，再把特征序列交给Transformer进行长程建模。
3D卷积与Transformer融合的实用方案
一种简单有效的融合方式是先用一个轻量3D卷积网络对视频进行下采样，得到包含局部时空信息的特征序列。比如输入视频被切分为若干个小片段，每个片段用3D卷积得到一段特征向量，所有片段特征按时间顺序排列成序列。随后在这个序列上叠加若干层Transformer编码器，让模型学习片段之间的全局依赖。最后在特殊分类标记或平均池化后的表示上接一个回答模块，根据问题类型输出答案。
下面是一个使用PyTorch构建融合模块的简化代码示例，其中C3D部分只做局部特征提取，Transformer部分负责跨时间交互。
import torch
import torch.nn as nn
class Local3DFeatureExtractor(nn.Module):
def __init__(self, in_channels=3, out_channels=256):
super().__init__()
# 简单3D卷积：时间核大小3，空间核大小3，步长时间2
self.conv3d = nn.Conv3d(in_channels, out_channels,
kernel_size=(3, 3, 3),
stride=(2, 2, 2),
padding=(1, 1, 1))
self.pool = nn.MaxPool3d(kernel_size=(2, 2, 2))
def forward(self, x):
# x形状: (batch, channel, depth, height, width)
x = self.conv3d(x)
x = self.pool(x)
# 将深度维与空间维合并成序列长度
b, c, d, h, w = x.shape
x = x.permute(0, 2, 3, 4, 1).reshape(b, d * h * w, c)
return x
class VideoQATransformer(nn.Module):
def __init__(self, feat_dim=256, num_heads=8, num_layers=2):
super().__init__()
encoder_layer = nn.TransformerEncoderLayer(
d_model=feat_dim, nhead=num_heads, batch_first=True
)
self.encoder = nn.TransformerEncoder(encoder_layer, num_layers=num_layers)
self.classifier = nn.Linear(feat_dim, 10) # 假设10个答案类别
def forward(self, x):
# x为Local3DFeatureExtractor的输出
encoded = self.encoder(x)
pooled = encoded.mean(dim=1)
logits = self.classifier(pooled)
return logits
上述代码中，Local3DFeatureExtractor把一个视频片段压缩成一组时空特征向量，每个向量对应局部区域和时间位置。VideoQATransformer接收这些向量后，通过两层Transformer编码器让它们互相交流。训练时视频QA通常使用交叉熵损失，问题文本可以用一个文本编码器单独处理，再把问题特征与视频特征做融合，例如通过点积注意力或拼接后送入分类器。融合点可以在Transformer编码器之前或之后，实践中在编码器之前加入问题特征往往能更好地引导注意力。
融合方案的关键超参数是3D卷积的时间步长和Transformer的层数。时间步长过大容易丢失精细动作，过小则序列长度过长导致显存压力。一个常见的折中做法是让3D卷积把帧率降低到原来的一半或四分之一，再控制Transformer的隐藏维度在256到512之间。训练时可以先用预训练的3D网络初始化局部特征提取器，再用小学习率微调整体模型，这样能加快收敛并提高最终准确率。
除了这种串联方式，也可以采用并联结构，让3D卷积分支和Transformer分支分别提取特征后再合并。并联的优势是两个分支可以保留不同时间尺度的信息，但参数量和计算成本会更高。对于大多数视频QA数据集，串联结构的性价比更好，因为3D卷积已经提供了足够的局部描述，Transformer只需要弥补长程依赖。
评估融合方法的效果时，可以分别在需要短时动作识别和需要全局因果推理的问题子集上做对比。通常会发现，在动作起始与结束间隔较短的问题上，3D卷积单独使用就能取得不错成绩；但一旦问题涉及跨多个片段的事件关系，加入Transformer会带来明显提升。这也说明视频QA的时空推理并不是单一能力，而是需要局部时序敏感度和全局关联建模共同配合。
为了进一步减少计算量，还可以对Transformer的输入序列做稀疏采样。例如每4帧取1帧送入3D卷积，或者使用可学习的帧选择器。这样在不牺牲太多精度的前提下，能把训练和推理速度提高数倍。总之，3D卷积负责夯实空间和短时运动基础，Transformer负责打通时间轴上的信息壁垒，两者结合是解决视频QA时空推理弱的有效工程路径。
视频问答3D卷积Transformer修改时间：2026-09-19 17:38:54