多模态动态融合模型Predictive Dynamic Fusion阅读与代码分析3-部分数学理论基础

部分数学理论基础1、凸函数性质​在区间[x,y]上的变量可以表示成xty(1-t)t越大越靠近x很好理解。那么这个图就很好理解这个不等式​x1就是图里的xy就是x2。这个理解不了可以直接用直线计算公式推。2、hoeffding不等式霍夫丁不等式适用于有界的随机变量。设有两两独立的一系列随机变量。假设对所有的都是几乎有界的变量即满足那么这n个随机变量的经验期望满足以下的不等式​具体推到统计学习--详解Hoeffding不等式 - 知乎至于这个公式怎么推导看了半天我也不会不是高手建议大家还是不要为难自己。3、泛化误差上界当我们训练一个模型时我们通常使用一个有限的训练数据集。模型在这个训练集上的表现例如分类错误率或回归的损失被称为训练误差或经验风险。但我们真正关心的是模型在面对从未见过的、新的数据来自同一个数据分布时的表现。通过理论上的概率方法对模型在已知数据上的误差进行放缩来表示模型在新数据上的期望误差被称为泛化误差或期望风险。有以下作用避免过拟合 训练误差可能很低但模型可能只是记住了训练数据过拟合导致在新数据上表现很差。泛化误差上界提醒我们模型过于复杂相对于数据量可能导致泛化能力下降。理论保证 提供了一种理论框架用于分析学习算法的性能并指导模型设计例如模型复杂度的选择。很多论文里面都会用它来说明模型在未知数据上的理论能力期望。样本复杂度 揭示了需要多少训练样本才能以较高的概率保证泛化误差较小。泛化误差计算公式​P(x,y)可以理解成取到并测试这个数据的概率就比如说有100个数据每个数据被取到的概率相等那么就是1%这样积分出来的结果很明显可以发现是在[0,1]之间实际上P一般不可知。我们期望泛化误差在未知数据上被经验误差限制在一个范围泛化误差上界下面不等式左边的Rf就是上面的Rexpf​在该论文环境下d可以看着不同模态的数量也就是f的数量N为测试样本数量。这个放缩的量就是这个。上式成立的概率为1-。计算上就是用的上面的霍夫丁不等式。推导1我们需要经验误差已知计算出的损失和泛化误差在未知数据上的损失的差尽量的小,这样也就可以确定模型在未知数据上的大致误差。下面只考虑f1分类器我们期望Rexp(f1)-Remp(f1)尽量的小。也就是Rexp(f)-Remp(f),尽量的接近0。根据霍夫丁不等式Rexp(f1)-Remp(f1)成立的概率即P(Rexp(f)-Remp(f))应当限制在多少呢。我们再看一眼不等式先不会爆炸的注意到把t看成R是限制在0-1之间的那么b-a就是1n个累加就是n和上面的n方约掉一个n再把n看作N得到对条件取反得到考虑多个ff1f2...fd各个分类器工作相互独立P(f1f2)P(f1)*P(f2)那么所有f同时满足条件的概率为右边这个有。不理解的话可以对X这个整体变量求偏导看单调性其中变量X在0-1之间d是正整数。可以得到其中得证。推导2参考泛化误差上界-CSDN博客3.4由于损失函数为 0-1 损失因此损失函数取值范围为 [0,1]。从而对任意f in F有根据 Hoeffding 不等式可得由于假设空间 F为有限集合因此有因此有令则即至少以概率有其中命题得证。