第361章 只能说它不优雅，但很有效（1/2）

请关闭浏览器的阅读/畅读/小说模式并且关闭广告屏蔽过滤功能，避免出现内容无法显示或者段落错乱。

“你在质量评估网络里用了ReLU激活函数，这一点刚才你解释过，因为训练数据量有限，浅层网络加ReLU足够。”

“但我想问的是另一个层面。你的网络输出是0到1之间的质量分数，损失函数用的是二元交叉熵。”

“二元交叉熵的前提是输出经过sigoid映射，而sigoid在接近0和1的区域梯度会急剧衰减。”

“你的数据里，大量局部密度图的质量分数集中在0.5到0.7这个区间，靠近决策边界。”

“在这个区间里，梯度衰减会导致网络收敛变慢，甚至卡在局部平坦区域。”

“你是怎么处理这个问题的？”

看着林晓陷入思考，斯通布雷克暗自好笑。

感觉自己是不是太过分了。

都一把年龄了，还在这欺负小孩子。

这个问题和第一个不一样。

第一个问题的衍生成果非常多，但涉及的底层逻辑都一样。

所以能直接引用几个月前发表的新方法。

但斯通布雷克现在问的是一个极其经典的原理。

二元交叉熵在饱和区的梯度问题。

这个问题在神经网络的基础教材里就有。

从Hton等人早期的工作开始，已经讨论了二十多年。

近现代几乎没有太多针对这个问题的原创性成果。

因为大家都默认这是一个已经被解决的问题。

标准做法是换成focal loss或者加一个温度参数来平滑梯度。

但林晓的模型里用的是标准二元交叉熵。

他没有换损失函数，也没有加温度参数。

这意味着他必须给出一个不同于常规方案的解释。

斯通布雷克有些老顽童在心里笑了笑。

这是十年前的经典。

这下你总没法再用第几期哪个部分来支撑自己的说法了吧？

实际上。

林晓此时也确实有些为难，心里忍不住开始腹诽。

我去，这老头是真有货啊！

眼睛这么毒的吗？

这会，林晓感觉自己底裤都快被扒出来了。

他知道focal loss，也知道温度缩放。

但这两个方案他都没有用。

他用的是一种更朴素的处理方式，在数据预处理阶段对质量分数做了重新标定。

把原本集中在0.5到0.7区间的分数分布拉伸到了更宽的范围内，让接近决策边界的样本不再那么密集。

但这个操作本质上只是把数据分布的形态改了，并没有从根上解决梯度衰减的问题。

如果斯通布雷克追问这个操作的数学依据。

那他只能承认，这是基于实验效果做的经验性调整，不是从梯度分析出发推导出来的方案。

但这也没办法。

实际上在应用机器学习领域，这种做法非常普遍。

很多已经在工业界和学术界被广泛使用的方法。

其核心参数并不是从第一性原理推导出来的，而是基于实验效果反复调整后确定的经验值。

比如droout的比例、数据增强的强度、正则化系数的量级......

这些参数的最优值往往依赖于具体任务和数据分布，没有通用的解析解。

研究者通常的做法是在验证集上做网格搜索或随机搜索，找到效果最好的配置。

本章未完，点击下一页继续阅读。