健翔园IT信息网

深度学习中的正则化技术(附Python代码

　　数据科学家面临的常见问题之一是如何避免过拟合。你是否碰到过这样一种情况:你的模型在训练集上表现异常好，却无法预测测试数据。或者在一个竞赛中你排在public leaderboard的顶端，但是在最终排名中却落后了几百名?那么这篇文章就是为你而准备的!

　　(注: 在kaggle这样的数据竞赛中， public leaderboard排名是根据一部分测试集来计算的，用于给选手提供及时的反馈和动态展示比赛的进行情况;而private leaderboard是根据测试集的剩余部分计算而来，用于计算选手的最终得分和排名。 通常我们可以把public LB理解为在验证集上的得分，private LB正未知数据集上的得分，这样做的目的是提醒参赛者，我们建模的目标是获取一个泛化能力好的模型)

　　Patience表示在该数量的epochs内没有进一步的性能改进后，就停止训练。为了更好地理解，我们再看看的图。在虚线之后，每个epoch都会导致一个更高的验证集错误。因此，在虚线个epoch(因为我们设置patience等于5)，由于没有进一步的改善，模型将停止训练。

　　简介:和中华，留德软件工程硕士。由于对机器学习感兴趣，硕士论文选择了利用遗传算法思想改进传统kmeans。目前在杭州进行大数据相关实践。加入数据派THU希望为IT同行们尽自己一份绵薄之力，也希望结交许多志趣相投的小伙伴。