深度学习学习总结

深度神经网络（DNN）中的梯度消失主要发生在深层网络中，由于多层前向传播导致的梯度衰减。解决方法通常包括使用ReLU激活函数、初始化策略、批量归一化等。激活函数的本质?激活函数用于引入非线性，使模型能够学习复杂模式。常见的激活函数包括Sigmoid、Tanh、ReLU、Leaky ReLU等，它们各有优缺点，如ReLU计算简单...

在深度学习的世界里，计算能力的衡量标准通常通过几个关键指标，其中最重要的就是FLOPS（每秒浮点运算次数）。这个指标反映了电脑或处理器的运算速度，对于评估硬件性能至关重要。FLOPS可用于计算量的衡量，它代表了算法或模型所需的处理能力，越高的FLOPS意味着处理复杂任务的能力越强。另一个相关概念是TOPS...

在深度学习的探索中，优化算法扮演着关键角色。其中，梯度下降算法是最基础的，但工程实践中，我们更多地关注BGD（批量梯度下降）、SGD（随机梯度下降）和MBGD（小批量梯度下降）这三种变形。它们的区别在于数据量对梯度计算的影响，平衡了精度与效率。BGD使用全部数据，保证了准确性但计算耗时，SGD每次只用一...

从表达式可以看出，对出现比较多的类别数据，Adagrad给予越来越小的学习率，而对于比较少的类别数据，会给予较大的学习率。因此Adagrad适用于数据稀疏或者分布不平衡的数据集。Adagrad 的主要优势在于不需要人为的调节学习率，它可以自动调节；缺点在于，随着迭代次数增多，学习率会越来越小，最终会趋近于0。2...

深度学习中BN（Batch Normalization）、LN（Layer Normalization）、IN（Instance Normalization）和GN（Group Normalization）是为解决深度网络内部协方差偏移问题和提升模型训练稳定性而提出的归一化方法。以下是它们的简要总结：深度网络训练时，由于内部数据分布随训练变化（Internal Covariate Shift），这影响了...

深度学习的核心优化问题在于最小化目标函数，通过梯度计算调整参数，其中梯度和学习率是关键要素。优化器的选择影响着模型的训练效率和性能。深度学习优化器大致可分为两类：SGD系列和自适应学习率系列。SGD系列SGD（随机梯度下降）：以当前梯度为指导，每一步都向着梯度的反方向更新。SGDM（带动量）引入了...

青春营学习大总结 此生最开心最难忘的一周发生在2021年10月23-29日，我与先生一起参加了同蔚学堂举办的【青春期家长深度学习营】，与来自全国各地的家长共聚一堂学习成长，这是一个体验加拷问灵魂的学习，很久没有笑得这个开心了，像个小孩一样，个个露出甜美如婴儿般的笑脸，都成了老小孩了，回来后...

6.及时做好总结，不断调整实施方案，以达到最优化。      在这样的项目学习共同体中，每名学生都能找到适合自己的角色，并能与其他同学进行有效合作，那些在学科学习中找不到感觉的“边缘生”也找回了自我，信心得以增强，能力得以提升。...

总结深度学习任务评价指标的选择需考虑任务特性。在分类任务中，精度与混淆矩阵是基本指标；目标检测引入IOU与AP评估预测与真实对象的匹配程度；语义分割注重像素级别的准确性和整体分割质量，通过像素准确率、交并比等指标衡量；实例分割任务在语义分割基础上更关注单个实例的精确度。不同任务间指标评估方法虽有...

深度学习优化器综述 在深度学习中，参数学习的关键是通过梯度下降方法寻找一组能最小化代价函数的参数。代价函数通常结合了训练集性能和正则化项。以下是几种常见的优化算法：1. **梯度下降**：批量梯度下降使用整个训练集，随机梯度下降每次仅用单个样本，小批量随机梯度下降则在这两者之间，使用部分样本...