特征工程杂谈(七)--categorical和numerical角度
发布网友
发布时间：2024-09-28 04:16
共1个回答
热心网友
时间：2024-10-20 00:49
categorical特征因其代表的类别性，便于与实际物理含义对应，特别是在构建交叉特征时，它们可以直观地反映不同类别间的交互关系，为模型提供更多非线性信息。而numerical特征，通过分桶转换为categorical形式，可以将连续值归类，但这种处理方式*了特征的表达能力。
然而，categorical与numerical特征之间的关系远不止于此。categorical特征可以通过多种方式转换为数值形式，以便于模型的预测和学习。在逻辑回归（LR）模型中，categorical特征通过与权重相联系，实现了从类别到数值的转化。在神经网络（NN）中，使用嵌入表（embedding table）将categorical特征转换为实数向量，从而实现了从分类到数值的映射。这些转化方式旨在保留特征的类别信息的同时，提供模型所需的形式。
直接使用numerical特征作为模型输入存在一定的挑战，尤其是当特征值过多时，模型的泛化能力可能受到影响。然而，通过分桶或聚类将numerical特征转化为categorical形式，可以减少特征空间的维度，提高模型的泛化能力。在神经网络中，尽管将numerical特征转换为categorical形式后通过嵌入表处理，可以保留特征之间的关系，但这可能会导致模型学习过程变慢，需要大量数据支持。
统计特征，作为常见的数值型特征，可以直接作为神经网络的输入，无需进行分桶处理。这种直接使用统计特征的方式，简化了特征处理过程，加快了模型的训练速度，并有助于提高模型的预测精度。例如，用户侧和广告侧的统计特征可以直接用于神经网络的输入，模型可以更高效地拟合函数，提供合理的预测值。
在处理复合特征时，通常需要将categorical特征稠密化，以便与其他特征进行有效的融合。联合特征的生成可以采用笛卡尔积、向量化交叉或FM中两两特征交叉的方式。NN模型中，categorical特征通过dense化输入MLP，而其他dense特征直接输入MLP，以充分利用各种维度的信息。对于复合特征，如匹配特征，可以将其视为categorical特征之间的相关性，通过向量化和计算匹配程度来引入模型中，以提高预测准确性。
特征处理的后阶段，如聚类、特征抽取或特征交互，可以进一步提升模型性能。这些处理方式旨在提炼特征的深层信息，增强模型的表达能力。在模型训练阶段，合理地选择特征处理方法，结合在线学习策略，可以有效地提升模型的预测效果和泛化能力。
最后，关于特征处理的引申问题，包括是否存在无矛盾样本时模型预测值能否*近标签值、是否需要广告维度的统计信息、dense特征是否需要归一化以及在线学习中dense特征的使用策略等。这些问题的答案依赖于具体场景和数据特性，需要综合考虑模型的目标、数据质量和资源*等因素来做出决策。
