mlr3基础知识–超参数优化
发布网友
共1个回答
热心网友
机器学习算法的精髓在于参数和超参数的选择。参数是算法自动学习的模型组件，如权重，而超参数则是由用户设置的，影响模型构建方式的关键配置，如随机森林中的树数量、SVM的惩罚系数或神经网络的学习率。
超参数优化（HPO）的目标在于为特定任务找到最佳的超参数配置，这通常通过尝试不同的配置，通过重采样评估性能来实现。优化过程可能设定超参数的范围（例如，学习器的to_tune()函数），并借助终止器（如run_time或evals次数）来决定何时停止。ti()函数用于构建优化实例，tuner()则定义搜索策略。
在mlr3中，调优过程涉及使用tune()或auto_tuner()函数，后者封装了所有调优信息，使其易于处理。为了减少性能估计的偏差，嵌套重采样是关键，它在外部数据上进行超参数调整，然后在内部数据上评估模型性能。
mlr3tuningspaces提供了预定义的搜索空间，包括对数值、类别和依赖关系的参数，以及向量变换，为用户提供了便利。对于图学习器，超参数调优更加直观，原算法的超参数名会自动加上前缀，同时支持对管道参数的调整。
深入理解并有效利用这些工具，能显著提升机器学习模型的性能。更多详细信息可参考R机器学习的mlr3verse技术手册和《使用mlr3进行应用机器学习》。
