把部分规律交给数据学习

设想小店记录每天的天气、是否周末和售出数量,模型可以从历史样本中学习输入与销量之间的关系,再对新一天给出估计。这是假设情境,不意味着这些变量已经足以可靠预测现实销量。

与直接手写“周末多做二十个”的规则相比,机器学习让算法从样本调整模型。但输入选什么、误差如何衡量、漏掉的情况怎么办,仍然需要人的设计与检查。

一眼看懂 / 示意图

训练材料,与检查能力的材料分开

训练材料,与检查能力的材料分开已标记的旧邮件用来学习广告与正常邮件的规律训练得到模型可能学到有效线索,也可能学偏没有用来训练的新邮件检查是否能在新材料上正确判断
  1. 01训练

    从样本中调整模型

  2. 02测试

    检查未见材料上的表现

监督学习的简化例子;机器学习并非只有这一种训练方式。

学会分邮件,不等于背下旧邮件

假设你准备了许多邮件,并标出哪些是广告、哪些是正常往来。训练过程尝试从字词、表达方式等线索里找规律,再用这些规律判断新邮件。这比要求人逐条写出“出现这个词就拦截”的全部规则更灵活,但仍可能判断错。

若训练材料里的广告恰好都写着“您好”,模型可能抓住这个无关线索,把正常问候也当广告。检验时需要拿没有用于训练的邮件,观察它能否分清,而不是只看它对做过的练习答得多好。这就是为什么数据多不等于自动可靠:样本的代表性、标记是否正确、测试方式和以后环境的变化,都会影响学到的规律有没有用。

学到规律,怎样用在新情况

例如给模型看许多带有类别的图片,训练后再让它判断新图片里是什么;或者根据以往销量和条件,估计下一天可能的需求。样本提供学习线索,新任务检验学到的规律是否有用。

模型也可以用于生成文字等内容,不能只把机器学习理解成给图片分类。不同方法的输出、训练方式和评价尺度不同,不能靠一个统一分数判断所有任务的效果。

历史表现好,还要能面对新情况

如果历史样本只覆盖晴天,模型未必知道暴雨时需求怎样变化。数据有偏差、标签不准或任务本身变化,都可能让模型学习到不适用于未来的关联。

因此需要拿训练时没看过的数据检查效果,看看错误集中在哪些情况,再决定怎样使用。机器学习能提供工具,但不会自动证明因果关系,也不能因为输出很精确就省略业务判断。