虽然在这些情况下仍然可以使用回归分析（通过拟合一些曲线并将因变量的值范围分配给固定标签），但也可以使用所谓的分类技术。 分类方法的一个好处是，这些技术可以找到可能无法通过分析处理的关系，即难以使用参数化的分析函数类来描述的关系。
一种流行的分类方法涉及根据 巴哈马电话号码数据 训练数据构建决策树，在信息论意义上，该决策树在每个分支阶段都寻求最大化所获得的信息增益。
举一个非常简单的例子，假设训练数据集由提供某人姓名、是否高中毕业以及目前是否在职的数据点组成。我们的训练数据集可能看起来像（约翰，是，是），（简，是，是），（约翰，否，否）。如果我们想构建一个决策树来帮助确定新人是否有可能根据其姓名和高中毕业状况就业，我们应该选择首先根据毕业状况进行划分，因为这样做会将样本空间分成两个在因变量方面最不同的组：一个组有 是，另一个组有 否。如果我们首先根据姓名进行分支，我们将得到一个组有 是和 否，另一个组有 是 这些组不太明显。