回归分析中的分类特征数据和序数特征数据差异？

在进行回归分析时，我试图完全理解分类数据和序数数据之间的差异。目前，已经明确的是：

分类特征和数据示例：
颜色: 红,白,黑
为什么分类：red < white < black逻辑上是不正确

序数特征和数据示例：
状况： 旧的、翻新的、新的
为什么序数：old < renovated < new逻辑上是correct

类别到数字和序数到数字的编码方法：
分类数据的 One-Hot 编码
序数数据的任意数字

分类示例：

data = {'color': ['blue', 'green', 'green', 'red']}

One-Hot编码后的数字格式：

   color_blue  color_green  color_red
0           1            0          0
1           0            1          0
2           0            1          0
3           0            0          1

序数示例：

data = {'con': ['old', 'new', 'new', 'renovated']}

使用映射后的数字格式：旧

0    0
1    2
2    2
3    1

根据我的数据，随着条件从“旧”变为“新”，价格会上涨。数字中的“旧”被编码为“0”。数字中的“新”被编码为“2”。因此，随着状况的改善，价格也会上涨。正确的。
现在让我们看看“颜色”功能。就我而言，不同的颜色也会影响价格。例如，“黑色”会比“白色”更贵。但从上面提到的分类数据的数字表示来看，我没有看到像“条件”功能那样日益增加的依赖性。这是否意味着如果使用 one-hot 编码，颜色的变化不会影响回归模型中的价格？如果无论如何都不影响价格，为什么要使用 one-hot 编码进行回归呢？你能澄清一下吗？

UPDATE TO QUESTION:
First I introduce formula for linear regression:
Let have a look at data representations for color: Let's predict price for 1-st and 2-nd item using formula for both data representations:
One-hot encoding: In this case different thetas for different colors will exist and prediction will be:

Price (1 item) = 0 + 20*1 + 50*0 + 100*0 = 20$  (thetas are assumed for example)
Price (2 item) = 0 + 20*0 + 50*1 + 100*0 = 50$  (thetas are assumed for example)

颜色的序数编码：在这种情况下，所有颜色都有共同的 theta，但乘数不同：

Price (1 item) = 0 + 20*10 = 200$  (theta assumed for example)
Price (2 item) = 0 + 20*20 = 400$  (theta assumed for example)

在我的模型中，价格为白色

您会发现依赖性并没有增加。这种歧视的全部意义在于，颜色是not正如您已经指出的，您可以将其有意义地放置在连续体上的功能。

one-hot编码使得软件分析这一维度非常方便。您拥有一组布尔（存在/不存在）特征，而不是具有列出的值的特征“颜色”。例如，上面的第 0 行具有 color_blue = true、color_green = false 和 color_red = false 的特征。

您获得的预测数据应将其中每一个显示为单独的维度。例如，color_blue 的存在可能价值 200 美元，而绿色的价值为 -100 美元。

摘要：不要寻找穿过（不存在的）颜色轴的线性回归线；相反，寻找 color_* 因素，每种颜色都有一个因素。就您的分析算法而言，这些是完全独立的功能； “one-hot”编码（数字电路设计中的一个术语）仅仅是our处理这个问题的公约。

这对你的理解有帮助吗？

在 2015 年 12 月 4 日 02:03 Z 编辑问题后：

不，您的假设不正确：这两种表示不仅仅是为了方便。颜色排序适用于此示例 - 因为效果恰好是所选编码的简洁线性函数。正如您的示例所示，您的更简单的编码假设白到红到黑的定价是线性进展的。当绿色、蓝色和棕色的价格都是 25 美元，稀有的黄色价值 500 美元，而透明的价格降低了 1,000 美元时，你会怎么做？

另外，您如何提前知道黑色比白色更有价值，反过来又比红色更有价值？

考虑以小学学区为基础的房价情况，该地区有 50 个学区。如果您使用数字编码（学区号、字母顺序或其他任意顺序），回归软件将很难找到该数字与房价之间的相关性。 PS 107 是比 PS 32 或 PS 15 更贵的地区吗？阿丁顿和明地迷亚是否优于联合城和文图拉？

根据 one-hot 原则将这些特征拆分为 50 个不同的特征，将特征与编码解耦，并允许分析软件以一种数学上有意义的方式处理它们。无论如何，它并不完美——从 20 个特征扩展到 70 个意味着需要更长的时间才能收敛——但我们do为学区取得有意义的成果。

如果你愿意的话，你could现在按预期的值顺序对该特征进行编码，并获得合理的拟合，而准确性损失很小，并且模型的预测速度更快（变量更少）。