WEBKT

Python与多重插补：缺失值处理的终极指南

16 0 0 0

1. 什么是多重插补？

1.1 多重插补的基本步骤

1.2 多重插补的优势

2. 多重插补的原理

2.1 插补模型

2.2 合并规则

3. 使用 Python 进行多重插补：miceforest 库

3.1 安装 miceforest 库

3.2 案例：预测房价

3.2.1 导入必要的库

3.2.2 创建模拟数据集

3.2.3 使用 miceforest 进行多重插补

3.2.4 构建预测模型并评估

3.2.5 循环训练与结果合并（多重插补的完整流程）

4. miceforest 的高级用法

4.1 指定插补方法

4.2 调整迭代次数

4.3 探索插补结果

4.4 处理非单调缺失数据

5. 多重插补的注意事项

6. 总结

在数据分析和机器学习的世界里，缺失值就像是潜伏在数据海洋中的暗礁，随时可能导致我们的分析船只触礁。 缺失值是指数据集中某些变量没有可用数据的情况。 这些缺失的数据可能源于多种原因，比如数据收集错误、设备故障、用户拒绝提供信息等。 忽略缺失值或者简单地用均值、中位数进行填充，都可能导致信息丢失，进而影响模型的准确性和可靠性。 为了更好地处理缺失值，我们需要一种更高级、更可靠的方法，这就是多重插补（Multiple Imputation, MI）。

1. 什么是多重插补？

多重插补是一种通过创建多个完整数据集来处理缺失值的方法。 与单次插补（例如，使用均值或中位数填充）不同，多重插补考虑到数据中的不确定性。 它的核心思想是，不是用一个值来填充缺失值，而是生成多个可能的值来填充。 然后，我们对每个完整的数据集进行分析，最后将这些分析结果合并起来，得到最终的结论。 这就好像我们不是只预测了一次结果，而是预测了很多次，然后综合了所有的预测结果。

1.1 多重插补的基本步骤

多重插补通常包括以下三个主要步骤：

  1. 插补（Imputation）： 这是多重插补的核心。 对于每个缺失值，我们不是仅仅用一个值来填充，而是根据现有的数据，生成多个可能的值。 这些值通常是根据某种概率分布生成的，比如正态分布。 这一步会创建多个完整的数据集，每个数据集都有不同的插补值。
  2. 分析（Analysis）： 对每个完整的数据集进行分析。 这可以包括各种统计分析或机器学习模型，比如回归分析、分类、聚类等。 我们对每个数据集都运行相同的分析，得到一组结果。
  3. 合并（Pooling）： 将来自多个数据集的分析结果合并起来。 这通常涉及计算参数的平均值、标准误差，并进行统计推断。 合并的结果可以更准确地反映数据的真实情况，并考虑到了缺失值带来的不确定性。

1.2 多重插补的优势

相比于其他缺失值处理方法，多重插补具有以下优势：

  • 减少偏倚： 多重插补通过创建多个完整数据集，减少了由于单一插补方法可能引入的偏倚。
  • 估计不确定性： 多重插补考虑到了缺失值带来的不确定性，并可以在结果中反映出来。
  • 更准确的推断： 通过合并来自多个数据集的结果，多重插补可以提供更准确的统计推断。
  • 适用于多种数据类型： 多重插补可以用于处理各种类型的数据，包括数值型、类别型等。

2. 多重插补的原理

多重插补的原理基于贝叶斯统计和统计推断。 在插补阶段，我们使用现有的数据来估计缺失值的条件概率分布。 这个条件概率分布描述了在给定其他变量值的情况下，缺失值可能取值的概率。 我们从这个概率分布中抽取多个样本，作为缺失值的插补值。 这个过程可以被看作是对缺失值进行“猜测”，而这些猜测是基于数据中已有的信息的。

2.1 插补模型

插补模型是多重插补的关键。 我们可以使用各种模型来进行插补，包括：

  • 回归模型： 对于数值型变量，可以使用线性回归、逻辑回归等模型来预测缺失值。
  • 分类模型： 对于类别型变量，可以使用决策树、随机森林等模型来进行插补。
  • 马尔可夫链蒙特卡洛（MCMC）： 这是一种更通用的插补方法，可以用于处理各种类型的数据。

插补模型的选择取决于数据的类型和结构。 我们需要选择一个合适的模型，使得插补值尽可能地接近真实值。 重要的是，插补模型需要捕捉到数据中的关系，使得插补后的数据更接近原始数据的分布。

2.2 合并规则

在分析阶段，我们对每个完整的数据集进行分析，得到一组参数估计值和标准误差。 在合并阶段，我们需要将这些结果合并起来。 Rubin's rules（鲁宾法则）是最常用的合并规则，它提供了合并参数估计值和标准误差的方法。

Rubin's rules 假设我们有 M 个完整的数据集，每个数据集都有一个参数估计值 $\hat{Q}_m$ 和标准误差 $U_m$。 合并后的参数估计值 $\bar{Q}$ 和标准误差 $T$ 的计算公式如下：

$\bar{Q} = \frac{1}{M} \sum_{m=1}^{M} \hat{Q}_m$

$B = \frac{1}{M-1} \sum_{m=1}^{M} (\hat{Q}_m - \bar{Q})^2$

$\bar{U} = \frac{1}{M} \sum_{m=1}^{M} U_m$

$T = \bar{U} + (1 + \frac{1}{M})B$

其中，B 是参数估计值的方差，$\bar{U}$ 是标准误差的平均值，T 是合并后的总方差。 通过这些公式，我们可以得到合并后的参数估计值和标准误差，并进行统计推断。

3. 使用 Python 进行多重插补：miceforest 库

Python 提供了许多用于多重插补的库，例如 sklearn.impute 和 miceforest。 其中，miceforest 库是一个专门为多重插补设计的库，它提供了一种简单易用的方式来实现多重插补。 接下来，我们将通过一个具体的案例，来演示如何使用 miceforest 库进行多重插补。

3.1 安装 miceforest 库

首先，我们需要安装 miceforest 库。 你可以使用 pip 命令来安装：

pip install miceforest

3.2 案例：预测房价

我们将使用一个简化的房价预测案例来演示多重插补的过程。 假设我们有一个包含房屋特征和房价的数据集，其中有一些特征存在缺失值。 我们的目标是使用多重插补来填充这些缺失值，并建立一个预测房价的模型。

3.2.1 导入必要的库

首先，我们需要导入必要的 Python 库：

import pandas as pd
import numpy as np
import miceforest as mf
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestRegressor
from sklearn.metrics import mean_squared_error

3.2.2 创建模拟数据集

为了演示，我们创建一个模拟的数据集。 这个数据集包含一些房屋特征，以及一个目标变量（房价）。 我们故意在数据集中引入一些缺失值。

# 设置随机种子，保证结果可复现
np.random.seed(42)
 
# 创建模拟数据
n_samples = 1000
house_size = np.random.randint(50, 300, n_samples)
bedrooms = np.random.randint(1, 6, n_samples)
baths = np.random.randint(1, 4, n_samples)
location = np.random.choice(['A', 'B', 'C'], n_samples)
age = np.random.randint(0, 50, n_samples)
price = 100000 + 500 * house_size + 20000 * bedrooms + 10000 * baths - 1000 * age + np.random.normal(0, 50000, n_samples)
 
# 创建 DataFrame
data = pd.DataFrame({
    'house_size': house_size,
    'bedrooms': bedrooms,
    'baths': baths,
    'location': location,
    'age': age,
    'price': price
})
 
# 引入缺失值
for col in data.columns:
    if col != 'price':  # 排除目标变量
        missing_mask = np.random.rand(data.shape[0]) < 0.1  # 10% 的缺失率
        data.loc[missing_mask, col] = np.nan
 
# 将类别型变量转换为数值型（one-hot 编码）
data = pd.get_dummies(data, columns=['location'], prefix='location')
 
print(data.head())
print(data.isnull().sum())

在这个模拟数据集中，house_size、bedrooms、baths、age 是房屋的特征，location 是房屋的位置（类别型变量），price 是房价。 我们使用 np.random.rand 函数随机地在这些特征中引入缺失值，模拟真实世界的数据。 我们还将类别型变量 location 进行了 one-hot 编码，将其转换为数值型变量，方便后续的处理。

3.2.3 使用 miceforest 进行多重插补

现在，我们可以使用 miceforest 库进行多重插补。 核心步骤如下：

# 创建多重插补器
kernel = mf.MultipleImputer(data, 
                            datasets=5,  # 创建 5 个插补数据集
                            random_state=42)  # 设置随机种子，保证结果可复现
 
# 进行插补
kernel.mice(2)  # 进行 2 次迭代
 
# 获取插补后的数据集
imputed_data = kernel.complete_data()
 
print(imputed_data[0].head())
print(imputed_data[0].isnull().sum())

在这个代码片段中，我们首先创建了一个 MultipleImputer 对象。 datasets 参数指定了我们要创建多少个完整的数据集（即插补的次数），这里设置为 5。 random_state 参数用于设置随机种子，保证结果可复现。 然后，我们调用 kernel.mice(2) 进行插补。 mice() 函数是 miceforest 库的核心函数，它执行多重插补的迭代过程。 2 表示进行 2 次迭代，通常情况下，2-10 次迭代就足够了。 最后，我们使用 kernel.complete_data() 获取插补后的数据集。 complete_data() 返回一个列表，列表中包含多个 Pandas DataFrame，每个 DataFrame 都是一个完整的数据集。 我们打印了第一个完整数据集的前几行，并检查了是否有缺失值，确认插补已经完成。

3.2.4 构建预测模型并评估

现在，我们可以使用插补后的数据集来构建预测房价的模型。 我们将使用随机森林回归模型，这是一个常用的机器学习模型，可以处理数值型和类别型变量。 由于我们有多重插补后的数据集，我们需要对每个数据集都训练一个模型，然后评估模型的性能，并将结果合并起来。

# 划分训练集和测试集
train_data, test_data = train_test_split(imputed_data[0], test_size=0.2, random_state=42)
 
# 提取特征和目标变量
X_train = train_data.drop('price', axis=1)
y_train = train_data['price']
X_test = test_data.drop('price', axis=1)
y_test = test_data['price']
 
# 创建随机森林回归模型
model = RandomForestRegressor(n_estimators=100, random_state=42)
 
# 训练模型
model.fit(X_train, y_train)
 
# 预测
y_pred = model.predict(X_test)
 
# 评估模型
rmse = np.sqrt(mean_squared_error(y_test, y_pred))
print(f'RMSE: {rmse}')

在这段代码中，我们首先将插补后的第一个数据集分割为训练集和测试集。 然后，我们提取特征和目标变量，并使用随机森林回归模型进行训练。 最后，我们使用均方根误差（RMSE）来评估模型的性能。 由于我们只使用了一个插补后的数据集，这只是一个简单的例子。 在实际应用中，我们需要对所有插补后的数据集都进行模型的训练和评估，并将结果合并起来，得到更可靠的结论。

3.2.5 循环训练与结果合并（多重插补的完整流程）

为了充分利用多重插补的优势，我们需要对每个插补后的数据集都训练模型，并合并结果。 下面是完整的流程：

# 创建模型列表
models = []
 
# 循环训练模型
for i in range(kernel.n_datasets):
    # 划分训练集和测试集
    train_data, test_data = train_test_split(imputed_data[i], test_size=0.2, random_state=42)
 
    # 提取特征和目标变量
    X_train = train_data.drop('price', axis=1)
    y_train = train_data['price']
    X_test = test_data.drop('price', axis=1)
    y_test = test_data['price']
 
    # 创建随机森林回归模型
    model = RandomForestRegressor(n_estimators=100, random_state=42)
 
    # 训练模型
    model.fit(X_train, y_train)
 
    # 存储模型
    models.append(model)
 
# 预测并评估
rmse_values = []
for model, i in zip(models, range(kernel.n_datasets)):
    y_pred = model.predict(X_test)
    rmse = np.sqrt(mean_squared_error(y_test, y_pred))
    rmse_values.append(rmse)
    print(f'数据集 {i+1} 的 RMSE: {rmse}')
 
# 合并结果（这里简单地取 RMSE 的平均值）
mean_rmse = np.mean(rmse_values)
print(f'平均 RMSE: {mean_rmse}')

在这个代码中，我们循环遍历了所有插补后的数据集。 对于每个数据集，我们都训练了一个随机森林回归模型，并计算了 RMSE。 最后，我们简单地取 RMSE 的平均值作为最终的评估结果。 在实际应用中，我们可以使用更复杂的合并方法，例如 Rubin's rules，来合并模型参数和标准误差。

4. miceforest 的高级用法

miceforest 库提供了许多高级的用法，可以帮助我们更好地进行多重插补。 以下是一些常用的高级功能：

4.1 指定插补方法

miceforest 库可以自动选择合适的插补方法，但我们也可以手动指定。 例如，对于数值型变量，我们可以使用线性回归，对于类别型变量，我们可以使用逻辑回归或决策树。 通过指定插补方法，我们可以更好地控制插补过程，并提高插补的准确性。

# 创建多重插补器，并指定插补方法
kernel = mf.MultipleImputer(data, 
                            datasets=5, 
                            random_state=42,
                            variable_schema={
                                'house_size': 'linear_regression',
                                'bedrooms': 'linear_regression',
                                'baths': 'linear_regression',
                                'age': 'linear_regression',
                                'location_A': 'logistic_regression',
                                'location_B': 'logistic_regression',
                                'location_C': 'logistic_regression'
                            })
 
kernel.mice(2)

在这个例子中，我们使用 variable_schema 参数来指定每个变量的插补方法。 例如，我们指定 house_size、bedrooms、baths 和 age 使用线性回归进行插补， location 的每个 one-hot 编码的列使用逻辑回归进行插补。

4.2 调整迭代次数

miceforest 库使用迭代过程来更新插补值。 我们可以通过调整迭代次数来控制插补的精度。 通常情况下，2-10 次迭代就足够了。 如果数据比较复杂，或者缺失值的比例比较高，我们可以增加迭代次数来提高插补的准确性。

# 进行 10 次迭代
kernel.mice(10)

4.3 探索插补结果

miceforest 库提供了 plot_imputed_distributions() 函数，可以用来可视化插补值的分布，并帮助我们评估插补的质量。

# 可视化插补值的分布
kernel.plot_imputed_distributions(original_data=data, variables=['house_size', 'bedrooms', 'age'])

这个函数会生成插补值与原始值的分布图，方便我们比较插补前后的数据分布，并评估插补效果。

4.4 处理非单调缺失数据

在某些情况下，数据的缺失模式可能不是单调的。 例如，一个变量的缺失值可能取决于另一个变量的值。 miceforest 库可以处理非单调缺失数据，但需要使用更复杂的设置。 具体的处理方法可以参考 miceforest 库的官方文档。

5. 多重插补的注意事项

在使用多重插补时，我们需要注意以下几点：

  • 选择合适的插补模型： 插补模型的选择对插补的准确性至关重要。 我们需要根据数据的类型和结构，选择合适的插补模型。
  • 选择合适的插补次数： 插补次数越多，计算量越大，但插补的准确性也会提高。 我们需要根据实际情况，选择合适的插补次数。
  • 评估插补结果： 我们需要评估插补结果的质量，并确保插补后的数据与原始数据的分布相似。 可以使用可视化工具，例如 miceforest 库提供的函数，来评估插补结果。
  • 合并结果： 在合并来自多个数据集的结果时，我们需要使用合适的合并规则，例如 Rubin's rules，来得到准确的统计推断。
  • 考虑计算成本： 多重插补的计算成本通常高于单次插补。 在处理大型数据集时，我们需要考虑计算成本，并选择合适的插补方法和参数。
  • 理解缺失数据的机制： 了解数据缺失的机制有助于选择合适的插补方法。 比如，如果缺失值是随机缺失的（missing completely at random, MCAR），那么简单地插补均值可能就足够了；如果缺失值依赖于其他变量（missing at random, MAR），那么多重插补可能更合适；如果缺失值依赖于自身（missing not at random, MNAR），那么插补将会更加复杂，甚至需要专门的模型。

6. 总结

多重插补是一种强大的处理缺失值的方法，它可以减少偏倚，估计不确定性，并提供更准确的统计推断。 Python 提供了许多用于多重插补的库，例如 miceforest，可以帮助我们轻松地实现多重插补。 在使用多重插补时，我们需要选择合适的插补模型，评估插补结果，并合并来自多个数据集的结果。 通过掌握多重插补的原理和实践，我们可以更好地处理缺失值，提高数据分析和机器学习模型的准确性和可靠性。

希望这篇指南能够帮助你理解多重插补的原理和应用，并在实际工作中有效地处理缺失值！ 多重插补是一个复杂但非常有用的技术，值得我们深入学习和实践。 记住，处理缺失值是一个迭代的过程，需要不断地尝试和优化。

数据侠 多重插补缺失值处理Pythonmiceforest数据分析

评论点评

打赏赞助
sponsor

感谢您的支持让我们更好的前行

分享

QRcode

https://www.webkt.com/article/8782