所以，故事是这样的——我最近完成了庄教授的一项学校作业，其中涉及一种非常酷的算法，称为增量关联马尔可夫毯子（iamb）。现在，我没有数据科学或统计学的背景，所以这对我来说是新领域，但我喜欢学习新东西。目标？使用iamb选择数据集中的特征并查看它如何影响机器学习模型的性能。
我们将回顾 iamb 算法的基础知识，并将其应用于 jason brownlee 数据集中的 pima indians diabetes dataset。该数据集跟踪女性的健康数据，包括她们是否患有糖尿病。我们将使用iamb来找出哪些特征（例如bmi或血糖水平）对于预测糖尿病最重要。
什么是iamb算法，为什么使用它？
iamb 算法就像一个朋友，可以帮助您清理谜团中的嫌疑人列表 – 它是一种特征选择方法，旨在仅挑选出对预测目标真正重要的变量。在本例中，目标是某人是否患有糖尿病。
- 正向阶段：添加与目标强相关的变量。
- 向后阶段：删除那些没有真正帮助的变量，确保只留下最关键的变量。
简单来说，iamb 通过仅选择最相关的特征来帮助我们避免数据集中的混乱。当您想让事情变得简单、提高模型性能并加快训练时间时，这尤其方便。
来源： 大规模马尔可夫毯子发现算法
这是什么阿尔法事物，为什么它很重要？
这就是 alpha 的用武之地。在统计学中，alpha (α) 是我们设置的阈值，用于决定什么算作“具有统计显着性”。作为教授指示的一部分，我使用了 0.05 的 alpha，这意味着我只想保留与目标变量随机关联的概率小于 5% 的特征。因此，如果某个特征的 p 值 小于 0.05，则意味着与我们的目标存在很强的、具有统计显着性的关联。
通过使用这个 alpha 阈值，我们只关注最有意义的变量，忽略任何未通过我们“显着性”测试的变量。它就像一个过滤器，保留最相关的特征并剔除噪音。
动手实践：在皮马印第安人糖尿病数据集上使用iamb
设置如下：皮马印第安人糖尿病数据集具有健康特征（血压、年龄、胰岛素水平等）和我们的目标，结果（是否有人患有糖尿病）。
首先，我们加载数据并检查：
import pandas as pd # load and preview the dataset url = 'https://raw.githubusercontent.com/jbrownlee/datasets/master/pima-indians-diabetes.data.csv' column_names = ['pregnancies', 'glucose', 'bloodpressure', 'skinthickness', 'insulin', 'bmi', 'diabetespedigreefunction', 'age', 'outcome'] data = pd.read_csv(url, names=column_names) print(data.head())
实施 alpha = 0.05 的 iamb
这是我们的 iamb 算法的更新版本。我们使用 p 值 来决定保留哪些特征，因此仅选择那些 p 值小于我们的 alpha (0.05) 的特征。
import pingouin as pg def iamb(target, data, alpha=0.05): markov_blanket = set() # forward phase: add features with a p-value < alpha for feature in data.columns: if feature != target: result = pg.partial_corr(data=data, x=feature, y=target, covar=markov_blanket) p_value = result.at[0, 'p-val'] if p_value < alpha: markov_blanket.add(feature) # backward phase: remove features with p-value > alpha for feature in list(markov_blanket): reduced_mb = markov_blanket - {feature} result = pg.partial_corr(data=data, x=feature, y=target, covar=reduced_mb) p_value = result.at[0, 'p-val'] if p_value > alpha: markov_blanket.remove(feature) return list(markov_blanket) # apply the updated iamb function on the pima dataset selected_features = iamb('outcome', data, alpha=0.05) print("selected features:", selected_features)
当我运行此程序时，它为我提供了一份详细的功能列表，iamb 认为这些功能与糖尿病结果最密切相关。此列表有助于缩小我们构建模型所需的变量范围。
selected features: ['bmi', 'diabetespedigreefunction', 'pregnancies', 'glucose']
测试iamb选择的特征对模型性能的影响
一旦我们选择了特征，真正的测试就会将模型性能与所有特征与iamb选择的特征进行比较。为此，我使用了一个简单的高斯朴素贝叶斯模型，因为它很简单并且在概率方面表现良好（这与整个贝叶斯氛围相关）。
这是训练和测试模型的代码：
from sklearn.model_selection import train_test_split from sklearn.naive_bayes import GaussianNB from sklearn.metrics import accuracy_score, f1_score, roc_auc_score # Split data X = data.drop('Outcome', axis=1) y = data['Outcome'] X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42) # Model with All Features model_all = GaussianNB() model_all.fit(X_train, y_train) y_pred_all = model_all.predict(X_test) # Model with IAMB-Selected Features X_train_selected = X_train[selected_features] X_test_selected = X_test[selected_features] model_iamb = GaussianNB() model_iamb.fit(X_train_selected, y_train) y_pred_iamb = model_iamb.predict(X_test_selected) # Evaluate models results = { 'Model': ['All Features', 'IAMB-Selected Features'], 'Accuracy': [accuracy_score(y_test, y_pred_all), accuracy_score(y_test, y_pred_iamb)], 'F1 Score': [f1_score(y_test, y_pred_all, average='weighted'), f1_score(y_test, y_pred_iamb, average='weighted')], 'AUC-ROC': [roc_auc_score(y_test, y_pred_all), roc_auc_score(y_test, y_pred_iamb)] } results_df = pd.DataFrame(results) display(results_df)
结果
比较如下：
仅使用iamb选择的功能可以略微提高准确性和其他指标。这并不是一个巨大的飞跃，但我们用更少的功能获得更好的性能这一事实是有希望的。另外，这意味着我们的模型不依赖“噪音”或不相关的数据。
要点
- iamb 非常适合特征选择：它通过仅关注对预测目标真正重要的内容来帮助清理我们的数据集。
- 少即是多：有时，更少的特征会给我们带来更好的结果，正如我们在这里看到的，模型准确性略有提高。
- 学习和实验是有趣的部分：即使没有深厚的数据科学背景，深入研究这样的项目也可以开辟理解数据和机器学习的新方法。
我希望这能给 iamb 一个友好的介绍！如果您好奇，请尝试一下 – 它是机器学习工具箱中的一个方便的工具，您可能会在自己的项目中看到一些很酷的改进。
来源： 大规模马尔可夫毯子发现算法
