基于六轴传感器信号和深度学习模型的人体动作识别(四)机器学习

matlab的旋律

      前面介绍了模型输入数据的预处理，下面通过分类模型使用训练集进行训练和测试集进行预测分类的实例进行说明，这一章主要讲解一些经典的机器学习分类模型，包括常见的DTREE（决策树）、SVM（支持向量机）和Adaboost。由于这些算法在机器学习库函数sklearn中都有封装库函数，因此所有的实例实现代码都基于sklearn库。其中决策树分类模型的调用代码如下：

1.     from sklearn.tree import DecisionTreeClassifier
   
2.     dtree_model = DecisionTreeClassifier()
   
3.     dtree_model.fit(x_train.reshape(x_train.shape[0], -1), y_train)
   
4.     y_dtree_predict = dtree_model.predict(x_test.reshape(x_test.shape[0], -1))

复制代码

这里y_dtree_predict就是模型对测试集的预测分类，一般评价分类效果的指标包括精确率(precision)、召回率(recall)和F1-score。以及常用的图像显示混淆矩阵，具体代码如下：

1.     dtree_precision, dtree_recall, dtree_f1, sup = precision_recall_fscore_support(y_test, y_dtree_predict, average='macro')
   
2.     dtree_cm = confusion_matrix(y_test, y_dtree_predict, sample_weight=None)  # 获取混淆矩阵
   
3.     plot_model.plot_confusion_matrix(dtree_cm, title='Confusion Matrix of DTREE')

复制代码

其中混淆矩阵如下图所示：

      DecisionTreeClassifier 中可调的参数包括，criterion：特征选择标准，splitter： 特征划分标准，max_depth：决策树最大深度，min_impurity_decrease：节点划分最小不纯度，min_samples_split：内部节点再划分所需最小样本数，min_samples_leaf：叶子节点最少样本数，max_leaf_nodes ：最大叶子节点数，min_impurity_split：信息增益的阀值，min_weight_fraction_leaf：叶子节点最小的样本权重和，class_weight ：类别权重。具体可以参考决策树分类函数参数解释，如何选出模型分类最优参数，主要是依赖研究人员的经验以及通过列举方法。如可以通过测试 DecisionTreeClassifier 的预测性能随 max_depth 参数的影响，代码如下：

1. def test_DecisionTreeClassifier_depth(*data,maxdepth):
   
2.     '''
   
3.     测试 DecisionTreeClassifier 的预测性能随 max_depth 参数的影响
   
4. 
   
5.     :param data:  可变参数。它是一个元组，这里要求其元素依次为：训练样本集、测试样本集、训练样本的标记、测试样本的标记
   
6.     :param maxdepth: 一个整数，用于 DecisionTreeClassifier 的 max_depth 参数
   
7.     :return:  None
   
8.     '''
   
9.     X_train, X_test, y_train, y_test = data
   
10.     depths = np.arange(1, maxdepth)
    
11.     training_scores = []
    
12.     testing_scores = []
    
13.     for depth in depths:
    
14.         clf = DecisionTreeClassifier(max_depth=depth)
    
15.         clf.fit(X_train.reshape(X_train.shape[0], -1), y_train)
    
16.         training_scores.append(clf.score(X_train.reshape(X_train.shape[0], -1), y_train))
    
17.         testing_scores.append(clf.score(X_test.reshape(X_test.shape[0], -1), y_test))
    
18. 
    
19.     ## 绘图
    
20.     fig = plt.figure()
    
21.     plt.plot(depths, training_scores, label="traing score", marker='o')
    
22.     plt.plot(depths, testing_scores, label="testing score", marker='*')
    
23.     plt.xlabel("maxdepth")
    
24.     plt.ylabel("score")
    
25.     plt.title("Decision Tree Classification")
    
26.     plt.legend(framealpha=0.5, loc='best')
    
27.     plt.show()

复制代码

运行结果如下图：

从图中可以看出当max_depth大小到达10以后训练集和测试集的准确率达到最大后稳定，结合模型在准确率相同运算量越小越好的规则，因此设定max_depth=10。接下来说明不同算法之间的性能比较，下面先给出SVM和Adaboost的调用代码，如题如下：

1.     ########################################svm###############################################
   
2.     svm_model = SVC(kernel='linear', probability=True)
   
3.     svm_model.fit(x_train.reshape(x_train.shape[0], -1), y_train)
   
4.     y_svm_predict = svm_model.predict(x_test.reshape(x_test.shape[0], -1))
   
5.     svm_precision, svm_recall, svm_f1, sup = precision_recall_fscore_support(y_test, y_svm_predict, average='macro')
   
6.     svm_cm = confusion_matrix(y_test, y_svm_predict, sample_weight=None)  # 获取混淆矩阵
   
7.     plot_model.plot_confusion_matrix(svm_cm, title='Confusion Matrix of SVM')
   
8. 
   
9.     ########################################adaboost###############################################
   
10.     adaboost_model = AdaBoostClassifier(DecisionTreeClassifier(max_depth=2, min_samples_split=20, min_samples_leaf=5),
    
11.                                         learning_rate=0.8, n_estimators=100)
    
12.     adaboost_model.fit(x_train.reshape(x_train.shape[0], -1), y_train)
    
13.     y_adaboost_predict = adaboost_model.predict(x_test.reshape(x_test.shape[0], -1))
    
14.     adaboost_precision, adaboost_recall, adaboost_f1, sup = precision_recall_fscore_support(y_test, y_adaboost_predict, average='macro')
    
15.     adaboost_cm = confusion_matrix(y_test, y_adaboost_predict, sample_weight=None)  # 获取混淆矩阵
    
16.     plot_model.plot_confusion_matrix(adaboost_cm, title='Confusion Matrix of ADABOOST')

复制代码

当然SVM和Adaboost也有许多的参数需要调试，可以参考测试 DecisionTreeClassifier 的预测性能随 max_depth 参数的影响，这里不做详细列举，仅对三种算法的指标使用柱状图进行比较。具体代码如下：

1.     ########################################性能比较###############################################
   
2.     dtree_score = [dtree_precision, dtree_recall, dtree_f1]
   
3.     svm_score = [svm_precision, svm_recall, svm_precision]
   
4.     adaboost_score = [adaboost_precision, adaboost_recall, adaboost_f1]
   
5. 
   
6.     # 数据
   
7.     fig = plt.figure(figsize=(16, 8))
   
8.     x = np.arange(3)
   
9.     bar_width = 0.2
   
10.     str1 = ['dtree', 'svm', 'adaboost']
    
11.     # 绘图 x 表示 从那里开始
    
12.     plt.bar(x, dtree_score, bar_width, hatch="--", label='precision')
    
13.     plt.bar(x+bar_width, svm_score, bar_width, hatch="/", align="center", label="recall", tick_label=str1)
    
14.     plt.bar(x+2*bar_width, adaboost_score, bar_width, hatch="-.", label="f1-score")
    
15.     # 展示图片
    
16.     fig.legend(ncol=3, loc='upper center', fontsize=20)
    
17.     plt.show()

复制代码

运行结果如下：