在本教程中，您将学习如何使用OpenCV和机器学习在手绘的螺旋和波浪图像中自动检测帕金森病。
本教程来自来自巴西的博士生Joao。
Joao有兴趣利用计算机视觉和机器学习基于几何图形（即螺旋和符号波）自动检测和预测帕金森病。
虽然我对帕金森病很熟悉，但我还没有听说过几何绘图测试 - 一些研究让我得到了一篇2017年论文，用复合速度指数和绘制螺旋笔压来区分帕金森病的不同阶段， Zham等人。
研究人员发现，帕金森病患者的拔牙速度较慢，笔压较低 - 这 对于患有更急性/晚期疾病的患者尤其明显。
帕金森症的症状之一是肌肉颤抖和僵硬，使得绘制光滑的螺旋和波浪变得更加困难。
Joao假设有可能仅使用图纸检测帕金森病，而不是必须测量笔在纸上的速度和压力。
降低跟踪笔速度和压力的要求：
Joao及其顾问慷慨地允许我访问他们收集的由（1）帕金森病患者和（2）健康参与者绘制的螺旋和波浪的数据集。
我看了一下数据集并考虑了我们的选择。
最初，Joao希望将深度学习应用于该项目，但经过考虑，我仔细解释过，深度学习虽然功能强大，但 并不总是适合这项工作的工具！例如，你不会想用锤子来拧螺丝。
相反，你看看你的工具箱，仔细考虑你的选择，并抓住正确的工具。
我向Joao解释了这一点，然后演示了我们如何使用标准计算机视觉和机器学习算法以83.33％的准确率 预测帕金森的图像 。
要学习如何应用计算机视觉和OpenCV来检测基于几何图形的帕金森症，请继续阅读！
使用OpenCV，计算机视觉和螺旋/波浪测试检测帕金森症
在本教程的第一部分中，我们将简要讨论帕金森病，包括几何图形如何用于检测和预测帕金森病。
然后，我们将检查从有和没有帕金森病的患者中收集的图纸数据集。
在查看数据集之后，我将教授如何使用HOG图像描述符来量化输入图像，然后教我们如何在提取的特征之上训练随机森林分类器。
我们将通过检查结果来结束。
什么是帕金森病？
图1：帕金森病患者有神经系统问题。症状包括运动问题，如震颤和僵硬。在这篇博文中，我们将使用OpenCV和机器学习从螺旋和波浪组成的手绘图中检测帕金森病。
帕金森病是一种影响运动的神经系统疾病。该疾病是进行性的，并且由五个不同阶段标记。
虽然帕金森病无法治愈，但早期检测和适当的药物治疗可以显着改善症状和生活质量，使其成为计算机视觉和机器学习从业者探索的重要课题。
绘制螺旋和波浪来检测帕金森病
Zham等人2017年的一项研究。发现可以通过让患者画螺旋然后跟踪来检测帕金森病：
研究人员发现，帕金森病患者的拔牙速度较慢，笔压较低 - 尤其如此对于患有更急性/晚期疾病明显。
我们将利用两个最常见的帕金森症状包括震颤和肌肉僵硬这一事实直接影响手绘螺旋和波浪的视觉外观。
视觉外观的变化将使我们能够训练计算机视觉+机器学习算法以自动检测帕金森病。
螺旋和波浪数据集
图3：今天的帕金森图像数据集由来自Uberlândia联邦大学NIATS的Andrade和Folado策划。我们将使用Python和OpenCV来训练一个模型，用于从类似的螺旋/波浪图纸中自动分类帕金森氏症
数据集本身由204个图像组成，并预先分成训练集和测试集，包括：
上面的图3示出了每个附图和相应类的示例。
虽然对于一个人来说，如果不是不可能的话，一些人在这些图纸中对帕金森氏症与健康状况进行分类是有挑战性的，但其他人在视觉外观上表现出明显的偏差 - 我们的目标是量化这些图纸的视觉外观然后训练机器学习模型对它们进行分类。
为今天的项目准备计算环境
今天的环境可以直接在您的系统上启动和运行。
您将需要以下软件：
每个包都可以使用Python的包管理器pip安装。
$ workon cv # insert your virtual environment name such as `cv`
$ pip install opencv-contrib-python # see the tutorial linked above
$ pip install scikit-learn
$ pip install scikit-image
$ pip install imutils
项目结构
zip文件包含螺旋和波形数据集以及单个Python脚本。
您可以 在终端中使用 tree命令来检查文件和文件夹的结构：
Detecting Parkinson's Disease with OpenCV, Computer Vision, and the Spiral/Wave TestShell
$ tree --dirsfirst --filelimit 10
.
├── dataset
│ ├── spiral
│ │ ├── testing
│ │ │ ├── healthy [15 entries]
│ │ │ └── parkinson [15 entries]
│ │ └── training
│ │ ├── healthy [36 entries]
│ │ └── parkinson [36 entries]
│ └── wave
│ ├── testing
│ │ ├── healthy [15 entries]
│ │ └── parkinson [15 entries]
│ └── training
│ ├── healthy [36 entries]
│ └── parkinson [36 entries]
└── detect_parkinsons.py
15 directories, 1 file
$ tree --dirsfirst --filelimit 10
.
├── dataset
│ ├── spiral
│ │ ├── testing
│ │ │ ├── healthy [15 entries]
│ │ │ └── parkinson [15 entries]
│ │ └── training
│ │ ├── healthy [36 entries]
│ │ └── parkinson [36 entries]
│ └── wave
│ ├── testing
│ │ ├── healthy [15 entries]
│ │ └── parkinson [15 entries]
│ └── training
│ ├── healthy [36 entries]
│ └── parkinson [36 entries]
└── detect_parkinsons.py
15 directories, 1 file
我们的 数据集/ 首先分解为 螺旋/ 和 波/ 。每个文件夹进一步分为 testing / 和training / 。最后，我们的图像位于 健康/ 或 帕金森/ 文件夹中。
我们今天将审查一个Python脚本： detect_parkinsons .py 。该脚本将读取所有图像，提取特征并训练机器学习模型。最后，结果将以蒙太奇显示。
实施帕金森探测器脚本
为了实现我们的帕金森探测器，您可能会倾向于在这个问题上投入深度学习和卷积神经网络（CNN） - 但这种方法存在问题。
首先，我们没有太多的训练数据，只有72张图像用于训练。当遇到缺乏跟踪数据时，我们通常应用数据增强 - 但在此上下文中的数据增加也存在问题。
您需要非常小心，因为不正确地使用数据增加可能会使健康的患者的绘图看起来像帕金森病患者的绘图（反之亦然）。
更重要的是，有效地将计算机视觉应用于问题就是将正确的工具带到工作中 - 例如，你不会用螺丝刀敲打钉子。
仅仅因为您可能知道如何将深度学习应用于问题并不一定意味着深度学习“始终”是问题的最佳选择。
在这个例子中，我将向您展示如果训练数据量有限，方向梯度直方图（HOG）图像描述符以及随机森林分类器如何能够很好地执行。
打开一个新文件，将其命名为 detect_parkinsons .py ，然后插入以下代码：
# import the necessary packages
from sklearn.ensemble import RandomForestClassifier
from sklearn.preprocessing import LabelEncoder
from sklearn.metrics import confusion_matrix
from skimage import feature
from imutils import build_montages
from imutils import paths
import numpy as np
import argparse
import cv2
import os
def quantify_image(image):
# compute the histogram of oriented gradients feature vector for
# the input image
features = feature.hog(image, orientations=9,
pixels_per_cell=(10, 10), cells_per_block=(2, 2),
transform_sqrt=True, block_norm="L1")
# return the feature vector
return features
def load_split(path):
# grab the list of images in the input directory, then initialize
# the list of data (i.e., images) and class labels
imagePaths = list(paths.list_images(path))
data = []
labels = []
# loop over the image paths
for imagePath in imagePaths:
# extract the class label from the filename
label = imagePath.split(os.path.sep)[-2]
# load the input image, convert it to grayscale, and resize
# it to 200x200 pixels, ignoring aspect ratio
image = cv2.imread(imagePath)
image = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
image = cv2.resize(image, (200, 200))
# threshold the image such that the drawing appears as white
# on a black background
image = cv2.threshold(image, 0, 255,
cv2.THRESH_BINARY_INV | cv2.THRESH_OTSU)[1]
# quantify the image
features = quantify_image(image)
# update the data and labels lists, respectively
data.append(features)
labels.append(label)
# return the data and labels
return (np.array(data), np.array(labels)
# construct the argument parser and parse the arguments
ap = argparse.ArgumentParser()
ap.add_argument("-d", "--dataset", required=True,
help="path to input dataset")
ap.add_argument("-t", "--trials", type=int, default=5,
help="# of trials to run")
args = vars(ap.parse_args()
# define the path to the training and testing directories
trainingPath = os.path.sep.join([args["dataset"], "training"])
testingPath = os.path.sep.join([args["dataset"], "testing"])
# loading the training and testing data
print("[INFO] loading data...")
(trainX, trainY) = load_split(trainingPath)
(testX, testY) = load_split(testingPath)
# encode the labels as integers
le = LabelEncoder()
trainY = le.fit_transform(trainY)
testY = le.transform(testY)
# initialize our trials dictionary
trials =
# loop over the number of trials to run
for i in range(0, args["trials"]):
# train the model
print("[INFO] training model {} of {}...".format(i + 1,
args["trials"]))
model = RandomForestClassifier(n_estimators=100)
model.fit(trainX, trainY)
# make predictions on the testing data and initialize a dictionary
# to store our computed metrics
predictions = model.predict(testX)
metrics = {}
# compute the confusion matrix and and use it to derive the raw
# accuracy, sensitivity, and specificity
cm = confusion_matrix(testY, predictions).flatten()
(tn, fp, fn, tp) = cm
metrics["acc"] = (tp + tn) / float(cm.sum())
metrics["sensitivity"] = tp / float(tp + fn)
metrics["specificity"] = tn / float(tn + fp)
# loop over the metrics
for (k, v) in metrics.items():
# update the trials dictionary with the list of values for
# the current metric
l = trials.get(k, [])
l.append(v)
trials[k] = l
# loop over our metrics
for metric in ("acc", "sensitivity", "specificity"):
# grab the list of values for the current metric, then compute
# the mean and standard deviation
values = trials[metric]
mean = np.mean(values)
std = np.std(values)
# show the computed metrics for the statistic
print(metric)
print("=" * len(metric))
print("u={:.4f}, o={:.4f}".format(mean, std))
print("
# randomly select a few images and then initialize the output images
# for the montage
testingPaths = list(paths.list_images(testingPath))
idxs = np.arange(0, len(testingPaths))
idxs = np.random.choice(idxs, size=(25,), replace=False)
images = []
# loop over the testing samples
for i in idxs:
# load the testing image, clone it, and resize it
image = cv2.imread(testingPaths[i])
output = image.copy()
output = cv2.resize(output, (128, 128))
# pre-process the image in the same manner we did earlier
image = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
image = cv2.resize(image, (200, 200))
image = cv2.threshold(image, 0, 255,
cv2.THRESH_BINARY_INV | cv2.THRESH_OTSU)[1]
# quantify the image and make predictions based on the extracted
# features using the last trained Random Forest
features = quantify_image(image)
preds = model.predict([features])
label = le.inverse_transform(preds)[0]
# draw the colored class label on the output image and add it to
# the set of output images
color = (0, 255, 0) if label == "healthy" else (0, 0, 255)
cv2.putText(output, label, (3, 20), cv2.FONT_HERSHEY_SIMPLEX, 0.5,
color, 2)
images.append(output)
# create a montage using 128x128 "tiles" with 5 rows and 5 columns
montage = build_montages(images, (128, 128), (5, 5))[0]
# show the output montage
cv2.imshow("Output", montage)
cv2.waitKey(0)
我们从第2-11行的进口开始 ：
让我们 用HOG方法定义一个量化波/螺旋图像的函数 ：
我们将使用quanty_image 函数从每个输入图像中提取特征 。
Dalal和Triggs在他们的CVPR 2005论文中首次介绍了 人体检测的方向梯度直方图，HOG将用于量化我们的图像。
HOG是一种 结构描述符，用于捕获和量化输入图像中局部梯度的变化。HOG自然能够量化螺旋和波的方向如何变化。
此外，HOG将能够捕捉到这些图纸是否对他们有更多的“震动”，正如我们对帕金森病患者所期望的那样。
HOG的另一个应用是这个PyImageSearch Gurus示例课程。请务必参阅示例课程以获取有关该功能的完整说明 参数。
得到的特征是量化波或螺旋的12,996-dim特征向量（数字列表）。我们将在数据集中所有图像的特征之上训练随机森林分类器。
继续，让我们加载我们的数据并提取功能：
该 load_split 函数接受数据集的目标， 路径 和返回的所有特征 数据 和相关类 的标签 。让我们一步一步地分解它：
让我们继续并解析我们的命令行参数：
我们的脚本处理两个命令行参数：
为了准备培训，我们将执行初始化：
在这里，我们正在构建培训和测试输入目录的路径（第65和66行）。
从那里我们通过将每个路径传递给load_split来加载我们的训练和测试分裂 （第70和71行）。
我们的 试用 词典在第79行初始化 （回想一下，默认情况下我们将进行 5次 试验）。
让我们现在开始我们的试验：
在 第82行，我们遍历每个试验。在每个试验中，我们：
循环遍历每个指标，我们将打印统计信息：
在第111行，我们遍历每个 指标 。
然后我们继续 从 试验中获取 值 （第114行）。
使用这些 值 ，计算每个度量的平均值和标准偏差（第115和116行）。
从那里，统计数据显示在终端中。
现在是眼睛糖果 - 我们将创建一个蒙太奇，以便我们可以直观地分享我们的工作：
首先，我们从我们的测试集中随机抽样图像（第126-128行）。
我们的 图像 列表将保存每个波形或螺旋图像以及通过OpenCV绘图功能添加的注释（第129行）。
我们继续循环第132行的随机图像索引 。
在循环内部，每个图像以与训练期间相同的方式处理（第134-142行）。
从那里我们将使用我们基于HOG + Random Forest的新分类器自动对图像进行分类，并添加颜色编码的注释：
每个 图像 用HOG 特征量化 （第146行）。
然后通过将这些特征传递 给模型来 对图像进行分类 。预测 （第147和148行）。
类标签的颜色为绿色，表示 “健康” ，红色表示红色（第152行）。该 标签 被绘制在图像（的左上角线153和154）。
然后将每个 输出图像添加到 图像 列表（第155行），以便我们可以开发 蒙太奇 （第158行）。您可以通过OpenCV了解有关创建蒙太奇的更多信息 。
该 蒙太奇 然后通过显示 161线，直到按下一个键。
训练帕金森的探测器模型
图4：使用Python，OpenCV和机器学习（随机森林），我们使用他们的手绘螺旋对帕金森病患者进行了分类，准确率为83.33％。
让我们的帕金森病检测仪进行测试吧！
使用本教程的“下载”部分下载源代码和数据集。
从那里，导航到您下载.zip文件的位置，取消存档，然后执行以下命令来训练我们的“wave”模型：
$ python detect_parkinsons.py --dataset dataset/wave
[INFO] loading data...
[INFO] training model 1 of 5...
[INFO] training model 2 of 5...
[INFO] training model 3 of 5...
[INFO] training model 4 of 5...
[INFO] training model 5 of 5...
acc
===
u=0.7133, o=0.0452
sensitivity
===========
u=0.6933, o=0.0998
specificity
===========
u=0.7333, o=0.0730
检查我们的输出，你会发现我们在测试集上获得了71.33％的分类准确度，灵敏度为69.33％（真阳性率），特异性为73.33％（真阴性率）。
重要的是我们测量灵敏度和特异性：
机器学习模型，尤其是医疗领域的机器学习模型，在平衡真正的积极因素和真正的负面因素时需要特别小心：
现在让我们在“螺旋”图纸上训练我们的模型：
$ python detect_parkinsons.py --dataset dataset/spiral
[INFO] loading data...
[INFO] training model 1 of 5...
[INFO] training model 2 of 5...
[INFO] training model 3 of 5...
[INFO] training model 4 of 5...
[INFO] training model 5 of 5...
acc
===
u=0.8333, o=0.0298
sensitivity
===========
u=0.7600, o=0.0533
specificity
===========
u=0.9067, o=0.0327
这次我们在测试集上达到了83.33％的准确度，灵敏度为76.00％，特异性为90.67％。
从标准偏差来看，我们也可以看到差异越小，分布越紧凑。
时自动在手附图检测帕金森氏病，至少利用该特定数据集的情况下，“螺旋”图纸似乎是许多更多有用的信息。
相关源码关注微信公众号：“图像算法”或者微信搜索账号imalg_cn关注公众号回复parkinson 获取
