/ / Die Grafik dieser ROC-Kurve sieht seltsam aus (sklearn SVC) - Python, maschinelles Lernen, scikit-lernen, roc

Die Grafik dieser ROC-Kurve sieht seltsam aus (sklearn SVC) - Python, maschinelles Lernen, scikit-lernen, roc

Also konstruierte ich ein kleines Beispiel mitscikit-erlernt den Support Vector Classifier (svm.SVC) in Kombination mit Pipelining und Grid Search. Nach dem Anpassen und Auswerten bekomme ich eine ROC-Kurve, die sehr interessant aussieht: Sie biegt nur einmal.

ROC-Kurve eines SVC

Ich dachte, ich würde hier eher eine Kurvenform bekommen. Wer kann dieses Verhalten erklären? Minimal funktionierender Beispielcode:

# Imports
import sklearn as skl
import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_classification
from sklearn import preprocessing
from sklearn import svm
from sklearn.model_selection import GridSearchCV
from sklearn.pipeline import Pipeline
from sklearn import metrics
from tempfile import mkdtemp
from shutil import rmtree
from sklearn.externals.joblib import Memory


def plot_roc(y_test, y_pred):
fpr, tpr, thresholds = skl.metrics.roc_curve(y_test, y_pred, pos_label=1)
roc_auc = skl.metrics.auc(fpr, tpr)
plt.figure()
lw = 2
plt.plot(fpr, tpr, color="darkorange", lw=lw, label="ROC curve (area ={0:.2f})".format(roc_auc))
plt.plot([0, 1], [0, 1], color="navy", lw=lw, linestyle="--")
plt.xlim([0.0, 1.0])
plt.ylim([0.0, 1.05])
plt.xlabel("False Positive Rate")
plt.ylabel("True Positive Rate")
plt.title("Receiver operating characteristic example")
plt.legend(loc="lower right")
plt.show();

# Generate a random dataset
X, y = skl.datasets.make_classification(n_samples=1400, n_features=11,  n_informative=5, n_classes=2, weights=[0.94, 0.06], flip_y=0.05, random_state=42)
X_train, X_test, y_train, y_test = skl.model_selection.train_test_split(X, y, test_size=0.3, random_state=42)

#Instantiate Classifier
normer = preprocessing.Normalizer()
svm1 = svm.SVC(probability=True, class_weight={1: 10})

cached = mkdtemp()
memory = Memory(cachedir=cached, verbose=3)
pipe_1 = Pipeline(steps=[("normalization", normer), ("svm", svm1)], memory=memory)

cv = skl.model_selection.KFold(n_splits=5, shuffle=True, random_state=42)

param_grid = [ {"svm__kernel": ["linear"], "svm__C": [1, 10, 100, 1000]}, {"svm__kernel": ["rbf"], "svm__C": [1, 10, 100, 1000], "svm__gamma": [0.001, 0.0001]} ]
grd = GridSearchCV(pipe_1, param_grid, scoring="roc_auc", cv=cv)

#Training
y_pred = grd.fit(X_train, y_train).predict(X_test)
rmtree(cached)

#Evaluation
confmatrix = skl.metrics.confusion_matrix(y_test, y_pred)
print(confmatrix)
plot_roc(y_test, y_pred)

Antworten:

1 für die Antwort № 1

Ihre plot_roc(y_test, y_pred) Funktion intern ruft auf roc_curve.

Gemäß der Dokumentation von roc_curve:

y_score: Array, Form = [n_samples]

Ziel-Scores können entweder Wahrscheinlichkeitsschätzungen der positiven Klasse, Konfidenzwerte oder nicht-thresholdische Entscheidungsmaße sein (z zurückgegeben von "decision_function" für einige Klassifikatoren.

Also, das funktioniert am besten, wenn die y_pred ist die Wahrscheinlichkeit einer positiven Klasse anstelle von harten Vorhersageklassen.

Probieren Sie den folgenden Code aus:

y_pred = grd.fit(X_train, y_train).predict_proba(X_test)[:,1]

und dann senden y_pred um die Methode zu zeichnen.