Що таке незбалансований набір даних і як із ним працювати?

Автор: Yasin TANIŞ

Уперше опубліковано на Medium

Людина розмірковує біля терезів, на шальках яких лежать нерівні стоси даних

Що таке незбалансований набір даних

Ви будуєте для бізнесу модель класифікації, і вона дає точність 95 %. Усе виглядає добре. Модель запускають, і невдовзі хтось помічає, що вона завжди передбачає той самий клас. Переглянувши дані ще раз, ви бачите: клас, який вона ніколи не розпізнає, становить лише 5 % даних. Провал моделі спричинений незбалансованим набором даних.

Незбалансовані набори даних трапляються в задачах класифікації, коли класи розподілені далеко не порівну. Проблема в тому, що мажоритарний клас заглушає міноритарний: модель хилиться до більшості й погано класифікує меншість.

Коли ми маємо справу з незбалансованими даними, правильно оцінювати ситуацію й відновлювати баланс допомагають такі методи:

  • Вибір правильних метрик: precision, recall, F1-міра, ROC-крива та AUC
  • Повторна вибірка: оверсемплінг (випадковий і SMOTE) та андерсемплінг (випадковий, NearMiss, зв’язки Томека, центроїди кластерів)
  • Збір додаткових даних
  • Використання параметра class_weight моделей класифікації, щоб модель однаково навчалася на прикладах міноритарного й мажоритарного класів
  • Оцінювання якості інших моделей замість того, щоб покладатися на одну
  • Інший підхід, наприклад виявлення аномалій або змін

Спершу ми розглянемо незбалансований набір Credit Card Fraud Detection, а потім застосуємо кілька методів, щоб упоратися з дисбалансом.

Дослідження набору даних

Виявляти шахрайство важливо для компаній — емітентів кредитних карток: вони не хочуть списувати з клієнтів гроші за покупки, яких ті не робили.

Набір даних: creditcard.csv (Kaggle)

На цьому наборі ми хочемо побудувати модель, що виявляє шахрайські транзакції. Дані взято з транзакцій за кредитними картками, здійснених у Європі у вересні 2013 року; кожна транзакція позначена 1, якщо це шахрайство, і 0, якщо ні. З міркувань конфіденційності додаткової інформації небагато, а всі змінні, крім Time і Amount, перетворено методом PCA (метод головних компонент).

  • Time: секунди від першої транзакції до кожної транзакції
  • Amount: сума транзакції

Спершу зчитуємо дані, перевіряємо пропущені значення й дивимося розподіл змінної Class. Потім стандартизуємо Amount і Time, розділяємо дані методом hold-out (відкладена вибірка) і будуємо модель класифікації на логістичній регресії. Працюватимемо з однією моделлю.

# Gerekli kütüphaneler
import pandas as pd
import numpy as np
from sklearn.preprocessing import RobustScaler
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
from sklearn.metrics import confusion_matrix, classification_report,f1_score,recall_score,roc_auc_score, roc_curve
import matplotlib.pyplot as plt
import seaborn as sns
from matplotlib import rc,rcParams
import itertools

import warnings
warnings.filterwarnings("ignore", category=DeprecationWarning) 
warnings.filterwarnings("ignore", category=FutureWarning) 
warnings.filterwarnings("ignore", category=UserWarning)
# Veri setinin okutulması
df = pd.read_csv("creditcard.csv")
df.head()
Виведення коду: перші п’ять рядків набору, стовпці Time і V1–V8
# Veri setindeki değişken ve gözlem sayısı
print("Gözlem sayısı : " ,len(df))
print("Değişken sayısı : ", len(df.columns))
Gözlem sayısı : 284807
Değişken sayısı : 31

(Код друкує підписи турецькою: кількість спостережень і кількість змінних.)

# veri setindeki değişkenlerin tiplerini ve boş değer içerip içermediğini gözlemlemek istiyoruz
df.info()
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 284807 entries, 0 to 284806
Data columns (total 31 columns):
 #   Column  Non-Null Count   Dtype  
---  ------  --------------   -----  
 0   Time    284807 non-null  float64
 1   V1      284807 non-null  float64
 2   V2      284807 non-null  float64
 3   V3      284807 non-null  float64
 4   V4      284807 non-null  float64
 5   V5      284807 non-null  float64
 6   V6      284807 non-null  float64
 7   V7      284807 non-null  float64
 8   V8      284807 non-null  float64
 9   V9      284807 non-null  float64
 10  V10     284807 non-null  float64
 11  V11     284807 non-null  float64
 12  V12     284807 non-null  float64
 13  V13     284807 non-null  float64
 14  V14     284807 non-null  float64
 15  V15     284807 non-null  float64
 16  V16     284807 non-null  float64
 17  V17     284807 non-null  float64
 18  V18     284807 non-null  float64
 19  V19     284807 non-null  float64
 20  V20     284807 non-null  float64
 21  V21     284807 non-null  float64
 22  V22     284807 non-null  float64
 23  V23     284807 non-null  float64
 24  V24     284807 non-null  float64
 25  V25     284807 non-null  float64
 26  V26     284807 non-null  float64
 27  V27     284807 non-null  float64
 28  V28     284807 non-null  float64
 29  Amount  284807 non-null  float64
 30  Class   284807 non-null  int64  
dtypes: float64(30), int64(1)
memory usage: 67.4 MB
# 1 sınıfının veri setinde bulunma oranı %0.2, 0 sınıfının ise %99.8
f, ax = plt.subplots(1, 2, figsize=(18, 8))

# Sınıf dağılımı
class_counts = df['Class'].value_counts().sort_values(ascending=False)

# Sınıf sayısına göre patlamayı belirleyin
explode = [0.1] * len(class_counts)

# Sınıf dağılımı için pasta grafik
ax[0].pie(class_counts, labels=class_counts.index, autopct='%1.1f%%', explode=explode, shadow=True)
ax[0].set_title('Dağılım')
ax[0].set_ylabel('')

# Sınıf dağılımı için sayım grafiği (seaborn kullanarak)
sns.countplot(x='Class', data=df, ax=ax[1])
ax[1].set_title('Sınıf Sayısı')
plt.show()
Кругова та стовпчикова діаграми розподілу класів: майже всі транзакції належать до класу 0
# Time ve Amount değişkenlerini standartlaştırma
rob_scaler = RobustScaler()
df['Amount'] = rob_scaler.fit_transform(df['Amount'].values.reshape(-1,1))
df['Time'] = rob_scaler.fit_transform(df['Time'].values.reshape(-1,1))
df.head()
Виведення коду: перші рядки після стандартизації Time і Amount
# Hold out yöntemi uygulayıp veri setini eğitim ve test olarak ikiye ayırıyoruz.(%80,%20)
X = df.drop("Class", axis=1)
y = df["Class"]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.20, random_state=123456)
# modelin tanımlanıp, eğitilmesi ve başarı skoru
model = LogisticRegression(random_state=123456)
model.fit(X_train, y_train)
y_pred = model.predict(X_test)
accuracy = accuracy_score(y_test, y_pred)
print("Accuracy: %.3f"%(accuracy))
Accuracy: 0.999

Частка правильних відповідей (accuracy) — це відношення правильних передбачень до всіх. Наша модель дає 0,999. Можна сказати, що вона працює ідеально, чи не так? Погляньмо й на матрицю помилок.

Матриця помилок

Матриця помилок (confusion matrix) — таблиця, що показує, як модель класифікації працює на тестових даних. У ній чотири поєднання передбачених і справжніх значень. Тут шахрайство вважаємо позитивним класом:

  • Істинно позитивний (TP): модель передбачила позитивний клас, і це правильно.
  • Істинно негативний (TN): модель передбачила негативний клас, і це правильно.
  • Хибнопозитивний (FP): модель передбачила позитивний клас, але помилилася.
  • Хибнонегативний (FN): модель передбачила негативний клас, але помилилася.
def plot_confusion_matrix(cm, classes,
                          title='Confusion matrix',
                          cmap=plt.cm.Blues):

    plt.rcParams.update({'font.size': 19})
    plt.imshow(cm, interpolation='nearest', cmap=cmap)
    plt.title(title,fontdict={'size':'16'})
    plt.colorbar()
    tick_marks = np.arange(len(classes))
    plt.xticks(tick_marks, classes, rotation=45,fontsize=12,color="blue")
    plt.yticks(tick_marks, classes,fontsize=12,color="blue")
    rc('font', weight='bold')
    fmt = '.1f'
    thresh = cm.max()
    for i, j in itertools.product(range(cm.shape[0]), range(cm.shape[1])):
        plt.text(j, i, format(cm[i, j], fmt),
                 horizontalalignment="center",
                 color="red")

    plt.ylabel('True label',fontdict={'size':'16'})
    plt.xlabel('Predicted label',fontdict={'size':'16'})
    plt.tight_layout()

plot_confusion_matrix(confusion_matrix(y_test, y_pred=y_pred), classes=['Non Fraud','Fraud'],
                      title='Confusion matrix')
Матриця помилок: 56870 правильних звичайних транзакцій, 5 хибних тривог, 31 пропущений і 56 виявлених випадків шахрайства
  • Із 56875 справді звичайних транзакцій 56870 передбачено правильно, а 5 помилково позначено як шахрайство (FP).
  • Із 87 справжніх випадків шахрайства 56 виявлено (TP), а 31 пропущено (FN).

Модель заявляє точність 0,999, але матриця помилок показує високу частку помилок у класі шахрайства. Модель добре передбачає мажоритарний клас і погано — міноритарний. Оскільки звичайних транзакцій набагато більше, ніж шахрайських, модель виглядає успішною просто тому, що передбачає звичайний клас.

Висновок: частка правильних відповідей — погана міра якості для моделей класифікації, особливо на таких незбалансованих даних, як наші. Погляньмо, як упоратися з дисбалансом, які методи застосувати й якими метриками вимірювати якість.

Вибір правильних метрик

Ми побачили, що частки правильних відповідей недостатньо; щоб виміряти якість, потрібні інші метрики.

Precision (влучність): частка передбачених позитивних, які справді позитивні. Низька влучність означає багато хибних спрацювань. Precision = TP / (TP + FP).

Recall (повнота): частка справді позитивних, які ми передбачили як позитивні. Низька повнота означає багато пропусків; вона має бути якомога вищою. Recall = TP / (TP + FN).

F1-міра: модель із низькою влучністю й високою повнотою важко порівняти з протилежною. F1 вимірює обидві величини разом як гармонічне середнє влучності й повноти. F1 = 2 × (Precision × Recall) / (Precision + Recall).

Погляньмо на ці метрики для нашої моделі. Звіт про класифікацію показує основні метрики за класами.

#sınıflandırma raporu
print(classification_report(y_test, y_pred))
Звіт про класифікацію: precision і recall 1.00 для класу 0; precision 0.92 і recall 0.64 для класу 1

Влучність за класами:

  • Клас 0 (звичайні): 56870 + 31 = 56901 транзакцію передбачено як звичайні, з них 56870 правильно. Precision ≈ 1,00 (56870 / 56901).
  • Клас 1 (шахрайство): 5 + 56 = 61 транзакцію передбачено як шахрайство, з них 56 правильно. Precision ≈ 0,92 (56 / 61).

Повнота за класами:

  • Клас 0 (звичайні): із 56870 + 5 = 56875 звичайних транзакцій 56870 передбачено правильно. Recall ≈ 1,00.
  • Клас 1 (шахрайство): із 31 + 56 = 87 шахрайських транзакцій 56 передбачено правильно. Recall = 56 / 87 ≈ 0,64.

Значення повноти чітко показують провал на класі 1. F1-міра — гармонічне середнє повноти й влучності. Support — справжня кількість прикладів у кожному класі; різниця між класами показує структурну слабкість вимірювань, адже на них впливає сам дисбаланс.

ROC-крива

ROC-крива показує якість моделі класифікації за всіх порогів рішення. На ній відкладають дві величини:

  • Частка істинно позитивних (TPR), тобто повнота: TPR = TP / (TP + FN)
  • Частка хибнопозитивних (FPR), тобто хибних тривог на звичайних транзакціях: FPR = FP / (FP + TN)

Крива відображає залежність TPR від FPR за різних порогів; вона починається в (0,0) і закінчується в (1,1). Добра модель дає криву, що швидко піднімається від 0 до 1.

AUC (площа під ROC-кривою)

AUC зводить ROC-криву до одного числа: вимірює всю площу під кривою від (0,0) до (1,1). Найкраще значення — 1; випадкове вгадування дає 0,5.

# Auc Roc Curve
def generate_auc_roc_curve(clf, X_test):
    y_pred_proba = clf.predict_proba(X_test)[:, 1]
    fpr, tpr, thresholds = roc_curve(y_test,  y_pred_proba)
    auc = roc_auc_score(y_test, y_pred_proba)
    plt.plot(fpr,tpr)
    plt.show()
    pass

generate_auc_roc_curve(model, X_test)
ROC-крива, що круто піднімається до лівого верхнього кута
y_pred_proba = model.predict_proba(X_test)[:, 1]
auc = roc_auc_score(y_test, y_pred_proba)
print("AUC ROC Curve with Area Under the curve = %.3f"%auc)
AUC ROC Curve with Area Under the curve = 0.961

Примітка: AUC оцінює загальну якість класифікації. Оскільки вона не надає більшої ваги жодному класу, то погано відображає якість на міноритарному класі.

Тепер застосуймо до набору даних кілька методів, щоб усунути дисбаланс.

Важливо: ці методи застосовують лише до навчальної вибірки. Якщо застосувати їх до тестової, коректна оцінка стане неможливою.

Повторна вибірка

Повторна вибірка (resampling) вирівнює набір даних, додаючи приклади до міноритарного класу або вилучаючи приклади з мажоритарного. Андерсемплінг вилучає приклади більшості; оверсемплінг розмножує приклади меншості.

Оверсемплінг

Оверсемплінг вирівнює дані, розмножуючи приклади міноритарного класу.

Випадковий оверсемплінг:

  • Для вирівнювання додаються випадково вибрані приклади меншості.
  • Підходить, коли набір даних невеликий.
  • Може призвести до перенавчання (overfitting).

RandomOverSampler приймає аргумент sampling_strategy. Якщо sampling_strategy='minority', міноритарний клас розмножується, доки не зрівняється з мажоритарним. Аргумент приймає й дробове число: якщо в мажоритарному класі 1000 прикладів, а в міноритарному 100, sampling_strategy=0.5 збільшить міноритарний клас до 500 прикладів.

# random oversampling önce eğitim setindeki sınıf sayısı
y_train.value_counts()
0    227440
1       405
Name: Class, dtype: int64
# RandomOver Sampling uygulanması (Eğitim setine uygulanıyor)
from imblearn.over_sampling import RandomOverSampler
oversample = RandomOverSampler(sampling_strategy='minority')
X_randomover, y_randomover = oversample.fit_resample(X_train, y_train)
# random oversampling den sonra eğitim setinin sınıf sayısı
y_randomover.value_counts()
1    227440
0    227440
Name: Class, dtype: int64
# modelin eğitilmesi ve başarı oranı
model.fit(X_randomover, y_randomover)
y_pred = model.predict(X_test)

accuracy = accuracy_score(y_test, y_pred)
print("Accuracy: %.3f%%" % (accuracy))
Accuracy: 0.977
plot_confusion_matrix(confusion_matrix(y_test, y_pred=y_pred), classes=['Non Fraud','Fraud'],
                      title='Confusion matrix')
Матриця помилок після випадкового оверсемплінгу: 55559 правильних звичайних, 1316 хибних тривог, 12 пропущених і 75 виявлених випадків шахрайства
#sınıflandırma raporu
print(classification_report(y_test, y_pred))
      precision    recall  f1-score   support

           0       1.00      0.98      0.99     56875
           1       0.05      0.86      0.10        87

    accuracy                           0.98     56962
   macro avg       0.53      0.92      0.55     56962
weighted avg       1.00      0.98      0.99     56962

Після випадкового оверсемплінгу частка правильних відповідей падає до 0,977. Матриця помилок і звіт про класифікацію показують, що більшість транзакцій, позначених як шахрайство, — хибні тривоги, тож влучність класу 1 падає до 0,05. Натомість повнота класу 1 зростає до 0,86: виявлено 75 із 87 випадків шахрайства. Звичайні транзакції модель передбачає трохи гірше, ніж у першій моделі, але цей стрибок у виявленні шахрайства — вагомий аргумент на користь моделі, навченої після випадкового оверсемплінгу.

Оверсемплінг SMOTE:

Щоб уникнути перенавчання, замість копій створюють синтетичні приклади меншості:

  • Випадково вибирають приклад із міноритарного класу.
  • Знаходять його k найближчих сусідів.
  • Випадково вибирають одного сусіда; у просторі ознак між прикладом і сусідом проводять відрізок, і на ньому створюють синтетичний приклад.
# smote dan önce eğitim setindeki sınıf sayısı
y_train.value_counts()
0    227440
1       405
Name: Class, dtype: int64
# Smote uygulanması (Eğitim setine uygulanıyor)
from imblearn.over_sampling import SMOTE
oversample = SMOTE()
X_smote, y_smote = oversample.fit_resample(X_train, y_train)
# smote dan sonra eğitim setinin sınıf sayısı
y_smote.value_counts()
1    227440
0    227440
Name: Class, dtype: int64
# modelin eğitilmesi ve başarı oranı
model.fit(X_smote, y_smote)
y_pred = model.predict(X_test)

accuracy = accuracy_score(y_test, y_pred)
print("Accuracy: %.3f%%" % (accuracy))
Accuracy: 0.975
Матриця помилок після SMOTE: 55469 правильних звичайних, 1406 хибних тривог, 12 пропущених і 75 виявлених випадків шахрайства
plot_confusion_matrix(confusion_matrix(y_test, y_pred=y_pred), classes=['Non Fraud','Fraud'],
                      title='Confusion matrix')
#sınıflandırma raporu
print(classification_report(y_test, y_pred))
     precision    recall  f1-score   support

           0       1.00      0.98      0.99     56875
           1       0.05      0.86      0.10        87

    accuracy                           0.98     56962
   macro avg       0.53      0.92      0.54     56962
weighted avg       1.00      0.98      0.99     56962

Результати після SMOTE схожі на випадковий оверсемплінг: знову виявлено 75 із 87 випадків шахрайства, а хибних тривог стає 1406.

Андерсемплінг

Андерсемплінг вирівнює дані, вилучаючи приклади мажоритарного класу, і підходить для великих наборів. Наш набір недостатньо великий, щоб цей підхід дав добрі результати, але ми пояснимо методи й покажемо, як застосовують деякі з них.

Випадковий андерсемплінг:

  • Приклади для вилучення вибирають випадково.
  • Підходить, якщо у вас великий набір даних.
  • Випадковий вибір може призвести до втрати інформації.
# random undersampling den önce eğitim setindeki sınıf sayısı
y_train.value_counts()
0    227440
1       405
Name: Class, dtype: int64
from imblearn.under_sampling import RandomUnderSampler
# transform the dataset
ranUnSample = RandomUnderSampler()
X_ranUnSample, y_ranUnSample = ranUnSample.fit_resample(X_train, y_train)
# Random undersampling sonra
y_ranUnSample.value_counts()
1    405
0    405
Name: Class, dtype: int64

Андерсемплінг NearMiss:

  • Зменшує втрату інформації.
  • Ґрунтується на алгоритмі KNN.
  • Обчислює відстань від прикладів більшості до прикладів меншості.
  • Зберігає приклади більшості, найближчі до меншості, за заданим k.

Зв’язки Томека: у кожній парі найближчих прикладів із різних класів вилучають приклад більшості, і проміжок між класами зростає.

Центроїди кластерів: малозначущі приклади вилучають із набору; значущість прикладу визначає кластеризація.

Андерсемплінг і оверсемплінг можна поєднувати, щоб отримати збалансованіші набори.

Інші методи

  • Збір додаткових даних
  • Використання параметра class_weight, щоб модель однаково навчалася на прикладах міноритарного й мажоритарного класів
  • Оцінювання якості інших моделей, а не лише однієї
  • Інший підхід, наприклад виявлення аномалій або змін

Який метод спрацює найкраще, залежить від набору даних. Найкращий результат дає перевірка різних методів і вибір того, що підходить саме вашим даним.

Джерела