Аналіз даних із Pandas: обробка та візуалізація даних

Автор: Yasin TANIŞ

Уперше опубліковано на Medium

Ілюстрація з таблицями й графіками для аналізу даних у pandas

Вступ

Аналіз даних став невід’ємною частиною ухвалення рішень. Python вирізняється в цій галузі завдяки потужним бібліотекам для аналізу й обробки даних. Одна з них — pandas — незамінна для фахівців із даних, бо вона гнучка й проста у використанні. У цій статті ми розглянемо основні можливості pandas і їх застосування в аналізі даних на практичних прикладах із реальними або синтетичними даними.

DataFrame і Series

Pandas працює з двома основними структурами даних. DataFrame — двовимірна структура з рядків і стовпців. Series — одновимірна структура, що представляє один стовпець даних.

import pandas as pd

# Creating a simple DataFrame
data = {
    'name': ['Alice', 'Bob', 'Charlie'],
    'age': [25, 30, 35],
    'city': ['New York', 'Los Angeles', 'Chicago']
}
df = pd.DataFrame(data)
print(df)
Виведення коду: DataFrame і Series у консолі

Створення DataFrame

Створити DataFrame можна багатьма способами. Дані можна завантажити з таких джерел, як CSV, Excel і SQL, і перетворити на DataFrame.

# Loading data from a CSV file
df = pd.read_csv('data.csv')

# Loading data from an Excel file
df = pd.read_excel('data.xlsx')

# Loading data from an SQL database
import sqlite3
conn = sqlite3.connect('database.db')
df = pd.read_sql_query('SELECT * FROM table', conn)

Завантаження та збереження даних

Pandas спрощує завантаження й збереження даних. Можна читати й обробляти файли в багатьох форматах.

# Saving data
df.to_csv('new_data.csv', index=False)
df.to_excel('new_data.xlsx', index=False)

Очищення та підготовка даних

Очищення й підготовка — ключові етапи аналізу даних. Pandas спрощує роботу з пропущеними значеннями, перетворення типів даних і видалення непотрібних даних.

# Checking for missing values
print(df.isnull().sum())

# Filling missing values
df.fillna(0, inplace=True)

# Converting data types
df['date'] = pd.to_datetime(df['date'])
Виведення коду: кількість пропущених значень за стовпцями, скрізь нуль

Тут ми перевіряємо, чи є в DataFrame пропущені значення. Виведення показує, що їх немає в жодному стовпці.

Статистичні зведення

Pandas пропонує багато інструментів для швидкого узагальнення даних. Базову статистику можна отримати одним викликом.

# Basic statistical summaries
print(df.describe())

# Summarizing specific columns
print(df['age'].mean())
print(df['age'].std())
Виведення коду: статистичне зведення стовпця віку

У зведенні середній вік — 30 років зі стандартним відхиленням 5; найменший і найбільший вік — 25 і 35 років. Це дає швидке уявлення про розподіл віку.

Групування та узагальнення

Групування й узагальнення — одна з сильних сторін pandas. Функції groupby і pivot_table значно це спрощують.

# Grouping and summarizing
group = df.groupby('city')['age'].mean()
print(group)

# Creating a pivot table
pivot = df.pivot_table(values='age', index='city', columns='gender', aggfunc='mean')
print(pivot)
Виведення коду: середній вік за містами
Виведення коду: зведена таблиця середнього віку за містами

Групування за містом дає середній вік для кожного міста: Chicago (35), Los Angeles (30) і New York (25). Зведена таблиця дає схоже зведення з розбивкою за статтю; у нашому прикладі немає даних про стать, тому в цих клітинках стоїть NaN.

Візуалізація даних у pandas

У pandas є прості, але дієві інструменти для побудови графіків. Функції plot, hist і boxplot швидко будують графіки.

# Basic plots
df['age'].plot(kind='hist')
df.plot(kind='scatter', x='age', y='income')

Робота із Seaborn і Matplotlib

Дані pandas можна візуалізувати й за допомогою Seaborn і Matplotlib, які дають змогу будувати детальніші графіки з ширшими можливостями налаштування.

import seaborn as sns
import matplotlib.pyplot as plt

# Visualizing with Seaborn
sns.boxplot(x='city', y='age', data=df)
plt.show()

Аналіз часових рядів

Pandas чудово працює з часовими рядами, тож у них легко знаходити тренди й закономірності.

# Handling time series data
df['date'] = pd.to_datetime(df['date'])
df.set_index('date', inplace=True)
print(df.resample('M').mean())
Виведення коду: середній вік за місяцями після ресемплінгу

Тут ми перетворюємо стовпець date на datetime і робимо його індексом. Ресемплінг за місяцями із середнім значенням дає середній вік 30 років за січень 2023 року.

Об’єднання та поєднання даних

У pandas багато функцій для об’єднання наборів даних, наприклад merge, join і concat.

# Merging two DataFrames
df1 = pd.DataFrame({'name': ['Alice', 'Bob'], 'age': [25, 30]})
df2 = pd.DataFrame({'name': ['Alice', 'Bob'], 'city': ['New York', 'Los Angeles']})
merged_df = pd.merge(df1, df2, on='name')
print(merged_df)
Виведення коду: два DataFrame, об’єднані за стовпцем name

У цьому прикладі ми об’єднуємо два DataFrame за стовпцем name, поєднуючи вік і місто кожної людини.

Практичний приклад: аналіз синтетичних даних

Створення даних

Для практичного прикладу створимо синтетичні дані, які покажуть можливості pandas.

import pandas as pd 
import numpy as np
import seaborn as sns
import matplotlib.pyplot as plt

# Creating synthetic data
np.random.seed(0)
dates = pd.date_range('20230101', periods=100)
df = pd.DataFrame(np.random.randn(100, 4), index=dates, columns=list('ABCD'))
df['Category'] = np.random.choice(['Category1', 'Category2', 'Category3'], size=100)
print(df.head())
Виведення коду: перші рядки синтетичного DataFrame

Так створюється DataFrame на 100 рядків зі стовпцями A, B, C і D та категоріальним стовпцем Category. Значення випадкові, а Category набуває одного з трьох значень.

Аналіз і візуалізація

На синтетичних даних проведемо базовий аналіз і побудуємо графіки.

# Statistical summary
print(df.describe())
Виведення коду: статистичне зведення синтетичних даних

Зведення дає повний огляд даних. Середні значення стовпців A, B, C і D близькі до нуля, як і очікується для випадкового нормального розподілу, а стандартні відхилення близькі до 1 і показують розкид значень навколо середнього.

# Grouping and summarizing
grouped = df.groupby('Category').mean()
print(grouped)
Виведення коду: середні стовпців за категоріями

Групування за Category показує середнє значення кожного стовпця для кожної категорії, що виявляє відмінності між категоріями.

# Visualizing data
df['A'].plot(kind='hist', title='Histogram of A')
plt.show()

sns.boxplot(x='Category', y='B', data=df)
plt.show()
Гістограма стовпця A
Коробкова діаграма стовпця B за категоріями

Гістограма показує розподіл значень у стовпці A, а коробкова діаграма — стовпець B за категоріями. Такі графіки допомагають зрозуміти розподіл і помітити викиди чи закономірності.

Висновок

Pandas — універсальний і потужний інструмент аналізу даних; гнучкість і простота роблять його незамінним для фахівців із даних. У цій статті ми розглянули його основні можливості та їхнє місце в аналізі й показали практичне застосування на синтетичних даних. Практикуючись далі й опановуючи складніші прийоми, ви зможете глибше зануритися в науку про дані та з допомогою pandas отримувати зі своїх даних більше корисних висновків.

Джерела

  • McKinney, W. (2010). Data Structures for Statistical Computing in Python. Proceedings of the 9th Python in Science Conference, 51–56.
  • McKinney, W. (2017). Python for Data Analysis: Data Wrangling with Pandas, NumPy, and IPython (2-ге вид.). O’Reilly Media.
  • Команда розробників pandas. Документація pandas. pandas.pydata.org
  • Документація NumPy. numpy.org
  • Документація Matplotlib. matplotlib.org
  • Документація Seaborn. seaborn.pydata.org