Анализа на податоци со Pandas: обработка и визуелизација на податоци

Автор Yasin TANIŞ

Првично објавено на Medium

Илустрација на табели и графикони за анализа на податоци со pandas

Вовед

Анализата на податоци стана неодвоив дел од донесувањето одлуки. Python се истакнува во оваа област благодарение на моќните библиотеки за анализа и обработка на податоци. Една од нив, pandas, е незаменлива за податочните научници бидејќи е флексибилна и лесна за употреба. Во оваа статија ги разгледуваме основните можности на pandas и нејзината употреба во анализата на податоци, со практични примери на вистински или синтетички податоци.

DataFrame и Series

Pandas работи со две основни структури на податоци. DataFrame е дводимензионална структура од редови и колони. Series е еднодимензионална и претставува една колона податоци.

import pandas as pd

# Creating a simple DataFrame
data = {
    'name': ['Alice', 'Bob', 'Charlie'],
    'age': [25, 30, 35],
    'city': ['New York', 'Los Angeles', 'Chicago']
}
df = pd.DataFrame(data)
print(df)
Излез од код: DataFrame и Series испишани во конзолата

Создавање DataFrame

DataFrame може да се создаде на многу начини. Податоците можете да ги вчитате од извори како CSV, Excel и SQL и да ги претворите во DataFrame.

# Loading data from a CSV file
df = pd.read_csv('data.csv')

# Loading data from an Excel file
df = pd.read_excel('data.xlsx')

# Loading data from an SQL database
import sqlite3
conn = sqlite3.connect('database.db')
df = pd.read_sql_query('SELECT * FROM table', conn)

Вчитување и зачувување податоци

Pandas го поедноставува вчитувањето и зачувувањето податоци. Можете да читате и обработувате датотеки во многу различни формати.

# Saving data
df.to_csv('new_data.csv', index=False)
df.to_excel('new_data.xlsx', index=False)

Чистење и подготовка на податоците

Чистењето и подготовката се клучни чекори во анализата. Pandas ја олеснува работата со недостасувачки вредности, претворањето типови податоци и отстранувањето непотребни податоци.

# Checking for missing values
print(df.isnull().sum())

# Filling missing values
df.fillna(0, inplace=True)

# Converting data types
df['date'] = pd.to_datetime(df['date'])
Излез од код: број на недостасувачки вредности по колона, секаде нула

Овде проверуваме дали во DataFrame има недостасувачки вредности. Излезот покажува дека ги нема во ниедна колона.

Статистички резимеа

Pandas нуди многу алатки за брзо сумирање на податоците. Основните статистики и резимеа се добиваат со еден повик.

# Basic statistical summaries
print(df.describe())

# Summarizing specific columns
print(df['age'].mean())
print(df['age'].std())
Излез од код: статистичко резиме на колоната со возраст

Во резимето просечната возраст е 30, а стандардната девијација 5; најмалата и најголемата возраст се 25 и 35. Тоа дава брз увид во распределбата на возраста во податоците.

Групирање и сумирање

Групирањето и сумирањето се една од силните страни на pandas. Функциите groupby и pivot_table го прават тоа едноставно.

# Grouping and summarizing
group = df.groupby('city')['age'].mean()
print(group)

# Creating a pivot table
pivot = df.pivot_table(values='age', index='city', columns='gender', aggfunc='mean')
print(pivot)
Излез од код: просечна возраст групирана по град
Излез од код: пивот табела на просечната возраст по град

Со групирање по град ја добиваме просечната возраст за секој од нив: Chicago (35), Los Angeles (30) и New York (25). Пивот табелата дава слично резиме поделено по пол; нашиот пример нема податоци за пол, па во тие ќелии стои NaN.

Визуелизација со pandas

Pandas има едноставни, но ефикасни алатки за графикони. Функции како plot, hist и boxplot брзо создаваат графикони.

# Basic plots
df['age'].plot(kind='hist')
df.plot(kind='scatter', x='age', y='income')

Работа со Seaborn и Matplotlib

Податоците од pandas можете да ги визуелизирате и со Seaborn и Matplotlib, кои овозможуваат поприлагодени и подетални графикони.

import seaborn as sns
import matplotlib.pyplot as plt

# Visualizing with Seaborn
sns.boxplot(x='city', y='age', data=df)
plt.show()

Анализа на временски серии

Pandas многу добро работи со временски серии, па трендовите и шемите лесно се откриваат.

# Handling time series data
df['date'] = pd.to_datetime(df['date'])
df.set_index('date', inplace=True)
print(df.resample('M').mean())
Излез од код: месечна просечна возраст по повторно земање примероци

Овде колоната date ја претвораме во datetime и ја поставуваме како индекс. Со месечно повторно земање примероци (resampling) и пресметување на просекот добиваме просечна возраст од 30 години за јануари 2023.

Спојување и комбинирање податоци

Pandas има многу функции за спојување и комбинирање збирки податоци, како merge, join и concat.

# Merging two DataFrames
df1 = pd.DataFrame({'name': ['Alice', 'Bob'], 'age': [25, 30]})
df2 = pd.DataFrame({'name': ['Alice', 'Bob'], 'city': ['New York', 'Los Angeles']})
merged_df = pd.merge(df1, df2, on='name')
print(merged_df)
Излез од код: два DataFrame споени по колоната name

Во овој пример спојуваме два DataFrame по колоната name и ги обединуваме возраста и градот на секое лице.

Практичен пример: анализа со синтетички податоци

Создавање на податоците

За практичен пример создаваме синтетички податоци за да покажеме што може pandas.

import pandas as pd 
import numpy as np
import seaborn as sns
import matplotlib.pyplot as plt

# Creating synthetic data
np.random.seed(0)
dates = pd.date_range('20230101', periods=100)
df = pd.DataFrame(np.random.randn(100, 4), index=dates, columns=list('ABCD'))
df['Category'] = np.random.choice(['Category1', 'Category2', 'Category3'], size=100)
print(df.head())
Излез од код: првите редови од синтетички DataFrame

Ова создава DataFrame од 100 редови со колоните A, B, C и D и категориска колона Category. Вредностите се случајни, а Category зема една од три вредности.

Анализа и визуелизација

Со синтетичките податоци правиме основна анализа и цртаме графикони.

# Statistical summary
print(df.describe())
Излез од код: статистичко резиме на синтетичките податоци

Резимето дава целосен преглед на податоците. Просеците на колоните A, B, C и D се блиску до нула, како што се очекува од случајна нормална распределба, а стандардните девијации се блиску до 1 и покажуваат колку се расфрлани вредностите околу просекот.

# Grouping and summarizing
grouped = df.groupby('Category').mean()
print(grouped)
Излез од код: просеци на колоните групирани по категорија

Групирањето по Category го покажува просекот на секоја колона за секоја категорија и открива по што се разликуваат категориите.

# Visualizing data
df['A'].plot(kind='hist', title='Histogram of A')
plt.show()

sns.boxplot(x='Category', y='B', data=df)
plt.show()
Хистограм на колоната A
Кутиест дијаграм на колоната B по категорија

Хистограмот ја покажува распределбата на вредностите во колоната A, а кутиестиот дијаграм колоната B по категории. Ваквите графикони помагаат да ја разберете распределбата и да забележите екстремни вредности или шеми.

Заклучок

Pandas е сестрана и моќна алатка за анализа на податоци; флексибилноста и лесната употреба ја прават незаменлива за податочните научници. Во оваа статија ги обработивме нејзините основни можности и нивното место во анализата и покажавме практична употреба на синтетички податоци. Со повеќе вежбање и понапредни техники можете подлабоко да навлезете во науката за податоци и со pandas да извлечете повеќе увид од своите податоци.

Извори

  • McKinney, W. (2010). Data Structures for Statistical Computing in Python. Proceedings of the 9th Python in Science Conference, 51–56.
  • McKinney, W. (2017). Python for Data Analysis: Data Wrangling with Pandas, NumPy, and IPython (2. изд.). O’Reilly Media.
  • Развојниот тим на pandas. Документација на pandas. pandas.pydata.org
  • Документација на NumPy. numpy.org
  • Документација на Matplotlib. matplotlib.org
  • Документација на Seaborn. seaborn.pydata.org