Analiza e të dhënave me Pandas: përpunimi dhe vizualizimi i të dhënave

Shkruar nga Yasin TANIŞ

Botuar fillimisht në Medium

Ilustrim me tabela dhe grafikë për analizën e të dhënave me pandas

Hyrje

Analiza e të dhënave është bërë pjesë e pandarë e vendimmarrjes. Python dallohet në këtë fushë falë bibliotekave të fuqishme për analizën dhe përpunimin e të dhënave. Njëra prej tyre, pandas, është e domosdoshme për shkencëtarët e të dhënave, sepse është fleksibile dhe e lehtë për t’u përdorur. Në këtë artikull shohim veçoritë bazë të pandas dhe si përdoret ajo në analizën e të dhënave, me shembuj praktikë mbi të dhëna reale ose sintetike.

DataFrame dhe Series

Pandas punon me dy struktura kryesore të dhënash. DataFrame është një strukturë dydimensionale me rreshta dhe kolona. Series është njëdimensionale dhe përfaqëson një kolonë të vetme të dhënash.

import pandas as pd

# Creating a simple DataFrame
data = {
    'name': ['Alice', 'Bob', 'Charlie'],
    'age': [25, 30, 35],
    'city': ['New York', 'Los Angeles', 'Chicago']
}
df = pd.DataFrame(data)
print(df)
Rezultati i kodit: një DataFrame dhe një Series të shfaqur në konsolë

Krijimi i DataFrame-ve

Një DataFrame mund të krijohet në shumë mënyra. Mund të ngarkoni të dhëna nga burime si CSV, Excel dhe SQL dhe t’i ktheni në DataFrame.

# Loading data from a CSV file
df = pd.read_csv('data.csv')

# Loading data from an Excel file
df = pd.read_excel('data.xlsx')

# Loading data from an SQL database
import sqlite3
conn = sqlite3.connect('database.db')
df = pd.read_sql_query('SELECT * FROM table', conn)

Ngarkimi dhe ruajtja e të dhënave

Pandas e thjeshton ngarkimin dhe ruajtjen e të dhënave. Mund të lexoni dhe të përpunoni skedarë në shumë formate të ndryshme.

# Saving data
df.to_csv('new_data.csv', index=False)
df.to_excel('new_data.xlsx', index=False)

Pastrimi dhe përgatitja e të dhënave

Pastrimi dhe përgatitja janë hapa kritikë në analizën e të dhënave. Pandas e lehtëson trajtimin e vlerave që mungojnë, konvertimin e llojeve të të dhënave dhe heqjen e të dhënave që nuk ju nevojiten.

# Checking for missing values
print(df.isnull().sum())

# Filling missing values
df.fillna(0, inplace=True)

# Converting data types
df['date'] = pd.to_datetime(df['date'])
Rezultati i kodit: numri i vlerave që mungojnë për çdo kolonë, të gjitha zero

Këtu kontrollojmë nëse DataFrame-i ka vlera që mungojnë. Rezultati tregon se asnjë kolonë nuk ka vlera që mungojnë.

Përmbledhjet statistikore

Pandas ofron shumë mjete për të përmbledhur shpejt të dhënat. Statistikat dhe përmbledhjet bazë merren me një thirrje të vetme.

# Basic statistical summaries
print(df.describe())

# Summarizing specific columns
print(df['age'].mean())
print(df['age'].std())
Rezultati i kodit: përmbledhja statistikore e kolonës së moshës

Në përmbledhje, mosha mesatare është 30 dhe devijimi standard 5; mosha minimale dhe maksimale janë 25 dhe 35. Kjo jep një pamje të shpejtë të shpërndarjes së moshës në të dhëna.

Grupimi dhe përmbledhja

Grupimi dhe përmbledhja janë ndër pikat e forta të pandas. Funksionet groupby dhe pivot_table e bëjnë këtë të thjeshtë.

# Grouping and summarizing
group = df.groupby('city')['age'].mean()
print(group)

# Creating a pivot table
pivot = df.pivot_table(values='age', index='city', columns='gender', aggfunc='mean')
print(pivot)
Rezultati i kodit: mosha mesatare e grupuar sipas qytetit
Rezultati i kodit: tabela pivot e moshës mesatare sipas qytetit

Duke grupuar sipas qytetit marrim moshën mesatare për secilin: Chicago (35), Los Angeles (30) dhe New York (25). Tabela pivot jep një përmbledhje të ngjashme sipas gjinisë; shembulli ynë nuk ka të dhëna për gjininë, ndaj ato qeliza tregojnë NaN.

Vizualizimi i të dhënave me pandas

Pandas ka mjete të thjeshta, por efektive për grafikë. Funksione si plot, hist dhe boxplot krijojnë grafikë shpejt.

# Basic plots
df['age'].plot(kind='hist')
df.plot(kind='scatter', x='age', y='income')

Puna me Seaborn dhe Matplotlib

Të dhënat e pandas mund t’i vizualizoni edhe me Seaborn dhe Matplotlib, që lejojnë grafikë më të përshtatur dhe më të detajuar.

import seaborn as sns
import matplotlib.pyplot as plt

# Visualizing with Seaborn
sns.boxplot(x='city', y='age', data=df)
plt.show()

Analiza e serive kohore

Pandas punon shumë mirë me të dhëna të serive kohore, gjë që i bën prirjet dhe modelet të lehta për t’u gjetur.

# Handling time series data
df['date'] = pd.to_datetime(df['date'])
df.set_index('date', inplace=True)
print(df.resample('M').mean())
Rezultati i kodit: mosha mesatare mujore pas rimostrimit

Këtu e kthejmë kolonën date në datetime dhe e vendosim si indeks. Duke rimostruar sipas muajit dhe duke marrë mesataren, marrim një moshë mesatare prej 30 për janarin 2023.

Bashkimi dhe kombinimi i të dhënave

Pandas ka shumë funksione për bashkimin dhe kombinimin e grupeve të të dhënave, si merge, join dhe concat.

# Merging two DataFrames
df1 = pd.DataFrame({'name': ['Alice', 'Bob'], 'age': [25, 30]})
df2 = pd.DataFrame({'name': ['Alice', 'Bob'], 'city': ['New York', 'Los Angeles']})
merged_df = pd.merge(df1, df2, on='name')
print(merged_df)
Rezultati i kodit: dy DataFrame të bashkuar sipas kolonës name

Në këtë shembull bashkojmë dy DataFrame sipas kolonës name, duke kombinuar moshën dhe qytetin e secilit person.

Shembull praktik: analizë me të dhëna sintetike

Krijimi i të dhënave

Për një shembull praktik krijojmë të dhëna sintetike, për të treguar çfarë mund të bëjë pandas.

import pandas as pd 
import numpy as np
import seaborn as sns
import matplotlib.pyplot as plt

# Creating synthetic data
np.random.seed(0)
dates = pd.date_range('20230101', periods=100)
df = pd.DataFrame(np.random.randn(100, 4), index=dates, columns=list('ABCD'))
df['Category'] = np.random.choice(['Category1', 'Category2', 'Category3'], size=100)
print(df.head())
Rezultati i kodit: rreshtat e parë të një DataFrame sintetik

Kjo krijon një DataFrame me 100 rreshta, me kolonat A, B, C dhe D dhe kolonën kategorike Category. Vlerat janë të rastësishme dhe Category merr një nga tri vlera.

Analiza dhe vizualizimi

Me të dhënat sintetike bëjmë disa analiza bazë dhe vizatojmë grafikë.

# Statistical summary
print(df.describe())
Rezultati i kodit: përmbledhja statistikore e të dhënave sintetike

Përmbledhja jep një pamje të plotë të të dhënave. Mesataret e kolonave A, B, C dhe D janë afër zeros, siç pritet nga një shpërndarje normale e rastësishme, dhe devijimet standarde janë afër 1, gjë që tregon sa gjerësisht shpërndahen vlerat rreth mesatares.

# Grouping and summarizing
grouped = df.groupby('Category').mean()
print(grouped)
Rezultati i kodit: mesataret e kolonave sipas kategorisë

Grupimi sipas Category tregon mesataren e çdo kolone për secilën kategori, gjë që zbulon si ndryshojnë kategoritë mes tyre.

# Visualizing data
df['A'].plot(kind='hist', title='Histogram of A')
plt.show()

sns.boxplot(x='Category', y='B', data=df)
plt.show()
Histogrami i kolonës A
Grafiku me kuti (box plot) i kolonës B sipas kategorisë

Histogrami tregon si shpërndahen vlerat në kolonën A, ndërsa grafiku me kuti tregon kolonën B sipas kategorive. Grafikë të tillë ju ndihmojnë të kuptoni shpërndarjen dhe të dalloni vlera të skajshme (outliers) ose modele.

Përfundim

Pandas është një mjet i gjithanshëm dhe i fuqishëm për analizën e të dhënave; fleksibiliteti dhe lehtësia e përdorimit e bëjnë të domosdoshëm për shkencëtarët e të dhënave. Në këtë artikull trajtuam veçoritë e tij bazë dhe vendin e tyre në një analizë, si dhe treguam përdorimin praktik me të dhëna sintetike. Me më shumë praktikë dhe me teknika më të avancuara, mund të futeni më thellë në shkencën e të dhënave dhe të nxirrni më shumë njohuri nga të dhënat tuaja me pandas.

Burimet

  • McKinney, W. (2010). Data Structures for Statistical Computing in Python. Proceedings of the 9th Python in Science Conference, 51–56.
  • McKinney, W. (2017). Python for Data Analysis: Data Wrangling with Pandas, NumPy, and IPython (bot. 2). O’Reilly Media.
  • Ekipi i zhvillimit të pandas. Dokumentacioni i pandas. pandas.pydata.org
  • Dokumentacioni i NumPy. numpy.org
  • Dokumentacioni i Matplotlib. matplotlib.org
  • Dokumentacioni i Seaborn. seaborn.pydata.org