Analiza podataka s pandasom: obrada i vizualizacija podataka

Piše Yasin TANIŞ

Izvorno objavljeno na Mediumu

Ilustracija tablica i grafikona za analizu podataka s pandasom

Uvod

Analiza podataka postala je nezaobilazan dio donošenja odluka. Python se u tom području ističe zahvaljujući moćnim bibliotekama za analizu i obradu podataka. Jedna od njih, pandas, nezamjenjiva je podatkovnim znanstvenicima jer je fleksibilna i jednostavna za korištenje. U ovom članku razmatramo osnovne mogućnosti pandasa i njegovu primjenu u analizi podataka, uz praktične primjere na stvarnim ili sintetičkim podacima.

DataFrame i Series

Pandas radi s dvjema osnovnim strukturama podataka. DataFrame je dvodimenzionalna struktura sastavljena od redaka i stupaca. Series je jednodimenzionalna struktura i predstavlja jedan stupac podataka.

import pandas as pd

# Creating a simple DataFrame
data = {
    'name': ['Alice', 'Bob', 'Charlie'],
    'age': [25, 30, 35],
    'city': ['New York', 'Los Angeles', 'Chicago']
}
df = pd.DataFrame(data)
print(df)
Izlaz koda: DataFrame i Series ispisani u konzoli

Izrada DataFramea

DataFrame se može izraditi na mnogo načina. Podatke možete učitati iz izvora kao što su CSV, Excel i SQL i pretvoriti ih u DataFrame.

# Loading data from a CSV file
df = pd.read_csv('data.csv')

# Loading data from an Excel file
df = pd.read_excel('data.xlsx')

# Loading data from an SQL database
import sqlite3
conn = sqlite3.connect('database.db')
df = pd.read_sql_query('SELECT * FROM table', conn)

Učitavanje i spremanje podataka

Pandas pojednostavljuje učitavanje i spremanje podataka. Možete čitati i obrađivati datoteke u mnogo različitih formata.

# Saving data
df.to_csv('new_data.csv', index=False)
df.to_excel('new_data.xlsx', index=False)

Čišćenje i priprema podataka

Čišćenje i priprema ključni su koraci analize podataka. Pandas olakšava rad s nedostajućim vrijednostima, pretvorbu tipova podataka i uklanjanje nepotrebnih podataka.

# Checking for missing values
print(df.isnull().sum())

# Filling missing values
df.fillna(0, inplace=True)

# Converting data types
df['date'] = pd.to_datetime(df['date'])
Izlaz koda: broj nedostajućih vrijednosti po stupcu, posvuda nula

Ovdje provjeravamo ima li DataFrame nedostajućih vrijednosti. Izlaz pokazuje da ih nema ni u jednom stupcu.

Statistički sažeci

Pandas nudi mnogo alata za brzo sažimanje podataka. Osnovnu statistiku i sažetke dobivate jednim pozivom.

# Basic statistical summaries
print(df.describe())

# Summarizing specific columns
print(df['age'].mean())
print(df['age'].std())
Izlaz koda: statistički sažetak stupca dobi

U sažetku je prosječna dob 30, a standardna devijacija 5; najmanja i najveća dob iznose 25 i 35. To daje brz uvid u raspodjelu dobi u podacima.

Grupiranje i sažimanje

Grupiranje i sažimanje jedna je od jakih strana pandasa. Funkcije groupby i pivot_table to znatno pojednostavljuju.

# Grouping and summarizing
group = df.groupby('city')['age'].mean()
print(group)

# Creating a pivot table
pivot = df.pivot_table(values='age', index='city', columns='gender', aggfunc='mean')
print(pivot)
Izlaz koda: prosječna dob grupirana po gradu
Izlaz koda: pivot tablica prosječne dobi po gradu

Grupiranjem po gradu dobivamo prosječnu dob za svaki od njih: Chicago (35), Los Angeles (30) i New York (25). Pivot tablica daje sličan sažetak raščlanjen po spolu; naš primjer ne sadrži podatke o spolu, pa te ćelije prikazuju NaN.

Vizualizacija podataka s pandasom

Pandas ima jednostavne, ali učinkovite alate za crtanje grafikona. Funkcije kao što su plot, hist i boxplot brzo izrađuju grafikone.

# Basic plots
df['age'].plot(kind='hist')
df.plot(kind='scatter', x='age', y='income')

Rad sa Seabornom i Matplotlibom

Podatke iz pandasa možete vizualizirati i pomoću Seaborna i Matplotliba, koji omogućuju prilagođenije i detaljnije grafikone.

import seaborn as sns
import matplotlib.pyplot as plt

# Visualizing with Seaborn
sns.boxplot(x='city', y='age', data=df)
plt.show()

Analiza vremenskih nizova

Pandas vrlo dobro radi s vremenskim nizovima, pa je lako otkriti trendove i obrasce.

# Handling time series data
df['date'] = pd.to_datetime(df['date'])
df.set_index('date', inplace=True)
print(df.resample('M').mean())
Izlaz koda: mjesečna prosječna dob nakon ponovnog uzorkovanja

Ovdje stupac date pretvaramo u tip datetime i postavljamo ga kao indeks. Ponovnim uzorkovanjem po mjesecima i izračunom prosjeka dobivamo prosječnu dob od 30 za siječanj 2023.

Spajanje i kombiniranje podataka

Pandas ima mnogo funkcija za spajanje i kombiniranje skupova podataka, kao što su merge, join i concat.

# Merging two DataFrames
df1 = pd.DataFrame({'name': ['Alice', 'Bob'], 'age': [25, 30]})
df2 = pd.DataFrame({'name': ['Alice', 'Bob'], 'city': ['New York', 'Los Angeles']})
merged_df = pd.merge(df1, df2, on='name')
print(merged_df)
Izlaz koda: dva DataFramea spojena po stupcu name

U ovom primjeru spajamo dva DataFramea po stupcu name i objedinjujemo dob i grad svake osobe.

Praktičan primjer: analiza sintetičkih podataka

Izrada podataka

Za praktičan primjer izrađujemo sintetičke podatke kako bismo pokazali što pandas može.

import pandas as pd 
import numpy as np
import seaborn as sns
import matplotlib.pyplot as plt

# Creating synthetic data
np.random.seed(0)
dates = pd.date_range('20230101', periods=100)
df = pd.DataFrame(np.random.randn(100, 4), index=dates, columns=list('ABCD'))
df['Category'] = np.random.choice(['Category1', 'Category2', 'Category3'], size=100)
print(df.head())
Izlaz koda: prvi redci sintetičkog DataFramea

Time nastaje DataFrame od 100 redaka sa stupcima A, B, C i D te kategorijskim stupcem Category. Vrijednosti su nasumične, a Category poprima jednu od triju vrijednosti.

Analiza i vizualizacija

Na sintetičkim podacima provodimo nekoliko osnovnih analiza i crtamo grafikone.

# Statistical summary
print(df.describe())
Izlaz koda: statistički sažetak sintetičkih podataka

Sažetak daje potpun pregled podataka. Prosjeci stupaca A, B, C i D blizu su nule, kako se i očekuje kod nasumične normalne raspodjele, a standardne devijacije blizu su 1, što pokazuje koliko su vrijednosti raspršene oko prosjeka.

# Grouping and summarizing
grouped = df.groupby('Category').mean()
print(grouped)
Izlaz koda: prosjeci stupaca grupirani po kategoriji

Grupiranje po stupcu Category pokazuje prosjek svakog stupca za svaku kategoriju i otkriva po čemu se kategorije razlikuju.

# Visualizing data
df['A'].plot(kind='hist', title='Histogram of A')
plt.show()

sns.boxplot(x='Category', y='B', data=df)
plt.show()
Histogram stupca A
Kutijasti dijagram stupca B po kategoriji

Histogram pokazuje raspodjelu vrijednosti u stupcu A, a kutijasti dijagram prikazuje stupac B po kategorijama. Ovakvi grafikoni pomažu razumjeti raspodjelu i uočiti stršeće vrijednosti ili obrasce.

Zaključak

Pandas je svestran i moćan alat za analizu podataka; fleksibilnost i jednostavnost korištenja čine ga nezamjenjivim za podatkovne znanstvenike. U ovom članku obradili smo njegove osnovne mogućnosti i njihovo mjesto u analizi te pokazali praktičnu primjenu na sintetičkim podacima. Uz daljnju vježbu i naprednije tehnike možete dublje zaroniti u znanost o podacima i uz pandas izvući više uvida iz svojih podataka.

Izvori

  • McKinney, W. (2010). Data Structures for Statistical Computing in Python. Proceedings of the 9th Python in Science Conference, 51–56.
  • McKinney, W. (2017). Python for Data Analysis: Data Wrangling with Pandas, NumPy, and IPython (2. izd.). O’Reilly Media.
  • Razvojni tim pandasa. Dokumentacija pandasa. pandas.pydata.org
  • Dokumentacija NumPyja. numpy.org
  • Dokumentacija Matplotliba. matplotlib.org
  • Dokumentacija Seaborna. seaborn.pydata.org