Import dan Update Data Frame dari Google Sheet dengan R

Selamat berjumpa kembali dengan blog sederhana ini. Pada artikel terbaru ini, kita akan belajar bersama mengenai cara melakukan import dan update data yang bersumber dari googlesheet akun gmail kita dengan R.

Aktivitas import dan update data merupakan dua aktivitas yang biasa kita lakukan sebelum mengolah, analisis, dan diseminasi hasilnya. Import data berarti kita memanggil dan memasukkana data yang akan kita olah ke dalam aplikasi yang dalam konteks ini adalah aplikasi R. Sedangkan Update adalah aktivitas memperbarui data mulai dari menghapus, menambahkan, menggabung, atau memecah data sehingga data yang baru memiliki karakteristik yang sama namun isi berbeda atau menjadi data baru akibat pemecahan data.

Pada praktik kali ini, package yang akan kita gunakan adalah googlesheet4 yang bisa diaktivasi dengan memanggil library() terlebih dahulu. Berikut tahapan praktik bagaimana kita melakukan import dan update data dari googlesheet dengan R:

# Aktivasi Library
library(googlesheets4)

# Import data yang ada sebelumnya di Google Sheet
sheetku <- gs4_get("https://docs.google.com/spreadsheets/d/xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxgsjdbdjss/edit?usp=sharing")

# Data yang telah diimport dari Google Sheet
before <- read_sheet(sheetku, sheet = "Sheet1")

## √ Reading from "Nilai_UTS_Fisika".

## √ Range ''Sheet1''.

before

## # A tibble: 15 x 2
##    Nama      Nilai
##    <chr>     <dbl>
##  1 Ahmad        70
##  2 Budi         70
##  3 Cici         75
##  4 Doni         78
##  5 Eka          78
##  6 Farhan       80
##  7 Handayani    90
##  8 Ika          86
##  9 Jordan       85
## 10 Kunti        85

# Menambahkan data baru
data_baru <- data.frame(
  Nama = c("Kimi", "Dony", "Mufid", "Cindy", "Dea"),
  Nilai = c(90, 78, 88, 88, 85)
)
data_baru

##    Nama Nilai
## 1  Kimi    90
## 2  Dony    78
## 3 Mufid    88
## 4 Cindy    88
## 5   Dea    85

# melakukan penggabungan data
data_update <- rbind(before, data_baru)
data_update

## # A tibble: 20 x 2
##    Nama      Nilai
##    <chr>     <dbl>
##  1 Ahmad        70
##  2 Budi         70
##  3 Cici         75
##  4 Doni         78
##  5 Eka          78
##  6 Farhan       80
##  7 Handayani    90
##  8 Ika          86
##  9 Jordan       85
## 10 Kunti        85
## 11 Kimi         90
## 12 Dony         78
## 13 Mufid        88
## 14 Cindy        88
## 15 Dea          85

# Mengupdate data yang ada dengan data terbaru
write_sheet(data_update, sheetku, sheet = "Sheet1")

## √ Writing to "Nilai_UTS_Fisika".

## √ Writing to sheet 'Sheet1'.

# Import data yang ada sebelumnya di Google Sheet
data_update <- gs4_get("https://docs.google.com/spreadsheets/d/xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxgsjdbdjss/edit?usp=sharing")
data_update <- read_sheet(sheetku, sheet = "Sheet1")

## √ Reading from "Nilai_UTS_Fisika".

## √ Range ''Sheet1''.

data_update

## # A tibble: 20 x 2
##    Nama      Nilai
##    <chr>     <dbl>
##  1 Ahmad        70
##  2 Budi         70
##  3 Cici         75
##  4 Doni         78
##  5 Eka          78
##  6 Farhan       80
##  7 Handayani    90
##  8 Ika          86
##  9 Jordan       85
## 10 Kunti        85
## 11 Kimi         90
## 12 Dony         78
## 13 Mufid        88
## 14 Cindy        88
## 15 Dea          85

Demikian sedikit sharing kita kali ini. Semoga sedikit ini dapat bermanfaat bagi para pembaca setia blog ini. Jangan lupa untuk share artikel ini kepada yang lain. Selamat memahami dan mempraktikkan!

Uji Asumsi Normalitas Data dengan Python

Jumpa kembali dalam blog sederhana ini. Sebelumnya mohon maaf karena konten dari blog ini sedikit tersendat-sendat karena demikian padatnya pekerjaan. Baik, kali ini kita akan lanjutkan belajar bersama kita mengenai penerapan bahasa pemrograman Python dalam dunia Data Science, Data Mining, atau yang lebih mendasar, yakni Statistika.

Pada konten ini, kita akan mencoba mempraktikkan bagaimana melakukan uji asumsi normalitas suatu data. Adapun jenis uji asumsi normalitas yang kita pakai ada 4 jenis, yaitu uji Kolmogorov-Smirnov, uji Shapiro Wilks, uji Jarque-Bera, dan uji Anderson Darling.

Uji normalitas suatu data atau residual sebuah model adalah hal yang lumrah dilakukan, bahkan dalam beberapa konteks wajib diterapkan. Uji normalitas suatu data bertujuan untuk melihat apakah sebaran dari data mengikuti distribusi teoritis normal dengan rata-rata 0 dan varians sebesar sigma atau tidak. Data yang sebarannya tidak mengikuti distribusi teoritis normal selain menunjukkan keberadaan pencilan (outlier) juga secara langsung memperlihatkan bahwa data tersebut sangat berfluktuatif atau bahkan bervolatil sehingga polanya tidak dapat kita tangkap dengan mudah. Sedangkan uji normalitas dalam pemodelan (data mining) bertujuan untuk melihat seberapa stabil suatu model mampu memprediksi nilai aktual atau amatannya, baik pada satu titik waktu maupun untuk periode berikutnya.

Kendati demikian, tidak semua data yang tak mengikuti distribusi teoritis normal merupakan data yang buruk. Sebab, data yang terlalu menyebar, memiliki kemencengan curam, atau bahkan keruncingan yang tinggi sekalipun mengandung informasi yang lebih banyak. Pencilan dari suatu data dapat kita gunakan sebagai tambahan informasi, temuan, atau bahkan untuk penajaman rekomendasi kebijakan.

Pada praktiknya, sebagian dari kita mungkin telah banyak mengetahui dan memahami jenis-jenis uji asumsi normalitas data. Namun, sebagian mungkin hanya mengetahui atau bahkan lebih cenderung menyukai salah satu uji asumsi normalitas saja dari sekian banyak jenis uji normalitas data yang ada.

Jenis uji asumsi normalitas data atau residual model yang banyak digunakan adalah uji normalitas Kolmogorov-Smirnov atau uji KS. Dengan menggunakan notasi pengujian statistik D, uji ini mampu digunakan untuk membandingkan kedekatan antara distribusi atau sebaran data dengan distribusi teoritis normal. Kelebihan dari uji KS ini adalah dapat digunakan untuk pengujian normalitas data yang berukuran kecil maupun besar. Kendati di sebagian literatur mengatakan bahwa uji ini lebih cocok untuk analisis non-parametrik, sedangkan untuk analisis parametrik lebih disarankan menggunakan uji KS modifikasi Liliefors, di beberapa literatur lainnya justru uji KS dapat digunakan baik untuk analisis non-parametrik maupun analisis parametrik.

Jenis uji normalitas berikutnya adalah uji normalitas Shapiro-Wilks. Mirip dengan uji KS, perbedaan uji Shaprio-Wilks ini terletak pada ukuran datanya. Uji ini lebih cocok digunakan ketika data kita sedikit atau kecil, meski demikian, hasil uji ini terlihat konsisten untuk data yang besar.

Uji normalitas selanjutnya adalah uji normalitas Jarque-Bera atau lebih dikenal dengan uji JB. Berbeda dengan uji KS dan Shapiro-Wilks, kelebihan uji ini selain dapat digunakan untuk data kecil maupun besar, pendekatan dalam membandingkan data dengan distribusi teoritis sangat tampak. Uji JB menggunakan ukuran kemencengan dan keruncingan dari data yang diuji kemudian dibandingkan dengan kemencengan dan keruncingan dari sebaran distribusi normal teoritis.

Terakhir adalah uji normalitas Anderson Darling atau biasa dikenal dengan uji AD. Uji normalitas terakhir ini sering disebut relatif lebih baik daripada hasil pengujian normalitas dengan KS. Namun demikian, untuk data yang berukuran besar, lebih dari 100, hasil dari uji ini relatif konsisten dengan uji lainnya.

Demikian sedikit pengantar mengenai uji asumsi normalitas. Berikutnya kita akan mempraktikkan bagaimana melakukan pengujian asumsi normalitas data menggunakan Python. Data yang kita gunakan kali ini adalah data Indeks Nilai Tukar Pertani (NTP) yang bersumber dari BPS Provinsi Jawa Timur (jatim.bps.go.id) periode bulanan sejak 2013 sampai Mei 2023 (dapat diunduh pada tautan berikut). Setelah datanya telah diunduh, berikut tahapan untuk melakukan pengujian normalitas data dengan Python:

# Aktivasi package
from scipy import stats
import pandas as pd

# Import dataset untuk diuji normalitas
data = pd.read_excel("C:\\Users\\Joko Ade\\Documents\\ntp.xlsx")
data

# Uji normalitas Kolmogorov-Smirnov
kstest_result = stats.kstest(data.ntp, 'norm')

# Output hasil uji
print("Statistik Uji:", kstest_result.statistic)
print("P-value:", kstest_result.pvalue)

Statistik Uji: 1.0
P-value: 0.0

# Uji normalitas Shapiro-Wilk
shapiro_result = stats.shapiro(data.ntp)

# Output hasil uji
print("Statistik Uji:", shapiro_result.statistic)
print("P-value:", shapiro_result.pvalue)

Statistik Uji: 0.9867525100708008
P-value: 0.2667540907859802

# Uji normalitas Jarque-Bera
jarque_bera_result = stats.jarque_bera(data.ntp)

# Output hasil uji
print("Statistik Uji:", jarque_bera_result.statistic)
print("P-value:", jarque_bera_result.pvalue)

Statistik Uji: 2.257436598959202
P-value: 0.3234475537609569

# Uji normalitas Anderson-Darling
anderson_result = stats.anderson(data.ntp, dist='norm')

# Output hasil uji
print("Statistik Uji:", anderson_result.statistic)
print("Tingkat Signifikansi:", anderson_result.significance_level)
print("Tabel Kritis:", anderson_result.critical_values[2])

Statistik Uji: 0.29407650269369867
Tingkat Signifikansi: [15.  10.   5.   2.5  1. ]
Tabel Kritis: 0.764

Berdasarkan nilai p-value semua uji normalitas di atas ternyata > alpha (misal 0,05) sehingga disimpulkan bahwa data tersebut telah mengikuti distribusi normal atau dikatakan data telah memenuhi asumsi kenormalan (terima Ho).

Demikian sedikit sharing kali ini, semoga bermanfaat dan jangan lupa untuk terus mengikuti dan menyimak serta menyebarkan infromasi dan ilmu dari blog sederhana ini. Selamat memahami dan mempraktikkan!