stesiam https://stesiam.com/el/posts/ Μία συλλογή ελληνικών άρθρων για τη Στατιστική και την R. Σε αυτή την ενότητα θα βρούμε μία διαφορετική λίστα άρθρων από την αντίστοιχη αγγλική, μιας και υπάρχουν άρθρα που δεν έχει νόημα να μεταφραστούν και έχουν ενδιαφέρον μόνο για το ελληνόφωνο κοινό. Μελλοντικά, σκοπεύω να δημιουργήσω μία ελληνική μετάφραση - περίληψη για κάθε αγγλικό άρθρο. quarto-1.8.26 Tue, 30 Dec 2025 00:00:00 GMT Διακρίσεις στην εργασία stesiam https://stesiam.com/el/posts/workplace-discrimination/

Εισαγωγή

Η αναζήτηση εργασίας είναι το επόμενο βήμα στη ζωή ενός πρόσφατου απόφοιτου. Έτσι και εγώ έχω ξεκινήσει εδώ και κάμποσο καιρό να αναζητώ μία εργασία. Αυτό το διάστημα που έμπαινα σε σχετικές πλατφόρμες σε καθημερινή βάση παρατηρούσα έναν σημαντικό αριθμό αγγελιών οι οποίες έθεταν αρκετά αμφιλεγόμενους όρους. Από τη μία μεριά μπορεί κάποιος να ισχυριστεί ότι μπορεί ο εκάστοτε εργοδότης να θέτει τις δικές του προϋποθέσεις για το προσωπικό που θα απαρτίζει την επιχείρησή του. Αυτό είναι απολύτως λογικό. Το πρόβλημα ξεκινάει όταν υπάρχουν όροι το προσωπικό μας να έχει κάποιο συγκεκριμένα χαρακτηριστικά τα οποία είναι έμφυτα, γεννιόμαστε με αυτά και (ως επί το πλείστον) δεν μπροούμε να τα αλλάξουμε. Φύλο, εθνικότητα, ηλικία ή ακόμα και γονίδια «ομορφιάς» είνα μερικές σχετικές απαιτήσεις που θα διαβάσουμε σε αρκετές αγγελίες. Προφανώς τα παραπάνω αποτελούν σοβαρές μορφές διακρίσεων οι οποίες κυριαρχούν ακόμα και σήμερα.

Αυτή η αρχική εντύπωση υποστηρίζεται και από τα στατιστικά στοιχεία. Ας ερευνήσουμε το φαινόμενο διακρίσεων φύλου το οποίο είναι και ιδιαίτερα εκτεταμένο. Για αυτό το σκοπό θα αναζητήσουμε τα ποσοστά ανεργίας μεταξύ των φύλων και θα διαπιστώσουμε μία διαχρονική και συνεχιζόμενη μέχρι και σήμερα υψηλότερη ανεργία των γυναικών έναντι των ανδρών. Από το 1998 ποτέ ο δείκτης ανεργίας του εργατικού δυναμικού των γυναικών δεν ήταν σε ίδια επίπεδα. Παρά την αρνητική εικόνα του δείκτη παρατηρείται ότι από το 1998, όπου η διαφορά στην ανεργία μεταξύ των φύλων ήταν στο 10% σταδιακά αυτό το χάσμα αρχίζει να μειώνεται. Πλέον, το 2025 αυτή η διαφορά έχει πέσει στο 4% όπου είναι ενα αισιόδοξο σημάδι αλλά συνάμα μία υπενθύμιση για την ύπαρξη ενός δυσάρεστου φαινομένου προκαταλήψεων και μη ισότιμης ευκαιρίας και στα δύο φύλα.

Show the code
library(readr)
library(dplyr)
library(lubridate)
library(highcharter)
unempl_gender_eu_grc <- read_csv("unempl_gender_eu_grc.csv") %>% 
  select(sex, geo, TIME_PERIOD, OBS_VALUE) %>%
  dplyr::filter(geo == "EL") %>%
  dplyr::mutate(TIME_PERIOD = lubridate::ym(TIME_PERIOD)) %>%
  dplyr::mutate(year = year(TIME_PERIOD)) %>%
  group_by(sex, year) %>%
  summarise(mean = mean(OBS_VALUE)) %>%
  mutate(mean = round(mean, 1)) %>%
  mutate(
    sex = recode(sex,
                 "M" = "Άνδρες",
                 "F" = "Γυναίκες")
  )



highchart() %>%
  hc_chart(
    type = "line"
  ) %>%
  
  # Custom colors (professional palette)
  hc_colors(c("#1f77b4","#e15759")) %>%
  
  # Data
  hc_add_series(
    data = unempl_gender_eu_grc,
    type = "line",
    hcaes(x = year, y = mean, group = sex),
    marker = list(
      enabled = TRUE,
      radius = 4
    ),
    lineWidth = 3
  ) %>%
  
  # Titles
  hc_title(
    text = "Ποσοστό ανεργίας ανά φύλο",
    style = list(fontSize = "18px", fontWeight = "bold")
  ) %>%
  
  hc_subtitle(
    text = "Διαχρονική σύγκριση ανεργίας στην Ελλάδα (1998 - 2025)"
  ) %>%
  
  # Axes
  hc_xAxis(
    title = list(text = "Year"),
    tickLength = 0,
    gridLineWidth = 0
  ) %>%
  
  hc_yAxis(
    title = list(text = "Ανεργία (%)"),
    gridLineDashStyle = "Dash",
    gridLineColor = "#e6e6e6"
  ) %>%
  
  # Tooltip styling
  hc_tooltip(
    shared = TRUE,
    crosshairs = TRUE,
    valueDecimals = 2,
    backgroundColor = "rgba(255,255,255,0.95)",
    borderRadius = 8,
    valueSuffix = " %"
  ) %>%
  
  # Legend styling
  hc_legend(
    align = "center",
    verticalAlign = "bottom",
    layout = "horizontal",
    itemStyle = list(fontWeight = "bold")
  ) %>%
  
  # Smooth animation
  hc_plotOptions(
    series = list(
      animation = list(duration = 800),
      states = list(
        hover = list(
          lineWidthPlus = 1
        )
      )
    )
  )
Show the code
Show the code
data = readr::read_csv("https://github.com/stesiam/scraping-job-postings-xe/releases/download/v1.2/job-posts.csv")
data = data %>%
  select(spc, type, wage, loc, exp, descr, p_date)
Show the code
months_gr <- c(
    "Ιανουαριου" = "January",
    "Φεβρουαριου" = "February",
    "Μαρτιου" = "March",
    "Απριλιου" = "April",
    "Μαιου" = "May",
    "Μαΐου" = "May",
    "Ιουνιου" = "June",
    "Ιουλιου" = "July",
    "Αυγουστου" = "August",
    "Σεπτεμβριου" = "September",
    "Οκτωβριου" = "October",
    "Νοεμβριου" = "November",
    "Δεκεμβριου" = "December"
)

clean_data = data %>% 
    mutate(type = tolower(type)) %>%
    mutate(workingHours = case_when(
      str_detect(type, "πλήρης") ~ "Πλήρης",
      str_detect(type, "μερική")  ~ "Μερική",
      .default = "Αδιευκρίνιστο")
    ) %>%
    mutate(presence = case_when(
      str_detect(type, "φυσική") ~ "Φυσική",
      str_detect(type, "υβριδική")  ~ "Υβριδική",
      str_detect(type, "αποστάσεως")  ~ "Εξ' αποστάσεως",
      .default = "Αδιευκρίνιστο")
    ) %>%
     mutate(contractType = case_when(
      str_detect(type, "αορίστου") ~ "Αορίστου χρόνου",
      str_detect(type, "ορισμένου")  ~ "Ορισμένου χρόνου",
      .default = "Αδιευκρίνιστο")
    ) %>%
  select(-type) %>%
  relocate(workingHours, presence, contractType, .after = spc) %>%
   mutate(exp = case_when(
      str_detect(exp, "Δεν απαιτείται") ~ "0-1",
      str_detect(exp, "Λιγότερο από 1 έτος")  ~ "0-1",
      str_detect(exp, "1-2 έτη") ~ "1-2",
      str_detect(exp, "2-3 έτη")  ~ "2-3",
      str_detect(exp, "3-5 έτη") ~ "3-5",
      str_detect(exp, "5-10 έτη")  ~ "5-10",
      .default = NA)
    ) %>%
  relocate(exp, .after = contractType) %>%
  mutate(
        date = p_date %>%
            str_remove("^[^ ]+\\s+") %>%     # remove weekday
            str_to_lower() %>%               # lowercase
            stringi::stri_trans_general("NFD; [:Nonspacing Mark:] Remove; NFC") %>% 
            str_replace_all(months_gr) %>%   # translate months
            str_squish() %>%
            dmy()
    ) %>%
  select(-p_date)
Warning: There was 1 warning in `mutate()`.
ℹ In argument: `date = `%>%`(...)`.
Caused by warning:
! All formats failed to parse. No formats found.
Show the code
clean_data = clean_data %>%
  mutate(
    exp = fct_relevel(
        exp,
        "0-1", "1-2", "2-3", "3-5", "5-10"
))

Περιγραφικά στοιχεία

Show the code
library(htmltools)
t = table(clean_data$exp)
v=t %>% as.data.frame() |>
  mutate(pct = 100* (Freq / sum(Freq)) ) |>
  mutate( pct = round(pct, 1))

data_points <- list_parse(
  data.frame(
    y = v$pct,            # y-axis value
    category = v$Var1,     # optional, but explicit
    freq = v$Freq
  )
)

chart = highchart() |>
    hc_chart(
        type = "column"    ) |>
    hc_title(
        text = "Απαιτούμενη προϋπηρεσία",
        style = list(fontSize = "18px", fontWeight = "bold")
    ) |>
    hc_subtitle(
        text = "Εργασιακή εμπειρία (σε έτη)",
        style = list(color = "#666666")
    ) |>
    hc_xAxis(
        categories = v$Var1,
        tickLength = 0,
        lineWidth = 0
    ) |>
    hc_yAxis(
        title = list(text = "Παρατηρήσεις"),
        gridLineColor = "none"
    ) |>
    hc_add_series(
        name = "Πλήθος",
        data = data_points
    ) |>
    hc_plotOptions(
        column = list(
            borderWidth = 00
        )
    ) |>
    hc_tooltip(
    useHTML = TRUE,
    headerFormat = "",
    pointFormat = paste0(
      "<b>Έτη εμπειρίας:</b> {point.category}<br>",
      "<b>Ποσοστό θέσεων:</b> {point.y} %<br>",
      "<b>Πλήθος θέσεων:</b> {point.freq}"
    )
  ) |>
    hc_legend(enabled = FALSE)

div(
  class = "lazy-highchart",
  `data-widget` = as.character(chart)
)
Σχήμα 1: SSW
Show the code
freqWorkingHours = table(clean_data$workingHours) %>%
  as.data.frame()


chart2 = highchart() %>%
    hc_chart(
        type = "pie",
        backgroundColor = "transparent"
    ) %>%
    hc_title(
        text = "Κατανομή θέσεων ανά ωράριο εργασίας",
        style = list(
            fontSize = "18px",
            fontWeight = "bold"
        )
    ) %>%
    hc_subtitle(
        text = "Αριθμός πρατηρήσεων και ποσοστό (%) επί του συνόλου των αγγελιών",
        style = list(fontSize = "12px")
    ) %>%
    hc_add_series(
        name = "Percentage",
        data = freqWorkingHours %>%
            mutate(y = Freq, name = Var1) %>%
            select(name, y) %>%
            list_parse(),
        size = "80%",
        innerSize = "50%",   # donut style (remove if you want classic pie)
        dataLabels = list(
            enabled = TRUE,
            format = "<b>{point.name}</b>: {point.percentage:.1f} %",
            style = list(fontSize = "11px")
        )
    ) %>%
    hc_tooltip(
        pointFormat = "<b>{point.y}</b> θέσεις εργασίας <br><b>Ποσοστό:</b> {point.percentage:.1f}%"
    ) %>%
    hc_plotOptions(
        pie = list(
            allowPointSelect = TRUE,
            cursor = "pointer",
            borderWidth = 0,
            showInLegend = TRUE
        )
    ) %>%
    hc_legend(
        align = "center",
        verticalAlign = "bottom",
        layout = "horizontal"
    ) %>%
    hc_colors(c(
        "#2E86AB", "#A23B72", "#F18F01", "#C73E1D"
    )) %>%
    hc_credits(enabled = FALSE)

div(
  class = "lazy-highchart",
  `data-widget` = as.character(chart2))
Show the code
freqWorkingHours = table(clean_data$contractType) %>%
  as.data.frame()


highchart() %>%
    hc_chart(
        type = "pie",
        backgroundColor = "transparent"
    ) %>%
    hc_title(
        text = "Κατανομή θέσεων ανά ωράριο εργασίας",
        style = list(
            fontSize = "18px",
            fontWeight = "bold"
        )
    ) %>%
    hc_subtitle(
        text = "Αριθμός πρατηρήσεων και ποσοστό (%) επί του συνόλου των αγγελιών",
        style = list(fontSize = "12px")
    ) %>%
    hc_add_series(
        name = "Percentage",
        data = freqWorkingHours %>%
            mutate(y = Freq, name = Var1) %>%
            select(name, y) %>%
            list_parse(),
        size = "80%",
        innerSize = "50%",   # donut style (remove if you want classic pie)
        dataLabels = list(
            enabled = TRUE,
            format = "<b>{point.name}</b>: {point.percentage:.1f} %",
            style = list(fontSize = "11px")
        )
    ) %>%
    hc_tooltip(
        pointFormat = "<b>{point.y}</b> θέσεις εργασίας <br><b>Ποσοστό:</b> {point.percentage:.1f}%"
    ) %>%
    hc_plotOptions(
        pie = list(
            allowPointSelect = TRUE,
            cursor = "pointer",
            borderWidth = 0,
            showInLegend = TRUE
        )
    ) %>%
    hc_legend(
        align = "center",
        verticalAlign = "bottom",
        layout = "horizontal"
    ) %>%
    hc_colors(c(
        "#2E86AB", "#A23B72", "#F18F01", "#C73E1D"
    )) %>%
    hc_credits(enabled = FALSE)
Show the code
freqWorkingHours = table(clean_data$presence) %>%
  as.data.frame()


highchart() %>%
    hc_chart(
        type = "pie",
        backgroundColor = "transparent"
    ) %>%
    hc_title(
        text = "Κατανομή θέσεων ανά ωράριο εργασίας",
        style = list(
            fontSize = "18px",
            fontWeight = "bold"
        )
    ) %>%
    hc_subtitle(
        text = "Αριθμός πρατηρήσεων και ποσοστό (%) επί του συνόλου των αγγελιών",
        style = list(fontSize = "12px")
    ) %>%
    hc_add_series(
        name = "Percentage",
        data = freqWorkingHours %>%
            mutate(y = Freq, name = Var1) %>%
            select(name, y) %>%
            list_parse(),
        size = "80%",
        innerSize = "50%",   # donut style (remove if you want classic pie)
        dataLabels = list(
            enabled = TRUE,
            format = "<b>{point.name}</b>: {point.percentage:.1f} %",
            style = list(fontSize = "11px")
        )
    ) %>%
    hc_tooltip(
        pointFormat = "<b>{point.y}</b> θέσεις εργασίας <br><b>Ποσοστό:</b> {point.percentage:.1f}%"
    ) %>%
    hc_plotOptions(
        pie = list(
            allowPointSelect = TRUE,
            cursor = "pointer",
            borderWidth = 0,
            showInLegend = TRUE
        )
    ) %>%
    hc_legend(
        align = "center",
        verticalAlign = "bottom",
        layout = "horizontal"
    ) %>%
    hc_colors(c(
        "#2E86AB", "#A23B72", "#F18F01", "#C73E1D"
    )) %>%
    hc_credits(enabled = FALSE)

Μεθοδολογία πειράματος

Εφαρμογή

Αποτελέσματα

Gagolewski, M. (2022). stringi: Fast and portable character string processing in R. Journal of Statistical Software, 103(2), 1–59. https://doi.org/10.18637/jss.v103.i02
Gagolewski, M. (2025). stringi: Fast and Portable Character String Processing Facilities. Ανακτήθηκε από https://stringi.gagolewski.com/
Grolemund, G., & Wickham, H. (2011). Dates and Times Made Easy with lubridate. Journal of Statistical Software, 40(3), 1–25. Ανακτήθηκε από https://www.jstatsoft.org/v40/i03/
Kunst, J. (2022). highcharter: A Wrapper for the Highcharts Library. Ανακτήθηκε από https://jkunst.com/highcharter/
R Core Team. (2025). R: A Language and Environment for Statistical Computing. Vienna, Austria: R Foundation for Statistical Computing. Ανακτήθηκε από https://www.R-project.org/
Spinu, V., Grolemund, G., & Wickham, H. (2024). lubridate: Make Dealing with Dates a Little Easier. Ανακτήθηκε από https://lubridate.tidyverse.org
Wickham, H. (2025a). forcats: Tools for Working with Categorical Variables (Factors). Ανακτήθηκε από https://forcats.tidyverse.org/
Wickham, H. (2025b). stringr: Simple, Consistent Wrappers for Common String Operations. Ανακτήθηκε από https://stringr.tidyverse.org
Wickham, H., François, R., Henry, L., Müller, K., & Vaughan, D. (2023). dplyr: A Grammar of Data Manipulation. Ανακτήθηκε από https://dplyr.tidyverse.org
Wickham, H., Hester, J., & Bryan, J. (2025). readr: Read Rectangular Text Data. Ανακτήθηκε από https://readr.tidyverse.org

Αναφορά

Αναφορά BibTeX:
@online{2025,
  author = {, stesiam},
  title = {Διακρίσεις στην εργασία},
  date = {2025-12-30},
  url = {https://stesiam.com/el/posts/workplace-discrimination/},
  langid = {el}
}
Για απόδοση ευγνωμοσύνης, παρακαλούμε αναφερθείτε σε αυτό το έργο ως:
stesiam. (2025, December 30). Διακρίσεις στην εργασία. Retrieved from https://stesiam.com/el/posts/workplace-discrimination/
]]> R Περιγραφικη αναλυση https://stesiam.com/el/posts/workplace-discrimination/ Tue, 30 Dec 2025 00:00:00 GMT Στατιστικά των Αποφοίτων Στατιστικής stesiam https://stesiam.com/el/posts/eda-graduates-of-statistics/

Εισαγωγή

Σε αυτό το άρθρο θα ήθελα να αναλύσω τα δεδομένα των φοιτητών στο τμήμα μου, Στατιστική και Ασφαλιστική στο Πειραιά. Ο πρόσφατος οδηγός σπουδών περιλαμβάνει δεδομένα σχετικά με όσους επιβιώνουν (αποφοιτούν) από τη σχολή όπως το μέσο βαθμό αποφοίτησης και τα έτη που χρειάστηκαν για αυτή. Αρχικά, παρατηρούμε ότι τα δεδομένα για τα οποία ενδιαφερόμαστε είναι σε μία σχετικά οργανωμένη μορφή, σε πίνακες (το οποίο είναι καλό 😀), βέβαια δεν τα έχουμε σε μορφή αρχείου, αλλά είναι μέρος ενός αρχείου pdf (το οποίο δεν είναι καλό 😢). Ευτυχώς, ανάμεσα σε αυτό το χάος 20,000 και πλέον πακέτων υπάρχει και το πακέτο tabulizer που δίνει τη λύση σε τέτοιου είδους προβλήματα μιας και μπορεί να διαβάσει τους πίνακες εντός αρχείων pdf.

Σημείωση

Το άρθρο είναι λίγο παλιό. Το πακέτο όταν είχα γράψει αυτό το άρθρο λεγόταν tabulizer. Λίγα χρόνια αργότερα, όταν επιχείρησα να κάνω μερικές αλλαγές παρατήρησα ένα σφάλμα στο συγκεκριμένο άρθρο. Το πακέτο πλέον έχει μετονομαστεί και μπορείτε να το βρείτε ως tabulapdf. Επομένως, προσέξτε το καθώς διάφορες πηγές στο διαδίκτυο ακόμα αναφέρονται σε αυτό με το παλιό όνομα.

Εισαγωγή βιβλιοθηκών

Όπως εξηγήσαμε και προηγουμένως, δεδομένου ότι θα πρέπει να εξάγω δεδομένα και δει πίνακες από αρχείο pdf, το πακέτο tabulizer (νυν tabulapdf) είναι απαραίτητο. Δυστυχώς, καθώς προσπαθούσα να το εγκαταστήσω λάμβανα συνεχώς ένα μήνυμα σφάλματος παρόμοιο με αυτό. Το πρόβλημα φαίνεται να σχετιζόταν με το πακέτο rJava και προκειμένου να επιλύσω το πρόβλημα ακολούθησα τις επισημάνσεις αυτού του σχολίου. Έπειτα την εγκατάσταση του rJava, κατάφερα να εγκαταστήσω το πακέτο ως εξής:

Δείξε τον κώδικα

Εξαγωγή δεδομένων

Ο οδηγός σπουδών ξεκινάει δίνοντας κάποιες πληροφορίες για το πανεπιστήμιο, συνεχίζει με βασικά στοιχεία της σχολής το εκπαιδευτικό προσωπικό, τις προϋποθέσεις για τη λήψη πτυχίου και συνεχίζεται με αναλυτικότερα περιγραφή κάθε μαθήματος του τμήματος. Στο τέλος του οδηγού σπουδών του τμήματός μας έχει καθιερωθεί να δημοσιεύονται κάποια βασικά στατιστικά στοιχεία των φοιτητών. Θα ασχοληθούμε με τον πρόσφατα αναρτημένο οδηγό σπουδών του 2022, όπου περιέχει δεδομένα των εισαγωγών στο τμήμα, των αποφοίτων, της δομής των σπουδαστών και άλλα δεδομένα από το 2004. Όπως είναι εμφανές απλά μας ενδιαφέρουν οι τελευταίες σελίδες, από έναν πολυσέλιδο οδηγό σπουδών μιας και αποτελείται από 200 σελίδες. Θα ξεκινήσουμε κατεβάζοντας τον οδηγό από τον δοσμένο σύνδεσμο και στη συνέχεια θα επιλέξω με τη βοήθεια του πακέτου pdftools τις τελευταίες σελίδες, από την 186η μέχρι την 190η σελίδα, ώστε να εξαγάγω στη συνέχεια μόνο τους απαραίτητους πίνακες.

Δείξε τον κώδικα
url = "https://www.unipi.gr/faculty/mbouts/anak/OS_22_23.pdf"
download.file(url,
               destfile = "sg22.pdf", 
              method = "wget",
              extra = "--no-check-certificate")

pdf_subset('sg22.pdf',
  pages = 186:190,  output = "subset.pdf")

Αυτός ο περιορισμός είναι αρκετά σημαντικός έτσι ώστε να μειώσω το διάστημα αναζήτησης για τους πίνακες, συνεπώς έχω μια πιο γρήγορη εκτέλεση της εντολής (5 σελίδες αντί για 200). Στη συνέχεια αναλαμβάνει έργο το πακέτο tabulapdf από το οποίο θα χρειαστούμε την εντολή extract_tables που συλλέγει όλους τους πίνακες από ένα pdf και τους συγκεντρώνει σε μία λίστα. Στη δικιά μας περίπτωση εντοπίστηκαν πέντε πίνακες συνεπώς έλαβα ως αποτέλεσμα μία λίστα που περιείχε πέντε data.frames - πίνακες δεδομένων. Είναι εκπληκτικό ότι μέσα σε λίγα δευτεόλεπτα έλαβα όλη τη πληροφορία σε μία μορφή έτοιμη για ανάλυση. Αν προσπαθούσα να εισάγω τα δεδομένα με πιο παραδοσιακούς τρόπους, όπως αντιγραφή - επικόλληση θα είχα ξοδέψει πάνω από 1 ώρα!

Δείξε τον κώδικα
statistics_tables <- extract_tables(
    file   = "subset.pdf", 
    method = "decide", 
    output = "tibble")

Εισακτέοι φοιτητές

Ο πρώτος πίνακας που έχω λάβει είναι σχετικά με τους εισακτέους φοιτητές, δηλαδή με όσους επιτυγχάνουν να εγγραφούν στη σχολή. Για να εγγραφείς σε μία σχολή υπάρχουν τρεις βασικού τρόποι. Ο πρώτος και ο πιο διαδεδομένος τρόπος είναι μέσω Πανελληνίων εξετάσεων, όπου διαγωνίζεσαι με όλους τους μαθητές της Γ Λυκείου για την εισαγωγή στη τριτοβάθμια εκπαίδευση. Ο δεύτερος τρόπος είναι αν είσαι ήδη πτυχιούχος, έχεις το δικαίωμα αντί να περάσεις το μαρτύριο των Πανελληνιών να δώσεις εξετάσεις στη σχολή που σε ενδιαφέρει. Συνήθως αυτές η εξετάσεις διοργανώνονται από την ίδια τη σχολή και όχι από το κράτος όπως στις πανελλήνιες και στις περισσότερες σχολές προγραμματίζονται τον Δεκέμβριο. Μία τρίτη επιλογή είναι να πάρεις μεταγραφή. Αν έχεις περάσει σε ένα τμήμα για το οποίο υπάρχει ένα ομοειδές σε άλλη πόλη μπορείς να ζητήσεις μεταγραφή σε άλλο τμήμα, ωστόσο οι θέσεις είναι περιορισμένες και τα κριτήρια πάρα πολύ αυστηρά. Αν θέλετε να διαβάσετε τη λίστα με τις αντιστοιχίες των σχολών μπορείτε να πατήσετε εδώ. Για παράδειγμα, στο τμήμα μας (Στατιστική, Πειραιά) ερχόντουσαν να παρακολουθήσουν μαθήματα φοιτητές του Στατιστικού του Πανεπιστημίου Αιγαίου στη Σάμο, μιας και ήλπιζαν ότι θα πάρουν μεταγραφή στο δικό μας τμήμα που είναι κοντά στην Αθήνα. Συνολικά, το Υπουργείο Παιδείας έχει αντιστοιχίσει 4 τμήματα στο πεδίο της Στατιστικής, ως αντίστοιχα και από όσο ξέρω δεν υπάρχουν άλλα στην Ελλάδα (σε προπτυχιακό επίπεδο τουλάχιστον).

Δείξε τον κώδικα
nodes <- list(
    list(id = "Main", name = "Τρόποι εισαγωγής"),
    list(id = "Sub1", name = "Πανελλήνιες εξετάσεις"),
    list(id = "Sub2", name = "Κατατακτήριες"),
    list(id = "Sub3", name = "Μεταγραφή"),
    list(id = "Sub1A", name = "ΕΠΑΛ"),
    list(id = "Sub1B", name = "Λύκεια"),
    list(id = "Sub3A", name = "Κριτηρίων"),
    list(id = "Sub3B", name = "Αμοιβαία")
)

# Links
links <- list(
    list(from = "Main", to = "Sub1"),
    list(from = "Main", to = "Sub2"),
    list(from = "Main", to = "Sub3"),
    list(from = "Sub1", to = "Sub1A"),
    list(from = "Sub1", to = "Sub1B"),
    list(from = "Sub3", to = "Sub3A"),
    list(from = "Sub3", to = "Sub3B")
)

# Modern Organization Chart
highchart() %>%
    hc_chart(type = "organization", inverted = FALSE) %>%
    hc_title(
        text = "Τρόποι εισαγωγής στη τριτοβάθμια εκπαίδευση",
        style = list(fontSize = "18px", fontWeight = "bold")
    ) %>%
    hc_series(
        list(
            type = "organization",
            keys = c("from", "to"),
            data = links,
            nodes = nodes,
            colorByPoint = FALSE,
            borderColor = "#E0E0E0",
            borderWidth = 1,
            nodeWidth = 80,
            nodePadding = 20,
            hangingIndent = 30,
            levels = list(
                list(level = 0, color = "#4e79a7", borderRadius = 6),
                list(level = 1, color = "#f28e2b", borderRadius = 6),
                list(level = 2, color = "#76b7b2", borderRadius = 6)
            ),
            dataLabels = list(
                align = "center",
                verticalAlign = "middle",
                style = list(fontSize = "0.85em", fontWeight = "bold", textOutline = "none"),
                useHTML = TRUE,
                formatter = JS("
          function() {
            let label = this.point.name;
            // shrink font if text is too long for small screens
            if (window.innerWidth < 500 && label.length > 8) {
              return '<span style=\"font-size:11px\">' + label + '</span>';
            }
            return label;
          }
        ")
            )
        )
    ) %>%
    hc_responsive(
        rules = list(
            list(
                condition = list(maxWidth = 500),
                chartOptions = list(
                    series = list(
                        nodeWidth = 70,
                        dataLabels = list(
                            style = list(fontSize = "0.75em", fontWeight = "normal")
                        )
                    )
                )
            )
        )
    )
Σχήμα 1: Σχεδιάγραμμα τρόπων εισαγωγής στην τριτοβάθμια εκπαίδευση στην Ελλάδα

Αφού κάναμε μία σύνοψη των τρόπων εισαγωγής στα τμήματα τριτοβάθμιας εκπαίδευσης ας δούμε τι ισχύει στο δικό μας τμήμα με βάση τα δημοσιευμένα στοιχεία.

Δείξε τον κώδικα
admitted_students = statistics_tables[[1]] %>%
  .[-1,] %>%
  setNames(c("Year", "Main_exams", "Transfer", "Entry_exams", "Other", "Total")) %>%
  tidyr::drop_na() %>%
  dplyr::filter(Transfer >= 0) %>%
  mutate(across(c(2:5), as.numeric))

Στη σχολή μας οι συνολικοί εισακτέοι από όλες τις κατηγορίες κυμαίνονταν στους 200 μέχρι 250 μέχρι το ακαδημαϊκό έτος 2012-2013. Τα επόμενα δύο έτη έσπασε το φράγμα των 250 εισακτέων. Στη συνέχεια η κατάσταση επανήλθε στα προαναφερόμενα όρια μέχρι το 2019, όπου είχαμε ιστορικό ρεκόρ εισαγωγών στο τμήμα με 292 εισακτέους. Μία σημαντική παρατήρηση που έκανα είναι πόσο όμοιο είναι το σχήμα της γραμμής μεταξύ και πόσο ταυτίζονται οι καμπύλες των συνολικών φοιτητών με αυτή των μεταγραφών, στην ουσία είναι ο απρόβλεπτος παράγοντας για την όποια ισχυρή διακύμανση των εισακτέων.

Δείξε τον κώδικα
colors <- c("rgba(52, 152, 219, 0.6)",  # blue
            "rgba(231, 76, 60, 0.6)",   # red
            "rgba(46, 204, 113, 0.6)",  # green
            "rgba(155, 89, 182, 0.6)")  # purple

highchart() %>%
  hc_chart(type = "areaspline") %>%  # smooth stacked lines    hc_title(text = "Stacked Line Chart Example") %>%
    hc_xAxis(categories = admitted_students$Year) %>%
    hc_yAxis(title = list(text = "Αριθμός φοιτητών")) %>%
  hc_title(text = "Συνολικές εγγραφές φοιτητών ανά ακαδημαϊκό έτος") %>%
  hc_subtitle(text = "Απόλυτος αριθμός εγγραφών με βάση την κατηγορία εισαγωγής") %>%
  hc_colors(colors) %>%  # apply custom colors
  hc_plotOptions(
    areaspline = list(
      stacking = "normal",
      marker = list(enabled = FALSE),
      lineWidth = 2,      # thicker smooth line
      fillOpacity = 0.6   # subtle transparency
    )) %>%
   hc_add_series(name = "Πανελλήνιες", data = admitted_students$Main_exams) %>%
    hc_add_series(name = "Μεταγραφή", data = admitted_students$Transfer) %>%
    hc_add_series(name = "Κατατακτήριες", data = admitted_students$Entry_exams) %>%
    hc_add_series(name = "Άλλο", data = admitted_students$Other) %>%
    hc_tooltip(shared = TRUE)
Σχήμα 2: Χρονοσειρά συνολικών εγγραφών ανά τρόπο εισαγωγής

Αφού μελετήσαμε στο Σχήμα 2 τις απόλυτες τιμές των επιτυχόντων. Ωστόσο, ο αριθμός των φοιτητών αυτή τη τελευταία 20ετία κυμαίνεται μεταξύ του 200 και του 300 που κάνει την σύγκριση μεταξύ των ετών δύσκολη. Έτσι θα υπολογίσω και τη ποσοστιαία συμμετοχή κάθε κατηγορίας ανά έτος. Ένα πολύ ενδιαφέρον στοιχείο είναι ότι κάποια ακαδημαϊκά έτη ο αριθμός των φοιτητών που εισήλθαν στο τμήμα εκτός Πανελληνίων Εξετάσεων προσέγγιζε το ένα τρίτο των συνολικών εγγραφών. Αυτό φαίνεται να έχει συμβεί σε δύο ακαδημαϊκά έτη, το 2010-2011 και το 2013-2014.

Δείξε τον κώδικα
colors <- c("rgba(52, 152, 219, 0.6)",  # blue
            "rgba(231, 76, 60, 0.6)",   # red
            "rgba(46, 204, 113, 0.6)",  # green
            "rgba(155, 89, 182, 0.6)")  # purple

highchart() %>%
  hc_chart(type = "areaspline") %>%  # smooth stacked lines    hc_title(text = "Stacked Line Chart Example") %>%
    hc_xAxis(categories = admitted_students$Year) %>%
    hc_yAxis(title = list(text = "Ποσοστό (%) φοιτητών")) %>%
  hc_title(text = "Συνολικές εγγραφές φοιτητών ανά ακαδημαϊκό έτος") %>%
  hc_subtitle(text = "") %>%
  hc_subtitle(text = "") %>%
  hc_colors(colors) %>%  # apply custom colors
  hc_plotOptions(
    areaspline = list(
      stacking = "percent",
      marker = list(enabled = FALSE),
      lineWidth = 2,      # thicker smooth line
      fillOpacity = 0.6   # subtle transparency
    )) %>%
   hc_add_series(name = "Πανελλήνιες", data = admitted_students$Main_exams) %>%
    hc_add_series(name = "Μεταγραφή", data = admitted_students$Transfer) %>%
    hc_add_series(name = "Κατατακτήριες", data = admitted_students$Entry_exams) %>%
    hc_add_series(name = "Άλλο", data = admitted_students$Other) %>%
    hc_tooltip(shared = TRUE)
Σχήμα 3: Χρονοσειρά

Πληθυσμός φοιτητών

Ένας δημογραφικός δείκτης που μπορεί να μας δώσει μία αδρή ένδειξη για τη κατάσταση στο τμήμα είναι σίγουρα ο αριθμός των σπουδαστών του. Αυτό είναι πολύ απλό αν αναλογιστούμε τις επιπτώσεις από έναν αρκετά μεγάλο αριθμό ατόμων προς φοίτηση με δεδομένους πόρους. Ο συντριπτικός όγκος φοιτητών είναι προπτυχιακοί με ποσοστό 95%. Το ποσοστό θα μπορούσαμε να πούμε είναι λογικό και αναμέναμε να υπερισχύουν οι προπτυχιακοί μιας και ο κύκλος σπουδών τους είναι μεγαλύτερος των μεταπτυχιακών. Επιπλέον, στο τμήμα προσφέρονται μόνο δύο (επι πληρωμή) μεταπτυχιακά προγράμματα που καθιστά δυσκολότερη την ομαλότερη ροή σε σπουδές υψηλότερων σπουδών ως προς την αναλογία των σπουδαστών.

Το στοιχείο που αξίζει ιδιαίτερης αναφοράς δεν είναι η αναλογία, αλλά ο απόλυτος αριθμός των σπουδαστών προπτυχιακού επιπέδου. Δυστυχώς, τα τελευταία χρόνια ο δείκτης συνεχίζει και αυξάνεται ανεξέλεγκτα έχοντας ξεπεράσει του 3000 φοιτητές! Η μόνη χρονιά που μειώθηκε ο αριθμός τους είναι την εξεταστική του κορονοιού η οποία έγινε ηλεκτρονικά.

Δείξε τον κώδικα
f = statistics_tables[[2]] %>%
  setNames(c("Year", "BSc", "MSc_A","MSc_B", "PhD")) %>%
  drop_na() %>%
  mutate(MSc_B = stringr::str_replace(MSc_B, "-", "0")) %>%
  mutate(across(-Year, ~ as.integer(.))) %>%
  mutate(MSc = MSc_A + MSc_B) %>%
  mutate(PhDperBSc = round((PhD/BSc)*100, digits = 1)) %>%
  mutate(PhDperMSc = round((PhD/MSc)*100, digits = 1))
Δείξε τον κώδικα
colors <- c("rgba(52, 152, 219, 0.6)",  # blue
            "rgba(231, 76, 60, 0.6)",   # red
            "rgba(46, 204, 113, 0.6)")
highchart() %>%
  hc_chart(type = "areaspline") %>%  # smooth stacked lines    hc_title(text = "Stacked Line Chart Example") %>%
    hc_xAxis(categories = admitted_students$Year) %>%
    hc_yAxis(title = list(text = "Αριθμός φοιτητών")) %>%
  hc_title(text = "Συνολικός πληθυσμός φοιτητών του τμήματος") %>%
  hc_subtitle(text = "Απόλυτος αριθμός φοιτητών ανά κατηγορία σπουδών") %>%
  hc_colors(colors) %>%  # apply custom colors
  hc_plotOptions(
    areaspline = list(
      stacking = "normal",
      marker = list(enabled = FALSE),
      lineWidth = 2,      # thicker smooth line
      fillOpacity = 0.6   # subtle transparency
    )) %>%
   hc_add_series(name = "Προπτυχιακοί", data = f$BSc) %>%
    hc_add_series(name = "Μεταπτυχιακοί", data = f$MSc) %>%
    hc_add_series(name = "Διδακτορικοί", data = f$PhD) %>%
    hc_tooltip(shared = TRUE)

Βέβαια το γράφημα δεν είναι αρκετά σαφές για τους φοιτητές εκτός των προυπτυχιακών μιας και το ποσοστό τους είναι συγκριτικά πολύ μικρότερο. Έτσι λοιπόν θα απομονώσω του μεταπτυχιακούς και τους διδακτορικούς φοιτητές.

Δείξε τον κώδικα
colors <- c("rgba(52, 152, 219, 0.6)",  # blue
            "rgba(231, 76, 60, 0.6)",   # red
            "rgba(46, 204, 113, 0.6)",  # green
            "rgba(155, 89, 182, 0.6)")  # purple

highchart() %>%
  hc_chart(type = "areaspline") %>%  # smooth stacked lines    hc_title(text = "Stacked Line Chart Example") %>%
    hc_xAxis(categories = admitted_students$Year) %>%
    hc_yAxis(title = list(text = "Αριθμός φοιτητών")) %>%
  hc_title(text = "Αριθμός φοιτητών μεταπτυχιακών & διδακτορικών") %>%
  hc_subtitle(text = "Απόλυτος αριθμός εγγραφών με βάση την κατηγορία εισαγωγής") %>%
  hc_colors(colors) %>%  # apply custom colors
  hc_plotOptions(
    areaspline = list(
      stacking = "normal",
      marker = list(enabled = FALSE),
      lineWidth = 2,      # thicker smooth line
      fillOpacity = 0.6   # subtle transparency
    )) %>%
   hc_add_series(name = "Μεταπτυχιακό Εφαρμοσμένη Στατιστική", data = f$MSc_A) %>%
    hc_add_series(name = "Μεταπτυχιακό Αναλογιστικά", data = f$MSc_B) %>%
    hc_add_series(name = "Διδακτορικοί", data = f$PhD) %>%
    hc_tooltip(shared = TRUE)

Κατανομή βαθμών αποφοίτησης

Όλα τα παραπάνω στοιχεία ήταν κατά κάποιο τρόπο δημογραφικά και δεν είχαν και κάποια ιδιαίτερη αξία. Πάμε λοιπόν να εξετάσουμε το πρώτο ενδιαφέρον στοιχείο που που είναι η κατανομή των βαθμών αποφοίτησης. Στα στοιχεία που δημοσιεύει το τμήμα οι βαθμοί έχουν χωριστεί σε τέσσερις κατηγορίες ανάλογα του βαθμού αποφοίτησης:

  • Από τη βάση (5) μέχρι 6
  • Από 6 εώς 7
  • Από 7 μέχρι 8.5 και
  • αυτοί που πήραν πάνω από 8.5

Από τα στοιχεία προκύπτει μία ιδιαίτερα ανισόρροπη κατανομή των βαθμών. Αρχικά παρατηρούμε ότι το ποσοστό των ατόμων που αποφοιτούν με <<Άριστα>> είναι ιδιαίτερα μικρό που μετά βίας είναι ορατό στο διάγραμμα. Το ποσοστό των αποφοίτων με άριστα κυμαίνεται μεταξύ του 4.8% των συνολικών αποφοίτων του αντίστοιχου ακαδημαϊκού έτους έως και 0%, μιας και υπήρχαν έτη χωρίς αριστεύσαντες πτυχιούχους. Άλλο ένα προβληματικό στοιχείο είναι η αποφοίτηση με τους χαμηλότερους δυνατούς βαθμούς (κατηγορία βαθμών από 5 μέχρι 6), μιας και ιστορικά είχαμε τέτοια αποφοίτηση ακόμα για άνω του ένα τρίτου των συνολικών αποφοίτων. Βέβαια όλα τα παραπάνω είναι κατά κάποιο τρόπο λίγο αναμενόμενα σε συνάρτηση με τη δυσκολία της σχολής και του αντικειμένου. Αυτό που ενδεχομένως δηλώνει προβλήματα της ίδιας της σχολής είναι όταν χωρίσουμε τους βαθμούς σε δύο μεγάλες κατηγορίες, η μία οι φοιτητές που αποφοίτησαν με βαθμό άνω του 7 και η άλλη ομάδα όσοι αποφοίτησαν με βαθμό κάτω από 7. Εκεί παρατηρούμε επί σειρά ετών ότι οι απόφοιτοι της δεύτερης ομάδας αποτελούν το 80% και υπήρχαν πρόσφατα έτη που αποτελούσαν το 90% αυτών. Ενδεικτικά αναφέρονται τα ακαδημαϊκά έτη 2009-2010, 2012-2013, 2016-2017 & 2017-2018, ως κάποια με τις χειρότερες επιδόσεις.

Δείξε τον κώδικα
graduates_distr_grades = statistics_tables[[4]] %>%
  setNames(c("Year", "5to6", "6to7", "7to8p5", "over8p5", "AVG")) %>%
  drop_na() %>%
  mutate(across(everything(), ~ str_remove(., "\\(.*\\)")),
         across(everything(), ~ str_trim(.)),
         across(everything(), ~ str_replace_all(.,pattern = ",",replacement = ".")),
         across(-Year, ~ round(as.numeric(.), digits = 1)))

colors <- c(
  "#E24A4A",
  "#FF9090",
  "#90C3FF",
  "#4A90E2"  
)

highchart() %>%
  hc_chart(type = "areaspline") %>%  # smooth stacked lines    hc_title(text = "Stacked Line Chart Example") %>%
    hc_xAxis(categories = graduates_distr_grades$Year) %>%
    hc_yAxis(title = list(text = "Ποσοστό (%) φοιτητών")) %>%
  hc_title(text = "Κατηγορίες βαθμών αποφοίτησης φοιτητών Στατιστικής") %>%
  hc_subtitle(text = "Το 1/3 των φοιτητών αποφοιτεί με βαθμό κάτω του 7.") %>%
  hc_colors(colors) %>%  # apply custom colors
  hc_plotOptions(
    areaspline = list(
      stacking = "percent",
      marker = list(enabled = FALSE),
      lineWidth = 2,      # thicker smooth line
      fillOpacity = 0.6   # subtle transparency
    )) %>%
   hc_add_series(name = "Βαθμός 5-6", data = graduates_distr_grades$`5to6`) %>%
    hc_add_series(name = "Βαθμός 6-7", data = graduates_distr_grades$`6to7`) %>%
    hc_add_series(name = "Βαθμός 7-8.5", data = graduates_distr_grades$`7to8p5`) %>%
    hc_add_series(name = "Βαθμός 8.5+", data = graduates_distr_grades$over8p5) %>%
    hc_tooltip(shared = TRUE,   
               valueSuffix = "%")
Σχήμα 4: Χρονοσειρά κατηγοριάς βαθμών αποφοίτησης στο τμήμα Στατιστικής και Ασφαλιστικής, Πανεπιστήμιο Πειραιά

Κατανομή έτους αποφοίτησης

Ένας από τους πιο απογοητευτικούς δείκτες για το τμήμα μας είναι πόσα έτη χρειάζονται σε κάποιον για να αποφοιτήσει. Αυτός ο δείκτης είναι πλέον σημαντικός για πολλούς λόγους. Αρχικά η Ελλάδα έχει ψηφίσει πρόσφατα τη διαραφή των φοιτητών και πλέον υπάρχει όριο στη φοίτηση, το οποίο υπολογίζεται ως εξής:

όπου n είναι τα έτη που διαρκεί η φοίτηση. Στις περισσότερες σχολές η φοίτηση είναι τετραετής, με εξαίρεση τις πολυτεχνικές και τις ιατρικές όπου εκεί η φοίτηση έχει διάρκεια 5 ετών. Συνεπώς, με βάση τον παραπάνω κανόνα, το όριο φοίτησης για το τμήμα μας είναι 6 έτη. Όμως η πραγματικότητα είναι αρκετά πιο σκληρή. Το συγκεκριμένο τμήμα αποτελεί ένα από τα τμήματα με ιστορικά υψηλό ποσοστό φοιτητών που έχουν ξεπεράσει το ν+2 ως προς το ποσοστό του συνόλου των προτυχιακών του, με τα πρόσφατα στοιχεία της ΕΛΣΤΑΤ να κατατάσσουν το τμήμα Στατιστικής και Ασφαλιστικής του Πειραιά στην 35η θέση σε αυτό το δείκτη. Με βάση το παρακάτω γράφημα,

Δείξε τον κώδικα
graduate_data = statistics_tables[[5]] %>%
  setNames(c("Year", "4Y", "5Y", "6Y", "7Y", "8Y", "9Y", "10Y", "11Y+","AVGY")) %>%
  .[-c(1:2),] %>%
  drop_na() %>%
  dplyr::filter(Year != "2009-2022") %>%
  mutate(across(contains("Y") & !matches("^Year$"), as.numeric)) %>%
  mutate("4y" = `4Y`,
         "4to6" = `5Y` + `6Y`,
         "6to8" = `7Y` + `8Y`,
         "9plus" = `9Y` + `10Y` + `11Y+`) %>%
  select(Year, `4y`, `4to6`, `6to8`, `9plus`) %>%
  mutate(
    Year = stringr::str_replace(Year, ".*-", "")
  )
Warning: There was 1 warning in `mutate()`.
ℹ In argument: `across(contains("Y") & !matches("^Year$"), as.numeric)`.
Caused by warning:
! NAs introduced by coercion
Δείξε τον κώδικα
colors <- c(
  "#E24A4A",
  "#FF9090",
  "#90C3FF",
  "#4A90E2"  
)

highchart() %>%
  hc_chart(type = "areaspline") %>%
  hc_title(text = "Κατανομή διάρκειας σπουδών μέχρι την αποφοίτηση") %>%
  hc_subtitle(text = "Οι περισσότεροι φοιτητές ξεπερνάνε τα ν+2 έτη για να λάβουν πτυχίο!") %>%
  hc_caption(text = "stesiam, 2023") %>%
  hc_xAxis(categories = graduate_data$Year,
           title = NULL) %>%
  hc_yAxis(title = list(text = "Percentage (%)")) %>%
  hc_tooltip(shared = TRUE) %>%
  hc_add_series(name = "9 έτη και πάνω", data = graduate_data$`9plus`) %>%
  hc_add_series(name = "7-8 έτη", data = graduate_data$`6to8`) %>%
  hc_add_series(name = "5-6 έτη", data = graduate_data$`4to6`) %>%
  hc_add_series(name = "4 έτη", data = graduate_data$`4y`) %>%
  hc_plotOptions(
    areaspline = list(
      stacking = "percent",
      marker = list(enabled = FALSE),
      lineWidth = 2,      # thicker smooth line
      fillOpacity = 0.6   # subtle transparency
    )) %>%
  hc_colors(colors)
Σχήμα 5: Χρονοσειρά διάρκειας σπουδών ανά έτος αποφοίτησης στο Τμήμα Στατιστικής και Ασφαλισιστικής Επιστήμης του Πανεπιστημίου Πειραιά

Σχέση ετών και μέσου όρου

Οι κατανομές των βαθμών καθώς και των ετών αποφοίτησης είναι αρκετά κατατοπιστικές για να γίνει αντιληπτή η άσχημη κατάσταση στο τμήμα. Για το τέλος θα ήθελα να παρουσιάσω ένα διπλό διάγραμμα που παρουσιάζει τη μέση διάρκεια σπουδών και το μέσο βαθμό αποφοίτησης. Έτσι θα έχουμε και μία εικόνα του που κυμαίνεται ιστορικά ο μέσος απόφοιτος του τμήματος. Ισοτρικά, παρατηρείται μια ιδιαίτερη σταθερότητα ως προς το βαθμό απποφοίτησης ο οποίος έχει ιδιαίτερα μικρή απόκλιση από το 2009 μέχρι και το 2020, αφού κυμαίνεται μεταξύ 6.3 και 6.43 για μία ολόκληρη δεκαετία. Από την άλλη έχουμε για άλλη μία φορά τον πιο καταθλιπτικό δείκτη, αυτόν της μέσης διάρκειας σπουδών. Από το 2014 έχουμε συνεχή αύξηση του δείκτη και μέσα σε 4 ακαδημαικά έτη είχαμε αύξηση 1.6 έτη και διατήρηση του σε αυτά τα επίπεδα. Πλέον, η μέση διάρκεια όχι απλώς αποκλίνει του ν+2, αλλά συγκλίνει στο 2ν, δηλαδή οι φοιτητές του τμήματος χρειάζονταν τα διπλάσια χρόνια από τη προκαθορισμένη διάρκεια σπουδών (4 έτη) για να λάβουν το πτυχίο τους. Αξίζει να σημειωθεί ότι όλο τον χρονικό ορίζοντα που καταγράφεται ο δείκτης δεν έπεσε ποτέ κάτω του ορίου .

Δείξε τον κώδικα
table1 = statistics_tables[[5]] %>%
  .[,c(1,10)] %>%
  drop_na() %>%
  .[-c(1),] %>%
  setNames(c("Year", "AvgGradDuration")) %>%
  mutate(AvgGradDuration = stringr::str_remove_all(AvgGradDuration, pattern = " έτη"),
         AvgGradDuration = stringr::str_replace(AvgGradDuration, pattern = ",", replacement = "."),
         AvgGradDuration = as.numeric(AvgGradDuration))

table2 = statistics_tables[[4]] %>%
  .[,c(1,6)] %>%
  drop_na() %>%
  .[-c(1:2),] %>%
  setNames(c("Year", "AvgGrade")) %>%
  separate(AvgGrade, into = c("Grade", "Number"), sep = " ") %>%
  mutate(Number = parse_number(Number)) %>%
  mutate(Grade = str_replace_all(Grade, ",", "."))

joined_tables = left_join(table2, table1, by = "Year") %>%
  drop_na() %>%
  mutate(Grade = as.numeric(Grade))
  

highchart() %>%
  hc_title(text = "Βαθμός αποφοίτησης και μέση διάρκεια φοίτησης", style = list(fontSize = "18px")) %>%
  hc_subtitle(text = "Διαχρονική σταθερότητα στο βαθμό αποφοίτησης και ραγδαία αύξηση στη μέση διάρκεια σπουδών από το 2014!", 
              style = list(color = "#666")) %>%
  hc_xAxis(categories = joined_tables$Year, title = list(text = "Year")) %>%
  
  # Three y-axes
  hc_yAxis_multiples(
    list(title = list(text = "Βαθμός Αποφοίτησης"), opposite = FALSE, labels = list(style = list(color = "#1f77b4"))),
    list(title = list(text = "Διάρκεια σπουδών"), opposite = TRUE, labels = list(style = list(color = "#ff7f0e")))
  ) %>%
  
  # Sales series
  hc_add_series(
    name = "Βαθμός αποφοίτησης",
    data = joined_tables$Grade,
    type = "line",
    yAxis = 0,
    color = "#1f77b4",
    lineWidth = 3,
    marker = list(symbol = "circle", radius = 5)
  ) %>%
  
  # Profit series
  hc_add_series(
    name = "Διάρκεια σπουδών",
    data = joined_tables$AvgGradDuration,
    type = "line",
    yAxis = 1,
    color = "#ff7f0e",
    lineWidth = 3,
    marker = list(symbol = "diamond", radius = 5)
  ) %>%
  
  
  # Tooltip
  hc_tooltip(shared = TRUE, crosshairs = TRUE, useHTML = TRUE,
             backgroundColor = "#f7f7f7", borderColor = "#333",
             style = list(fontSize = "13px")) %>%
  
  # Legend
  hc_legend(enabled = TRUE, layout = "horizontal", align = "center", verticalAlign = "bottom")
Σχήμα 6: Χρονοσειρά δύο μεταβλητών (Μέση διάκρεια σπουδών και βαθμού αποφοίτησης στο Τμήμα Στατιστικής και Ασφαλισιστικής Επιστήμης του Πανεπιστημίου Πειραιά

Στατιστικό vs Στατιστικό

Δείξε τον κώδικα
── Attaching core tidyverse packages ──────────────────────── tidyverse 2.0.0 ──
✔ forcats   1.0.1     ✔ purrr     1.2.1
✔ ggplot2   4.0.1     ✔ tibble    3.3.1
✔ lubridate 1.9.4     
── Conflicts ────────────────────────────────────────── tidyverse_conflicts() ──
✖ dplyr::filter() masks stats::filter()
✖ dplyr::lag()    masks stats::lag()
ℹ Use the conflicted package (<http://conflicted.r-lib.org/>) to force all conflicts to become errors
Δείξε τον κώδικα
library(stringr)
library(gt)
gj <- read_excel("gj.xls")


gj |>
  tidyr::drop_na(ΤΜΗΜΑ) |>
  setNames(c("uni", "school", "dept", "year1", "year2", "year3",
             "year4", "year5", "year6", "overNormalDuration")) |>
    mutate(across(everything(), ~replace_na(., 0))) |>
  mutate(
    total_students = year1 + year2 + year3 + year4 +
      year5 + year6 + overNormalDuration,
    pct = round((overNormalDuration / total_students)*100, digits = 2)
  ) |>
  drop_na(pct) |>
  arrange(-pct) |>
  mutate(rank  = 1:425) %>%
  dplyr::filter(str_detect(dept, "ΣΤΑΤΙΣΤΙΚΗ")) |>
  select(uni, dept, pct, rank) |>
  gt_custom(use_labels = FALSE)
uni dept pct rank
ΠΑΝEΠΙΣΤΗΜΙΟ ΠΕΙΡΑΙΩΣ ΣΤΑΤΙΣΤΙΚΗΣ ΚΑΙ ΑΣΦΑΛΙΣΤΙΚΗΣ ΕΠΙΣΤΗΜΗΣ (ΠΕΙΡΑΙΑΣ) 75.81 29
ΟΙΚΟΝΟΜΙΚΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΘΗΝΩΝ ΣΤΑΤΙΣΤΙΚΗΣ (ΑΘΗΝΑ) 61.08 104
ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΙΓΑΙΟΥ ΣΤΑΤΙΣΤΙΚΗΣ ΚΑΙ ΑΝΑΛΟΓΙΣΤΙΚΩΝ-ΧΡΗΜΑΤΟΟΙΚΟΝΟΜΙΚΩΝ ΜΑΘΗΜΑΤΙΚΩΝ (ΣΑΜΟΣ) 54.17 154
ΠΑΝΕΠΙΣΤΗΜΙΟ ΔΥΤΙΚΗΣ ΜΑΚΕΔΟΝΙΑΣ ΣΤΑΤΙΣΤΙΚΗΣ ΚΑΙ ΑΣΦΑΛΙΣΤΙΚΗΣ ΕΠΙΣΤΗΜΗΣ (ΓΡΕΒΕΝΑ) 24.82 304

Στατιστική vs Υπόλοιπες Ειδικότητες

Στη χώρα μας λειτουργούν 430 τμήματα από τα οποία υπάρχουν δεδομένα για

Η γνώμη μου

Για δεκαετίες αγνοούσε ακόμα και τις υποδέιξεις τις ΕΘΑΕΕ. Δεν υπήρχαν πρόοδοι, δεν υπήρχαν εργασίες. Ενώ σε πολλά μαθήματα ζητάγαμε να αναρτούνται σημειώσεις, γεγονός που αρνιόντουσαν συνεχώς

Αναφορά

Αναφορά BibTeX:
@online{2023,
  author = {, stesiam},
  title = {Στατιστικά των Αποφοίτων Στατιστικής},
  date = {2023-07-23},
  url = {https://stesiam.com/el/posts/eda-graduates-of-statistics/},
  langid = {el}
}
Για απόδοση ευγνωμοσύνης, παρακαλούμε αναφερθείτε σε αυτό το έργο ως:
stesiam. (2023, July 23). Στατιστικά των Αποφοίτων Στατιστικής. Retrieved from https://stesiam.com/el/posts/eda-graduates-of-statistics/
]]> R Περιγραφικη αναλυση PDF tabulizer https://stesiam.com/el/posts/eda-graduates-of-statistics/ Sun, 23 Jul 2023 00:00:00 GMT Πρόσβαση στο API του data.gov.gr stesiam https://stesiam.com/el/posts/tutorial-govgr-api/

Εισαγωγή

Στην παραδοσιακή ανάλυση δεδομένων, συνήθως ο αναλυτής καλείται να «καθαρίσει» τα δεδομένα και να τα φέρει σε μία κατάλληλη μορφή προκειμένου να αναλυθούν. Αυτή η διαδικασία υπονοεί ότι τα δεδομένα υπάρχουν συγκεντρωμένα σε ένα αρχείο. Ωστόσο, δεν είναι πάντα έτσι. Το πρόβλημα με την ανάλυση ενός στατικού συνόλου δεδομένων είναι ότι δεν λαμβάνει υπόψη τις όποιες νέες τιμές που καταγράφονται. Σε αυτή την περίπτωση θα πρέπει να ανακτήσουμε τα νέα στοιχεία και να επανεκτελέσουμε την ανάλυση μέσω της R ή όποιου εργαλείου χρησιμοποιούμε. Όπως γίνεται αντιληπτό, αυτό είναι μη παραγωγικό, ωστόσο όταν συμβαίνει λίγες φορές μέσα στο χρόνο, ίσως να μην είναι και τόσο επίπονο.

Εκεί που γίνεται εμφανής η αναποτελεσματικότητα αυτής της διαδικασίας είναι όταν υπάρχει συνεχής ροή δεδομένων, οπότε η διαδικασία ανανέωσης αυτών πρέπει να επαναλαμβάνεται καθημερινά. Σε αυτές τις περιπτώσεις φαίνεται η χρησιμότητα του API, αφού μας παρέχει τις νέες τιμές με μικρό σχετικά κόπο. Παράλληλα, η χρήση του API διευκολύνει την ένταξη νέων δεδομένων, συνεπώς αν φτιάχνουμε ένα προβλεπτικό μοντέλο η ακρίβειά του θα παραμένει σε ένα ικανοποιητικό επίπεδο. Τέλος, σημαντική είναι και η αξιοποίησή του σε Shiny Apps ή γενικότερα διαδικτυακές εφαρμογές (web apps), προκειμένου να αυτοματοποιείται η ανάλυση δεδομένων και οι πληροφορίες να είναι αξιόπιστες για τον επισκέπτη της εφαρμογής.

Γενικά υπάρχουν πάρα πολλά API από τα οποία μπορούμε να αντλήσουμε σημαντικές πληροφορίες. Για περισσότερες λεπτομέρειες σχετικά με τη διαθεσιμότητα δωρεάν API μπορείτε να δείτε μία σχετική λίστα αυτών. Σε αυτό το άρθρο θα ασχοληθούμε με τα ανοικτά δεδομένα της χώρας μας, της Ελλάδας, που διατίθενται μέσω του data.gov.gr.

Αίτηση για API Key

Το API της χώρας μας (όπως και τα περισσότερα API) απαιτεί να κάνουμε εγγραφή στην πλατφόρμα. Υποβάλλουμε αίτηση στην αντίστοιχη σελίδα και συμπληρώνουμε τα στοιχεία μας σε όλα τα πεδία της φόρμας όπως αυτή φαίνεται παρακάτω:

Προεπισκόπηση σελίδας αίτησης για πρόσβαση στο API

Στη συνέχεια θα πρέπει να κοιτάξετε το e-mail σας, καθώς θα σας αποσταλεί ένα μήνυμα με ένα Token, με το οποίο θα έχετε πρόσβαση στο API. Φροντίστε να ελέγξετε και τον φάκελο της Ανεπιθύμητης Αλληλογραφίας (spam). Παρεμπιπτόντως, σε περίπτωση που χάσετε το token ή έχετε διαγράψει το μήνυμα, μπορείτε να κάνετε καινούργια αίτηση, ακόμα και με την ίδια διεύθυνση ταχυδρομείου, και το σύστημα θα σας το στείλει εκ νέου.

Χρήση API

Αφού λάβουμε το Token, θα πρέπει με κάποιο τρόπο να αντλήσουμε τα δεδομένα. Στην συγκεκριμένη πλατφόρμα υπάρχουν δύο τρόποι.

  • Χρήση API από την ιστοσελίδα
  • Χρήση API με την R

Ο ένας τρόπος (και μάλλον ο λιγότερο αποδοτικός) είναι να αιτηθούμε τα δεδομένα απευθείας από την ιστοσελίδα data.gov.gr. Αυτό είναι από τη μία εξαιρετικά απλό, αλλά από την άλλη κατεβάζουμε μία σταθερή έκδοση των δεδομένων και συνεπώς αν θελήσουμε να τα ανανεώσουμε με τα πιο πρόσφατα στοιχεία θα πρέπει πάλι να τα κατεβάσουμε. Παρακάτω, λοιπόν, θα αναλύσουμε ένα παράδειγμα πραγματικής χρήσης του API με την R. Αξίζει να σημειωθεί ότι η ίδια η πλατφόρμα έμμεσα ενθαρρύνει αυτή τη χρήση μιας και δίνει παραδείγματα με άλλες δημοφιλείς γλώσσες προγραμματισμού (Python & JavaScript).

Παράδειγμα χρήσης

Πριν ολοκληρωθεί αυτό το άρθρο, έκρινα ως σημαντική την παρουσίαση ενός παραδείγματος. Τη στιγμή που γράφεται αυτό το άρθρο, υπάρχουν συνολικά 49 βάσεις δεδομένων από τις οποίες μπορούμε να επιλέξουμε. Προκειμένου να αναδείξουμε την ωφέλεια του API θα διαλέξω κάποιο που ανανεώνεται σε αρκετά συχνή βάση. Ένα τέτοιο σύνολο δεδομένων είναι αυτό για τους επιβάτες που ταξιδεύουν με πλοία.

Αρχικά, ορίζουμε σε μία μεταβλητή τον βασικό σύνδεσμο των δεδομένων. Για το συγεκρκιμένο σύνολο, δηλαδή την επιβατική κίνηση των πλοίων ο σύνδεσμος είναι:

base = "https://data.gov.gr/api/v1/query/sailing_traffic"

Έπειτα, όπως τονίζει η τεκμηρίωση (documentation) της σελίδας, θα πρέπει να ορίσουμε ένα εύρος ημερομηνιών που μας ενδιαφέρει Αξίζει να σημειωθεί ότι δεν μπορείτε να πάρετε μεγάλο εύρος με μία μόνο κλήση του API. Τα δεδομένα της επιβατικής κίνησης των πλοίων ξεκινάνε από το 2017 μέχρι και σήμερα (2023). Ας υποθέσουμε ότι δεν μας πειράζει αυτό και ότι θέλουμε τα δεδομένα από τις 4 πρώτες μέρες του Ιουλίου του 2023.

date_from = "2023-07-01"
date_to = "2023-07-04"

API_URL = paste0(base, "?date_from=", date_from, "&", "date_to=", date_to)

call = httr::GET(url = API_URL,
    add_headers(`Authorization` = paste0('Token token_id')
    )
)

Όπου στο σημείο που αναφέρεται το token_id θα πρέπει να αντικατασταθεί με το token που σας έστειλε το data.gov.gr. Αφού λοιπόν αιτηθούμε τα δεδομένα μέσω της GET και κάνουμε λίγο υπομονή βλέπουμε ότι λαμβάνω μία λίστα με διάφορες πληροφορίες. Εμάς μας ενδιαφέρουν τα δεδομένα, οπότε κοιτάμε στην κατηγορία content της λίστας, ωστόσο παρατηρούμε μία μη αναγνώσιμη μορφή των στοιχείων μιας και είναι σε δεκαεξαδική μορφή.

data = base::rawToChar(call$content)

Με την παραπάνω εντολή μετατρέπουμε τους χαρακτήρες και είναι πλέον αναγνώσιμοι, ωστόσο τώρα θα πρέπει να τους δώσουμε και τη μορφή πίνακα προκειμένου να μπορούμε να τα αναλύσουμε.

#data = jsonlite::fromJSON(data, flatten = T)

Και τέλος, με τη βοήθεια του πακέτου jsonlite λαμβάνουμε ένα data.frame με όνομα data που περιέχει όλους τους προορισμούς, τον αριθμό επιβατών, αυτοκινήτων για τη κάθε ημέρα που ζητήσαμε.

Ευχαριστίες

Φωτογραφία από Christopher Kuszajewski από το Pixabay

]]> R API https://stesiam.com/el/posts/tutorial-govgr-api/ Tue, 04 Jul 2023 00:00:00 GMT Σπουδές Στατιστικής στην Ελλάδα stesiam https://stesiam.com/el/posts/statistics-studies-in-greece/

Εισαγωγή

Σε αυτό το άρθρο θα ήθελα να συγκεντρώσω όλες αυτές τις διάσπαρτες πληροφορίες που υπάρχουν για τα τμήματα Στατιστικής στη χώρα μας. Θα αναλύσω ως επί το πλείστον πληροφορίες που μπορούν να βρεθούν στο διαδίκτυο σαν να είχα να συμπληρώσω μηχανογραφικό. Ωστόσο, σε κάθε περίπτωση σας αποτρέπω από το να επιλέξετε σχολή βασίζοντας την επιλογή σας σε μόνο αυτό το άρθρο. Σε αυτή τη κατηγορία εντάσσω απλά όσες σχολές σχετίζονται με τη Στατιστική. Τα τμήματα που θα συγκρίνω είναι τα εξής:

Δείξε τον κώδικα

Βάση εισαγωγής

Ένα πρώτο κριτήριο για αρκετούς είναι η βάση εισαγωγής, όπου είναι ο ελάχιστος βαθμός που πρέπει να έχεις πετύχει στις Πανελλήνιες για να εισαχθείς στην αντίστοιχη σχολή. Ή διαφορετικά ο βαθμός που έγραψε ο τελευταίος επιτυχόντας της σχολής, με δεδομένο τον αριθμό των θέσεων. Αν και κατά τη γνώμη μου αυτός ο δείκτης δείχνει κατά πόσο είναι επιθυμητή αυτή η σχολή και όχι το επίπεδο σπουδών αυτής. Παρακάτω, συγκέντρωσα ιστορικά στοιχεία των βάσεων (από το 2013 μέχρι το 2022) από τις τέσσερις σχολές Στατιστικής και έκανα ένα απλό διάγραμμα. Σε αυτό φαίνεται ότι ιστορικά το τμήμα με τη μεγαλύτερη βάση είναι του ΟΠΑ (με μόνη εξαίρεση το 2015). Δεύτερο σε προτίμηση έρχεται το τμήμα Στατιστικής του Πειραιά. Τελευταία σε προτίμηση είναι τα περιφερειακά τμήματα Στατιστικής, Αιγαίου και Δυτικής Μακεδονίας που εδραίουν στη Σάμο και στα Γρεβενά αντίστοιχα. Οι βάσεις τους ταυτίζονται σε μεγάλο βαθμό και ενδεχομένως το ότι βρίσκονται σε περιοχές μακριά των κύριων αστικών κέντρων της χώρας να μην είναι ιδιαίτερα ελκυστικά για τη πλειονότητα των υποψηφίων.

Δείξε τον κώδικα
title_text = "<strong>Βάσεις εισαγωγής σε τμήματα Στατιστικής</strong>"
subtitle_text = "Σχετικά σταθερή και αξιοπρεπής βάση στα τμήματα της Αττικής έναντι των περιφερειακών τμημάτων Στατιστικής"
caption_text = "Πηγή:</b>Βάσεις Πανελληνίων<br><span style='font-family:fb;'  >&#xf09b;</span> <b>stesiam</b>, 2024"

hchart(tmimata_statistikis, "line", hcaes(x = Year, y = Vasi, group = University)) |>
  hc_title(
    text = title_text,
    align = "left") |>
  hc_xAxis(title = "Έτος") |>
  hc_yAxis(title = "Βάση εισαγωγής") |>
  hc_subtitle(text = subtitle_text, align = "left") |>
  hc_caption(text = caption_text) %>%
  hc_tooltip(shared = TRUE)
Σχήμα 1: Βάσεις εισαγωγής σχολών Στατιστικής (2013 - 2022)

Θέσεις

Κάθε χρόνο το Υπουργείο Παιδείας ανακοινώνει τις διαθέσιμες θέσεις για κάθε σχολή και για κάθε κατηγορία εξεταζόμενων. Σε αυτή την ανάλυση ασχολούμαι με τους υποψήφιους των Γενικών Λυκείων που αποτελούν και τη συντριπτική πλειοψηφία των συμμετεχόντων. Με μία πρώτη ματιά παρατηρώ μία αντιστροφή των αποτελεσμάτων σε σύγκριση με τη βάση εισαγωγής. Δηλαδή, στις σχολές με την σχετικά υψηλότερη βάση παρέχονται λιγότερες θέσεις, ενώ οι περισσότερες θέσεις διατίθενται στις σχολές χαμηλότερης βάσης. Για του λόγου το αληθές, παρατηρώ το Στατιστικό του ΟΠΑ να κυμαίνεται στις 100 διαθέσιμες θέσεις, ακολουθούμενο από αυτό του Πανεπιστημίου Πειραιά το οποίο μείωσε σημαντικά τις θέσεις του τα τελευταία χρόνια και έχει πέσει σε επίπεδα προσφοράς θέσεων του τμήματος Στατιστικής του Αιγαίου. Τελευταία και ιδιαίτερη περίπτωση είναι το νεοσύστατο τμήμα των Γρεβενών του Πανεπιστημίου Δυτικής Μακεδονίας το οποίο είχε αρκετά μεγάλο αριθμό διαθέσιμων θέσεων και ενδεχομένως αυτή η μεγάλη προσφορά να οφείλεται στην μη ύπαρξη επιτυχόντων για το συγκεκριμένο τμήμα της περιφέρειας.

Δείξε τον κώδικα
title_text = "<b>Θέσεις εισαγωγής σε τμήματα Στατιστικής (ΓΛ90)</b>"
subtitle_text = "Oι διαθέσιμες θέσεις για φοίτηση στα τμήματα Στατιστικής. Συνήθως οι θέσεις σε τμήματα εκτός μεγάλων αστικών κέντρων μένουν ακάλυπτες."

caption_text = "<b> Πηγή:</b> Βάσεις Πανελληνίων<br><span style='font-family:fb;'  >&#xf09b;</span> <b>stesiam</b>, 2024"


hchart(tmimata_statistikis, "line", hcaes(x = Year, y = Theseis, group = University)) |>
  hc_title(
    text = title_text,
    align = "left") |>
  hc_xAxis(title = "Έτος") |>
  hc_yAxis(title = "Θέσεις εισαγωγής") |>
  hc_subtitle(text = subtitle_text, align = "left") %>%
  hc_tooltip(shared = TRUE)
Σχήμα 2: Διαθέσιμες θέσεις σχολών Στατιστικής (2013 - 2022)

Βέβαια, η παροχή των θέσεων δεν συνεπάγεται πάντοτε και πλήρωση αυτών. Πολλές από αυτές μπορεί να μείνουν αδιάθετες λόγω χαμηλής ζήτησης. Αυτό το φαινόμενο παρατηρείται σε σχολές εκτός των αστικών κέντρων. Τα τελευταία χρόνια υπάρχει και ένας επιπρόσθετος λόγος μιας και έχει θεσμοθετηθεί η ελάχιστη βάση εισαγωγής (ΕΒΕ), η οποία αποτρέπει την βάση μιας σχολής να πέσει κάτω από έναν συγκεκριμένο βαθμό (π.χ. κάτω από 7 ή 13) και για αυτό παρατηρείται στο πρώτο διάγραμμα των βάσεων μία απότομη αύξηση στις σχολές του Αιγαίου και της Δυτικής Μακεδονίας. από την εφαρμογή της να δούμε και άλλες αδιάθετες θέσεις. Έτσι, ο αριθμός των εισακτέων μπορεί πλέον να διαφέρει σημαντικά όχι απλώς μεταξύ τμημάτων εντός και μεγάλων αστικών κέντρων (π.χ. Πανεπιστήμιο Αιγαίου, Πανεπιστήμιο Δυτικής Μακεδονίας - Γρεβενά), αλλά και ως προς τον διαθέσιμο αριθμό εισακτέων και των εγγεγραμμένων φοιτητών.

Δείξε τον κώδικα
years <- unique(tmimata_statistikis$Year)

# Step 3: Prepare series data
series_data <- tmimata_statistikis %>%
  group_by(University) %>%
  summarise(data = list(Theseis)) %>%
  mutate(name = University) %>%
  select(name, data) %>%
  list_parse()


highchart() %>%
    hc_chart(type = "area") %>%
    hc_title(text = "Κατανομή προσφερόμενων θέσεων σε τμήματα Στατιστικής") %>%
    hc_subtitle(text = "Το τμήμα Στατιστικής του Πειραιά είναι αυτό που προσέφερε περισσότερες θέσεις αναλογικά με τις συνολικά προσφερόμενες σε πανελλήνιο επίπεδο. Πλέον το νεοσύστατο τμήμα των Γρεβενών έχει τη μεγαλύτερη προσφορά θέσεων.") %>%
    hc_xAxis(categories = years, tickmarkPlacement = "on", title = list(enabled = FALSE)) %>%
    hc_yAxis(title = list(text = "Ποσοστό (%)"), labels = list(format = "{value}%")) %>%
    hc_tooltip(shared = TRUE, pointFormat = "<span style='color:{series.color}'>{series.name}</span>: <b>{point.percentage:.1f}%</b> ({point.y:,.0f})<br/>") %>%
    hc_plotOptions(area = list(
        stacking = "percent",
        lineColor = "#ffffff",
        lineWidth = 1,
        marker = list(lineWidth = 1, lineColor = "#ffffff")
    )) %>%
    hc_add_series_list(series_data)
Σχήμα 3: Αναλογία προσφερόμενων θέσεων σε τμήματα Στατιστικής (2013 - 2022)

Προϋποθέσεις για πτυχίο

Και τα τέσσερα τμήματα προσφέρουν 4ετή φοίτηση και κάποιος ορίζεται ως πτυχιούχος με την απόκτηση 240 ECTS. Οι διαφορές τους ανάγονται κυρίως στο πλήθος των μαθημάτων ή στο αν υπάρχει προϋπόθεση για πτυχιακή. Σημειώνεται ότι οι παραπάνω πληροφορίες βασίζονται στους πρόσφατους οδηγούς σπουδών των παραπάνω τμημάτων (2022-2023).

Το UniPi2011 αναφέρεται στο πρόγραμμα σπουδών του τμήματος Στατιστικής του Πειραιά που ίσχυε για τους φοιτητές που μπήκαν στο τμήμα από το 2011 μέχρι το 2016. Οι εισακτέοι του τμήματος από το 2017 ακολουθούν το νέο πρόγραμμα σπουδών του 2017 (UniPI2017)

Δείξε τον κώδικα
highchart() %>%
  hc_chart(type = "bar") %>%
  hc_title(text = "Δομή απατούμενων μαθημάτων τμημάτων Στατιστικής") %>%
  hc_subtitle(text = "Ο αριθμός των μαθημάτων που απαιτούνται για την απόκτηση προπτυχιακού τίτλου σπουδών από τα δημόσια τμήματα Στατιστικής της χώρας μας. Αναλύεται και η σύνθεση των προγραμμάτων με βάση την ευελιξία προσαρμογής του προγράμματος σπουδών (αριθμός επιλεγόμενων ως ποσοστό των υποχρεωτικών).")  %>%
  hc_caption(text = "stesiam, 2025") %>%
  hc_xAxis(
       categories = degree_requirements$Images,
         labels = list(useHTML = TRUE),
         title = list(text = NULL)
   ) %>%
  hc_yAxis(title = list(text = "Μαθήματα για πτυχίο")) %>%
  hc_plotOptions(series = list(stacking = "normal")) %>%
  hc_add_series(name = "Επιλεγόμενα", data = degree_requirements$Elective, stack = "courses") %>%
  hc_add_series(name = "Υποχρεωτικά", data = degree_requirements$Comp, stack = "courses")
Σχήμα 4: Απαιτούμενα μαθήματα για τη λήψη πτυχίου ανά τμήμα

Επιλεγόμενα μαθήματα

Παραπάνω είδαμε σε πόσα μαθήματα θα πρέπει να εξεταστεί ένας σπουδαστής του αντίστοιχου τμήματος για να πάρει πτυχίο. Πόση ελευθερία υπάρχει σε κάθε τμήμα προκειμένου ο ίδιος ο φοιτητής να προσαρμόσει τις σπουδές του στις προτιμήσεις του και τα προσωπικά του ερευνητικά ενδιαφέροντα; Αυτό προσπάθησα να μελετήσω με την προσθήκη της μεταβλητής των ελεύθερων μαθημάτων και του ποσοστού που αποτελούν αυτά ως προς τα συνολικά μαθήματα.

Δείξε τον κώδικα
degree_requirements = degree_requirements |>
  arrange(-Electivepct)

highchart() %>%
  hc_chart(type = "bar") %>%
  hc_title(text = "Ευελιξία προγραμμάτων σπουδών") %>%
  hc_subtitle(text = "Ο αριθμός των επιλεγόμενων μαθημάτων ως ποσοστό των συνολικών μαθημάτων που απαιτούνται για το πτυχίο.")  %>%
  hc_caption(text = "stesiam, 2025") %>%
 hc_xAxis(
       categories = degree_requirements$Images,
         labels = list(useHTML = TRUE),
         title = list(text = NULL)
   ) %>%
  hc_yAxis(title = list(text = "Ποσοστό επιλεγόμενων/συνολικών μαθημάτων")) %>%
  hc_plotOptions(series = list(stacking = "normal")) %>%
  hc_add_series(name = "Επιλεγόμενα", data = degree_requirements$Electivepct, stack = "courses")
Σχήμα 5: Ποσοστό επιλεγόμενων επί του συνολικού αριθμού που απαιτούνται για την απόκτηση πτυχίου

Καθυστερημένη αποφοίτηση

Δείξε τον κώδικα
undergrads_by_year <- read_excel(here::here(work_dir, "undergrads_by_year.xls")) %>%
  dplyr::select(c(3,4,25)) %>%
  setNames(c("Dept", "StudentsUnEq6", "studentsOv6")) %>%
  tidyr::drop_na(Dept) %>%
  .[-c(1),] %>%
  mutate(across(c(StudentsUnEq6, studentsOv6), ~ as.integer(.))) %>%
  mutate(totalStudents = StudentsUnEq6 + studentsOv6,
         pctOv6 = studentsOv6 / totalStudents,
         nonPctOv6 = 1 - pctOv6) %>%
  arrange(-pctOv6) %>%
  dplyr::filter(str_detect(Dept, "ΣΤΑΤΙΣΤΙΚΗ"))
Δείξε τον κώδικα
highchart() %>%
  hc_chart(type = "bar") %>%
  hc_title(text = "Ποσοστό φοιτητών που ξεπέρασαν τα ν+2 έτη") %>%
  hc_subtitle(text = "Το τμήμα του Πειραιά έχει το μεγαλύτερο ποσοστό καθυστερημένης αποφοίτησης με 7 στους 10 φοιτητές του τμήματος να αποτελούν φοιτητές 7ου ή μεγαλύτερου έτους. Με μεγάλη ποσοστιαία διαφορά ακολουθούν τα τμήματα της Αθήνας και της Σάμου. Το τμήμα των Γρεβενών είναι νεοσύστατο και δεν έχει φοιτητές ν+2.") %>%
  hc_xAxis(categories = undergrads_by_year$Dept) %>%
  hc_yAxis(title = list(text = "Value")) %>%
  hc_plotOptions(series = list(stacking = "normal")) %>%
  hc_add_series(name = "Φοιτητές εώς 6ο έτος", data = undergrads_by_year$nonPctOv6) %>%
  hc_add_series(name = "Φοιτητές 7ου έτους και άνω", data = undergrads_by_year$pctOv6) %>%
  hc_yAxis(
    min = 0,
    max = 1,
    title = list(text = "Value"),
    plotLines = list(
      list(
        color = "orange",
        width = 2,
        value = 0.5,
        dashStyle = "ShortDash",
        label = list(
          y = 200,
          text = paste0("Μέσος όρος: ", round(50, 1)),
          align = "left",
          style = list(color = "orange", fontWeight = "bold", fontSize = 10)
        )
      )
    )
  ) %>%
  hc_tooltip(
  valueDecimals = 2
)
Σχήμα 6: Ραβδόγραμμα ποσοστού καθυστερημένης αποφοίτησης

Άλλες πληροφορίες

Δείξε τον κώδικα
reactable::reactable(others,
                     columns = list(

    Uni = colDef(name = "Πανεπιστήμιο"),
    Diloseis = colDef(name = "Όριο δηλώσεων", style = function(value) {
      if (value == "Όχι") {
        color <- "#008000"
      }  else {
        color <- "#e00000"
      }
      list(color = color, fontWeight = "bold")
    }
),
    Alysides = colDef(name = "Αλυσίδες μαθημάτων",
                      style = function(value) {
      if (value == "Όχι") {
        color <- "#008000"
      }  else {
        color <- "#e00000"
      }
      list(color = color, fontWeight = "bold")
    }
  ),
    Ptyxiaki = colDef(name = "Πτυχιακή",
                      style = function(value) {
      if (value == "Όχι") {
        color <- "#008000"
      }  else {
        color <- "#e8c010"
      }
      list(color = color, fontWeight = "bold")
    }),
    Vathmos =  colDef(name = "Υπολογισμός βαθμού")
  ))
Πίνακας 1

Βασικά χαρατηριστικά προγραμμάτων σπουδών

Χάρτης

Τέλος, θα είχε ενδιαφέρον να εξασκήσω τις ικανότητές μου στη δημιουργία χαρτών με την R. Συνήθως χρησιμοποιώ Shapefiles για να έχω μία βάση (στη προκειμένη περίπτωση τα όρια της Ελλάδας), ωστόσο αυτή τη φορά αποφάσισα να χρησιμοποιήσω το πακέτο rnaturalearth. Αξίζει να σημειωθεί ότι απαιτούνται και τα πακέτα rnaturalearthdata και rnaturalhires.

Δείξε τον κώδικα
students_by_dept = undergrads_by_year |>
  dplyr::filter(stringr::str_detect(Dept, "ΣΤΑΤΙΣΤΙΚΗ")) %>%
  mutate(Short = c("UniPi", "AUEB", "Aegean", "Grevena"))
Δείξε τον κώδικα
uni_coord = data.frame(
  uni = c("ΠαΠει", "Αιγαίου", "ΟΠΑ", "ΠαΔΜ"),
  unilong = c("Πανεπιστήμιο Πειραιά", "Πανεπιστήμιο Αιγαίου",
              "Οικονομικό Πανεπιστήμιο Αθηνών",
              "Πανεπιστήμιο Δυτικής Μακεδονίας"),
  dept = c("Στατιστική και Ασφαλιστική Επιστήμη", "Στατιστική και Αναλογιστική Επιστήμη", "Στατιστική", "Στατιστική"),
  studs = c(3207, 1035, 1203, 555),
  long = c(23.6529793, 26.5664138,23.7300928, 21.4565181),
  lat = c(37.77, 39.0851185, 38.1940201, 40.1197471),
  img = c("https://upload.wikimedia.org/wikipedia/en/thumb/a/a4/UNIPI_Emblem.png/250px-UNIPI_Emblem.png", "https://upload.wikimedia.org/wikipedia/en/d/df/Aegean_University_logo.gif", "https://upload.wikimedia.org/wikipedia/en/thumb/8/89/AUEB_EMBLEM.png/250px-AUEB_EMBLEM.png","https://upload.wikimedia.org/wikipedia/commons/thumb/4/42/UoWM.png/120px-UoWM.png"),
  established = c(1938, 1984, 1920, 2003),
  dpt_est = c(1977,2000, 1989, 2019),
  town = c("Πειραιάς", "Σάμος", "Αθήνα", "Γρεβενά")
)



uni_coord$symbol <- c(
  "url(https://upload.wikimedia.org/wikipedia/commons/e/e4/Map_marker_icon_%E2%80%93_Nicolas_Mollet_%E2%80%93_Pin.svg)",
  "url(https://upload.wikimedia.org/wikipedia/commons/e/e4/Map_marker_icon_%E2%80%93_Nicolas_Mollet_%E2%80%93_Pin.svg)",
  "url(https://upload.wikimedia.org/wikipedia/commons/e/e4/Map_marker_icon_%E2%80%93_Nicolas_Mollet_%E2%80%93_Pin.svg)",
  "url(https://upload.wikimedia.org/wikipedia/commons/e/e4/Map_marker_icon_%E2%80%93_Nicolas_Mollet_%E2%80%93_Pin.svg)"
)
raw <- paste(readLines("../../assets/js/gr-all.js", warn = FALSE), collapse = "")

# Extract everything between the first { and last }
json_str <- stringr::str_extract(raw, "(?<=\\= )\\{.*\\}")

gr_map <- jsonlite::fromJSON(json_str, simplifyVector = FALSE)# Load Greece Map
highchart(type = "map") %>%
  hc_add_series(
    mapData = gr_map,   # <-- your local map object
    name = "SA",
    showInLegend = FALSE
  ) %>%
  hc_add_series(
    data = uni_coord,
    type = "mappoint",
    hcaes(lon = long, lat = lat, name = uni),
    name = "Departments",
    color = "brown4",
    marker = list(
      symbol = "url(https://cdn-icons-png.flaticon.com/512/5081/5081368.png)",
      width = 20,
      height = 20
    )
  ) %>%
  hc_title(text = "<b>Σχολές Στατιστικής</b>") %>%
  hc_subtitle(text = "Στην Ελλάδα υπάρχουν συνολικά τέσσερις δημόσιες σχολές στατιστικής προπτυχιακού επιπέδου. Η φοίτηση σε αυτές είναι 4ετούς φοίτησης. Αυτές έχουν έδρα στην Αθήνα, στον Πειραιά, στη Σάμο και στα Γρεβενά") %>%
  hc_caption(text = "stesiam, 2025") |>
  hc_tooltip(
  useHTML = TRUE,  # Enables HTML formatting
  formatter = JS("
    function() {
      return '<div style=\"max-width: 330px; min-width: 200px; white-space: normal;\">' +
      '<div style=\"text-align: center; \">' + 
               '<b>' + this.point.unilong + '</b><br>(' + this.point.uni + ')</div>' + 
               '<br>' +
               '<div style=\"text-align: center;\"><em>' + this.point.dept + '</em></div>' +
                '<br>' +
               '<img style=\"margin: auto; display:flex; justify-content: center;\" src=\"' + this.point.img + '\" width=\"40\" height=\"40\" style=\"border-radius:10px; margin-top:5px;\" /><br>' +
               '<b>Πόλη:</b>' + this.point.town + '<br>' +
               '<b>Ίδρυση Πανεπιστημίου:</b> ' + this.point.established + '<br>' + 
               '<b>Ίδρυση Τμήματος:</b> ' + this.point.dpt_est + '<br>' + 
               '<b>Αριθμός προπτυχιακών:</b> ' + this.point.studs +
               '</div>';
    }
  ")
)  %>%
  hc_legend(enabled = FALSE)
Σχήμα 7: Χάρτης της Ελλάδας που αποτυπώνει τη γεωγραφική θέση όλων των προπτυχιακών τμημάτων Στατιστικής στη χώρα μας.

Επίλογος

Η προσωπική μου άποψη είναι ότι το τμήμα Στατιστικής του Αιγαίου είναι μία πολύ δελεαστική επιλογή. Παρουσιάζεται (το τονίζω αυτό, παρουσιάζεται) ως ένα σοβαρό τμήμα με έναν σύγχρονο οδηγό σπουδών (λίγα μαθήματα που αντισταθμίζεται με τον ανάλογο φόρτο εργασίας). Το συγκεκριμένο τμήμα κατά τη γνώμη μου αδικείται από τη βάση που έχει. Αν είχα την επιλογή να διαλέξω δίχως να λάβω υπόψιν το οικονομικό κριτήριο (κόστος ενοικίου κτλ.) θα ήταν η πρώτη μου επιλογή. Βέβαια, αυτή η επιλογή όπως έγραψα και στην αρχή βασίζεται αποκλειστικά σε πράγματα που θα έβρισκα στο διαδίκτυο και απλά τα μάζεψα σε ένα άρθρο. Υπάρχουν και άλλα πράγματα που έχουν σημαντικότατο ρόλο, όπως οι διδάσκοντες, το επίπεδο μαθήματος, τήρηση κανονισμών, εγκαταστάσεις, προσβασιμότητα και άλλα που δυστυχώς θα τα μάθετε, όταν θα είναι πολύ αργά.

Ευχαριστίες

Φωτογραφία από WOKANDAPIX από το Pixabay

Αναφορά

Αναφορά BibTeX:
@online{2023,
  author = {, stesiam},
  title = {Σπουδές Στατιστικής στην Ελλάδα},
  date = {2023-06-20},
  url = {https://stesiam.com/el/posts/statistics-studies-in-greece/},
  langid = {el}
}
Για απόδοση ευγνωμοσύνης, παρακαλούμε αναφερθείτε σε αυτό το έργο ως:
stesiam. 2023. “Σπουδές Στατιστικής στην Ελλάδα.” June 20, 2023. https://stesiam.com/el/posts/statistics-studies-in-greece/.
]]> R Περιγραφικη αναλυση https://stesiam.com/el/posts/statistics-studies-in-greece/ Tue, 20 Jun 2023 00:00:00 GMT Ελληνική κοινότητα επιστήμης δεδομένων stesiam https://stesiam.com/el/posts/kaggle-greek-community/

Εισαγωγή

To Kaggle είναι από τις πιο γνωστές πλατφόρμες αναλυτών / επιστημόνων δεδομένων μιας και έχει πάνω από 10 εκατομμύρια χρήστες (Heads or Tails, 2020). Εκτός από αυτό, το Kaggle προσφέρει πάρα πολλές λειτουργίες, όπως: - Δημιουργία άρθρων που περιέχουν εκτελέσιμο κώδικα καθώς και τα αποτελέσματα αυτού (γραφήματα, στατιστικά αποτελέσματα κτλ.) - Επικοινωνία χρηστών μέσω του φόρουμ συζήτησης και επίλυσης αποριών - Προσφορά αρκετού υλικού επιμόρφωσης των χρηστών και διάφορων μαθημάτων, όπου τα περισσότερα βασίζονται στη Python και σε βιβλιοθήκες της για οπτικοποίηση δεδομένων, θέματα ανάλυσης δεδομένων, μηχανικής και βαθιάς μάθησης - Πολλούς διαγωνισμούς μηχανικής / βαθιάς μάθησης στους οποίους μπορεί να συμμετέχει ο χρήστης

Αξίζει να σημειωθεί ότι υπάρχουν και άλλες παρόμοιες πλατφόρμες με το Kaggle, ωστόσο καμία τους δεν έχει ούτε τη αντίστοιχη βάση χρηστών, ούτε προσφέρει αντίστοιχες λειτουργίες. Μία εναλλακτική του Kaggle μπορεί να θεωρηθεί το DrivenData, όσον αφορά το κομμάτι των διαγωνισμών. Προφανώς, δεν μπορείς να δημοσιεύσεις δικό σου άρθρα και στη προαναφερόμενη πλατφόρμα συμμετέχουν αρκετά λιγότεροι χρήστες.

Λογότυπο της πλατφόρμας Kaggle

Η έρευνα μηχανικής μάθησης και επιστήμης δεδομένων (Kaggle Machine Learning & Data Science Survey) είναι μία έρευνα η οποία υλοποιείται σε ετήσια βάση από την ίδια τη πλατφόρμα. Οι χρήστες της απαντάνε σε διάφορα δημογραφικά στοιχεία και οι χρήστες αναλύουν τα δεδομένα σε μία μορφή διαγωνισμού. Σε αυτό το άρθρο θα κάνω μία ανάλυση για τα δεδομένα της έρευνας του 2021, συγκρίνοντας τα χαρακτηριστικά των Ελλήνων χρηστών της πλατφόρμας με αυτά των υπολοίπων.

Προετοιμασία

Εισαγωγή βιβλιοθηκών

Σε αυτό το άρθρο θα χρειαστώ να εισάγω και να τροποποιήσω τα δεδομένα μου, συνεπώς η σουίτα πακέτων του tidyverse κρίνεται απαραίτητη μιας και θα αξιοποιήσω λειτουργίες από πακέτα όπως το readr, το dplyr & το tidyr. Ο όγκος των δεδομένων είναι τεράστιος που μας δίνει αρκετές επιλογές ανάλυσης και μας δίνεται η ευκαιρία να οπτικοποιήσουμε αρκετά δεδομένα, μέσω του πακέτου highcharter. Τέλος, σε μεταβλητές οι οποίες έχουν αρκετές τιμές (π.χ. χώρες) ενδεχομένως να χρειαστεί να αναλύσω τα δεδομένα μου και σε πίνακες και για αυτό το λόγο ενδείκνυται η χρήση πινάκων μέσω των πακέτων reactable ή reactablefmtr.

Κώδικας
# Βιβλιοθήκες της R για γενική χρήση
library(readr)
library(dplyr)
library(tidyr)
library(purrr)
library(glue)
library(forcats)
library(gt)

# Δημιουργία πινάκων
library(kableExtra)
library(reactablefmtr)

# Δημιουργία διαγραμμάτων
library(highcharter)
library(showtext)
library(sysfonts)

Εισαγωγή δεδομένων

Το Kaggle μας προσφέρει το σύνολο των δεδομένων σε ένα αρχείο csv, συνεπώς θα χρειαστώ την εντολή read_csv από το πακέτο readr. Θα φορτώσω το αντίστοιχο σύνολο δεδομένων ονομάζοντάς το kaggle_2021. Σε αυτό το σύνολο περιλαμβάνεται στη πρώτη σειρά και η ερώτηση που έθεσε στους χρήστες η οποία καλό θα ήταν να μην τη συμπεριλάβω για να διευκολύνω την ανάλυσή μου.

Κώδικας
kaggle_2021 = read_csv("data/kaggle_survey_2021.csv")

# Delete second line
kaggle_2021 = kaggle_2021[-c(1),]

Eπανακωδικοποίηση δεδομένων

Σε αυτό το σημείο χρειάζεται να κάνω ορισμένα βήματα πριν ξεκινήσω. Με δεδομένο ότι η ανάλυσή μου έχει ως κύριο σκοπό να συγκρίνει τα χαρακτηριστικά των Ελλήνων χρηστών με των υπολοίπων χρηστών θα πρέπει να διακρίνω τα δεδομένα με αυτό το κριτήριο. Υπάρχουν δύο τρόποι με τους οποίους μπορείς να γίνει αυτό:

  • Δημιουργία νέας μεταβλητής και ομαδοποίηση δεδομένων
  • Φιλτράρισμα και διαχωρισμός συνόλου δεδομένων σε δύο υποσύνολα (Ελλήνων και ξένων χρηστών)

Με οποιονδήποτε από τους δύο τρόπους θα είμαστε σε θέση να συγκρίνουμε βασικά χαρακτηριστικά των χρηστών.

Κώδικας
kaggle_2021$Q2 <- kaggle_2021$Q2 |>
  fct_recode(
    "Άνδρας" = "Man",
    "Μη δυαδικό" = "Nonbinary",
    "Άλλο" = "Prefer not to say",
    "Άλλο" = "Prefer to self-describe",
    "Γυναίκα" = "Woman"
  )

kaggle_2021$Q1 <- kaggle_2021$Q1 |>
  fct_recode(
    "55+" = "55-59",
    "55+" = "60-69",
    "55+" = "70+"
  )

kaggle_2021$Q3_iso2c <- countrycode::countrycode(kaggle_2021$Q3, "country.name.en", "iso2c") |>
  fct_na_value_to_level("Άλλο")

kaggle_2021$Q3 <- countrycode::countrycode(kaggle_2021$Q3, "country.name.en", "cldr.name.el") |>
  fct_na_value_to_level("Άλλο")

kaggle_2021$Q4 <- kaggle_2021$Q4 |>
  fct_recode(
    "Προπτυχιακό" = "Bachelor’s degree",
    "Διδακτορικό" = "Doctoral degree",
    "Άλλο" = "I prefer not to answer",
    "Μεταπτυχιακό" = "Master’s degree",
    "Απόφοιτος Λυκείου" = "No formal education past high school",
    "Διδακτορικό" = "Professional doctorate",
    "Μεταλυκειακές σπουδές" = "Some college/university study without earning a bachelor’s degree"
  )

kaggle_2021$Q4 <- factor(kaggle_2021$Q4,
  levels = c(
    "Απόφοιτος Λυκείου", "Μεταλυκειακές σπουδές",
    "Προπτυχιακό", "Μεταπτυχιακό", "Διδακτορικό",
    "Άλλο"
  )
)

kaggle_2021$Q5 <- kaggle_2021$Q5 |>
  fct_recode(
    "Αναλυτής Επιχειρήσεων" = "Business Analyst",
    "Άνεργος" = "Currently not employed",
    "Αναλυτής Δεδομένων" = "Data Analyst",
    "Μηχανικός Δεδομένων" = "Data Engineer",
    "Επιστήμονας Δεδομένων" = "Data Scientist",
    "Μηχανικός Βάσης Δεδομένων" = "DBA/Database Engineer",
    "Υπεύθυνος Σχέσεων/Υποστήριξης Προγραμματιστών" = "Developer Relations/Advocacy",
    "Μηχανικός Μηχανικής Μάθησης" = "Machine Learning Engineer",
    "Άλλο" = "Other",
    "Project Manager" = "Program/Project Manager",
    "Μηχανικός Έρευνας" = "Research Scientist",
    "Μηχανικός Λογισμικού" = "Software Engineer",
    "Στατιστικός" = "Statistician",
    "Φοιτητής" = "Student"
  )

## Recoding kaggle_2021$Q6
kaggle_2021$Q6 <- kaggle_2021$Q6 |>
  fct_recode(
    "< 1" = "< 1 years",
    "1-3" = "1-3 years",
    "10-20" = "10-20 years",
    "20+" = "20+ years",
    "3-5" = "3-5 years",
    "5-10" = "5-10 years",
    "0" = "I have never written code"
  )

kaggle_2021$Q11 <- kaggle_2021$Q11 |>
  fct_recode(
    "Πλατφόρμα Cloud" = "A cloud computing platform (AWS, Azure, GCP, hosted notebooks, etc)",
    "Workstation για βαθιά μάθηση" = "A deep learning workstation (NVIDIA GTX, LambdaLabs, etc)",
    "Λάπτοπ" = "A laptop",
    "Επιτραπέζιο υπολογιστή" = "A personal computer / desktop",
    "Κανένα" = "None",
    "Άλλο" = "Other"
  )

kaggle_2021$Q13 <- kaggle_2021$Q13 |>
  fct_recode(
    "2-5" = "2-5 times",
    "6-25" = "6-25 times",
    "> 25" = "More than 25 times",
    "0" = "Never",
    "1" = "Once"
  )

kaggle_2021$Q21 <- kaggle_2021$Q21 |>
  fct_recode(
    "0-49" = "0-49 employees",
    "> 10,000" = "10,000 or more employees",
    "1000-9,999" = "1000-9,999 employees",
    "250-999" = "250-999 employees",
    "50-249" = "50-249 employees"
  )


kaggle_2021_compare = kaggle_2021 %>%
  mutate(Q3 = if_else(Q3 != "Ελλάδα", "Άλλο", Q3))

Προεπισκόπηση δεδομένων

Κώδικας
kaggle_2021_compare %>%
  select(Q1, Q2, Q3, Q4, Q5, Q6, Q8, Q11, Q13, Q21) %>%
  gt_custom()
Πίνακας 1: Προεπισκόπηση πρώτων 5 σειρών του συνόλου δεδομένων
Ηλικία
Q1 		Φύλο
Q2 		Εθνικότητα
Q3 		Εκπαίδευση
Q4 		Επάγγελμα
Q5 		Έτη εμπειρίας
Q6 		Γλώσσα προγραμματισμού
Q8 		Εξοπλισμός
Q11 		NA
Q13 		Αμοιβή
Q21
50-54 Άνδρας Άλλο Προπτυχιακό Άλλο 5-10 Python Λάπτοπ 2-5 50-249
50-54 Άνδρας Άλλο Μεταπτυχιακό Project Manager 20+ Python Πλατφόρμα Cloud 0 1000-9,999
22-24 Άνδρας Άλλο Μεταπτυχιακό Μηχανικός Λογισμικού 1-3 Python Λάπτοπ 0 1000-9,999
45-49 Άνδρας Άλλο Διδακτορικό Μηχανικός Έρευνας 20+ Python Πλατφόρμα Cloud > 25 1000-9,999
45-49 Άνδρας Άλλο Διδακτορικό Άλλο < 1 Python Πλατφόρμα Cloud 0 50-249

Η κοινότητα του Kaggle

Ένα από τα πρώτα πράγματα που παρατήρησα όταν εγγράφηκα στην πλατφόρμα του Kaggle είναι το μεγάλο εύρος εθνικοτήτων που υπάρχει στη πλατφόρμα. Αρκετοί άνθρωποι από διάφορες χώρες, όλοι συγκεντρωμένοι σε μία ιστοσελίδα επειδή μοιράζονται το ίδιο πάθος για τον προγραμματισμό, την ανάλυση δεδομένων και την επιστήμη δεδομένων. Κάτι σαν το Facebook αλλά για τη Στατιστική :) Για να αναδείξω αυτό το στοιχείο της κοινότητας θα χρησιμοποιήσω έναν διαδραστικό πίνακα μέσω του πακέτου reactable για να διαπιστώσουμε τις εθνικότητες που εκπροσωπούνται περισσότερο. Από τον παρακάτω πίνακα ξεχωρίζουμε ότι οι χρήστες από την Ινδία αποτελούν τη μεγαλύτερη κοινότητα με το ένα τέταρτο των χρηστών, ακολουθούμενη από τους χρήστες από τις ΗΠΑ. Οι Έλληνες χρήστες της πλατφόρμας είναι αρκετά λίγοι και τουλάχιστον στην έρευνα συμμετείχαν σε ποσοστό 0.39% του συνόλου των χρηστών που έλαβαν μέρος.

ΣημείωσηΜία σύντομη σημείωση

Θα πρέπει να σημειώσουμε ότι τα δεδομένα και συνεπώς και τα αποτελέσματα προέρχονται αποκλειστικά από την έρευνα που έχει διεξάγει η πλατφορμα του Kaggle. Δεν είναι μία συνολική εικόνα της κοινότητας της επιστήμης δεδομένων. Επίσης, θα πρέπει να σημειωθεί ότι η έρευνα είναι προαιρετική επομένως μελετάμε τα χαρακτηριστικά αυτών που επιθυμούσαν να συμμετέχουν στην έρευνα.

Κώδικας
a = kaggle_2021 %>%
  group_by(Q3) %>%
  summarise(n = n()) %>%
  mutate(pct = round(n/nrow(kaggle_2021) * 100, digits = 2)) %>%
  arrange(desc(pct)) %>%
            reactable(.,
              defaultPageSize = 6,
              theme = espn(),
              columns = list(
                Q3 = colDef(name = "Χώρα"),
                n = colDef(name = "Αριθμός χρηστών", 
                           defaultSortOrder = "desc"),
                pct = colDef(name = "Ποσοστό (%)")),
              defaultColDef = colDef(
                cell = data_bars(data = ., 
                                 text_position = "outside-base",
                                 fill_opacity = 0.5, round_edges = T
                )
              )
            )

a
Πίνακας 2: Απόλυτος αριθμός και ποσοστό χρηστών ανά χώρα προέλευσης

Συμμετοχή γυναικών στον κλάδο

Γενικότερα, παρατηρείται διαχρονικά σε παγκόσμιο επίπεδο μία υποεκπροσώπηση των γυναικών στην αγορά εργασίας. Σύμφωνα με την Παγκόσμια Τράπεζα (2023) μόλις 5 στις 10 γυναίκες απασχολούνται, σε αντίθεση με τους άνδρες όπου η αντίστοιχη αναλογία προσεγγίζει τους 7 στους 10. Εδώ όμως θέλουμε να μελετήσουμε συγκεκριμένα για το πεδίο της επιστήμης δεδομένων. Τελικά, στον κλάδο μας ακολουθείται το ίδιο μοτίβο της μη συμπερίληψης; Η απάντηση είναι ΝΑΙ, αλλά με ισχυρές διαφοροποιήσεις ανά χώρα.

Κώδικας
data = kaggle_2021 %>%
  group_by(Q3, Q3_iso2c) %>%
  summarise(n = n(),
            Women = sum(factor(Q2) == "Γυναίκα"),
            pct_women = Women/n *100) %>%
  mutate(iso2c = tolower(Q3_iso2c))

data_decreasing = data %>% dplyr::arrange(-pct_women)

# Add emoji flags
data_decreasing <- data_decreasing %>%
    mutate(flag = map_chr(iso2c, ~ {
        chars <- utf8ToInt(toupper(.x))
        paste0(
            intToUtf8(127397 + chars[1]),
            intToUtf8(127397 + chars[2])
        )
    }))

highchart() %>%
    hc_chart(type = "bar", inverted = TRUE) %>%
    hc_title(text = "<b>Συμμετοχή γυναικών στη κοινότητα της επιστήμης δεδομένων</b>") %>%
    hc_subtitle(text = glue("Σύμφωνα με τη πρόσφατη έρευνα του Kaggle, οι γυναίκες υποεκπροσωπούνται στην κοινότητα της επιστήμης των δεδομένων. Η χώρα με την ισχυρότερη (αναλογικά) συμμετοχή είναι η Τυνησία και αυτή με τη χαμηλότερη το Περού. Τέλος, η <b>Ελλάδα</b> έχει μία σχετικά απογοητευτική απόδοση στον συγκεκριμένο δείκτη καταλαμβάνοντας τη 40η θέση με ποσοστό 15.7%, και με δεδομένο ότι ο μέσος όρος συμμετοχής είναι στο {round(mean(data$pct_women),digits = 2)} %")  ) %>%
    hc_caption(text="Δεδομένα: Έρευνα χρηστών του Kaggle 2021 | <b>stesiam</b>, 2023") %>%    hc_xAxis(categories = data_decreasing$Q3, title = list(text = NULL)) %>%
    hc_yAxis(title = list(text = "Ποσοστό (%)")) %>%
    hc_legend(enabled = FALSE) %>%
    hc_colorAxis(
      minColor = "#f2e5f7",   # light lavender
      maxColor = "#4a0072",   # deep purple
      stops = list(
        list(0.0, "#f2e5f7"), # very light lavender
        list(0.5, "#9c4dcc"), # medium purple
        list(1.0, "#4a0072")  # dark royal purple
      )
    ) %>%
    hc_add_series(
        name = "Women %",
        data = map(seq_len(nrow(data_decreasing)), function(i) {
            list(
                y = data_decreasing$pct_women[i],
                Women = data_decreasing$Women[i],
                n = data_decreasing$n[i],
                country = data_decreasing$Q3[i],
                flag = data_decreasing$flag[i]
            )
        })
    ) %>%
    hc_tooltip(
        useHTML = TRUE,
        formatter = JS("
      function() {
        var point = this.point;
        return '<span style=\"font-size:22px\">' + point.flag + '</span> ' +
               '<b>' + point.country + '</b><br>' +
               'Ποσοστό: ' + Highcharts.numberFormat(this.y, 2) + '%<br>' +
               'Απόλυτος αριθμός: ' + point.Women + ' / ' + point.n;
      }
    ")
    ) %>%
   hc_plotOptions(
        series = list(
            borderWidth = 0,
            pointPadding = 0.1,
            groupPadding = 0.04,
            animation = list(duration = 800)
        )
    )
Σχήμα 1: Ραβδόγραμμα συμμετοχής γυναικών στην έρευνα του Kaggle

Αυτή η μεγάλη ανισότητα στην συμμετοχή των γυναικών εκτός από στενάχωρη, είναι αρκετά προβληματική. Ευτυχώς, διάφορες κοινότητες έχουν αναγνωρίσει το πρόβλημα και έχουν δημιουργηθεί ομάδες που ενδυναμώνουν τη συμμετοχή των γυναικών στον κλάδο μας. Η πιο γνωστή σε εμένα ομάδα, όντας R χρήστης, είναι η κοινότητα R-ladies όπου υπάρχουν παραρτήματα αυτών των ομάδων σε διάφορες χώρες. Διοργανώνουν αρκετά συχνά πολλά σεμινάρια από τα οποία μπορείτε να τα βρείτε στο Youtube. Τέλος, από περιέργεια έψαξα και όντως υπάρχει αντίστοιχη ομάδα και για τη Python, η PyLadies.

Λογότυπο της κοινότητας R-ladies, ένα γράμμα R με μωβ χρώμα, βασισμένο στο πρωτότυπο λογότυπο της γλώσσας προγραμματισμού.

Λογότυπο ομάδας R-ladies

Η ομάδα R-ladies είναι ένας οργανισμός που αποτελείται από άτομα που τους αρέσει η γλώσσα προγραμματισμού R και θέλουν να προωθήσουν την υποεκπροσώπηση μειονοτήτων, όχι απλώς των (σις) γυναικών, αλλά και των μειονοτικών φύλων. Αυτή τη στιγμή κοινότητες R ladies υπάρχουν σε 65 χώρες, και συνολικά 225 παραρτήματα. Υπάρχουν παραρτήματα που είναι ιδιαίτερα ενεργά και έχουν ανεξάρτητα κανάλια στο Youtube ή σελίδες στο διαδίκτυο. Στην Ελλάδα μπόρεσα να βρω πληροφορίες για δύο κοινότητες μία στην Αθήνα και μία στη Θεσσαλονίκη.

Ηλικιακή Κατανομή

Η κοινότητα των Ελλήνων χρηστών αποτελείται από μεγαλύτερης ηλικίας άτομα σε σχέση με την υπόλοιπη κοινότητα. Η πολυπληθέστερη ηλικιακή ομάδα στην Ελλάδα είναι οι 25-29 ετών, ενώ υπάρχει ένα σημαντικό ποσοστό 40άρηδων. Από την άλλη μεριά ο πληθυσμός των υπολοίπων χρηστών είναι αρκετά νεανικός, με τη συντριπτική πλειοψηφία των χρηστών να συγκεντρώνεται στις μικρότερες ηλικιακές ομάδες. Αθροίζοντας το συγκεκριμένο ποσοστό, οι τρεις αυτές ομάδες προσεγγίζουν το 60% των συνολικών χρηστών, αντί του 42% για την Ελληνική κοινότητα. Με μία πιο προσεκτική ματιά στο διάγραμμα μπορούμε να δούμε ότι η μεγαλύτερη διαφορά είναι. Αυτά τα ευρήματα ίσως είναι ένα στοιχείο ότι η πλατφόρμα καα γενικότερα ο κλάδος της επιστήμης δεδομένων δεν έχει ωριμάσει στην Ελλάδα όσο στον υπόλοιπο κόσμο και για αυτό η χρήση της να περιορίζεται στην Ελλάδα σε άτομα μετά τα 25 έτη, άτομα που πιθανότατα έχουν ήδη πτυχίο και έχουν ένα πανεπιστημιακό υπόβαθρο και κάποιου είδους εργασιακή εμπειρία (40+). Για αυτό θα ελέγξουμε και σχετικές μεταβλητές σε λίγο να δούμε αν αυτή η αρχική εξήγηση - εντύπωση θα επιβεβαιωθεί.

Κώδικας
data1 = kaggle_2021_compare %>%
  select(Q3, Q1) %>%
  group_by(Q3,Q1) %>%
  summarise(n = n()) %>%
  group_by(Q3) %>%
  mutate(total = sum(n),
         pct = round(n/total *100, digits = 1)) %>%
  select(Q3, Q1, pct)
  
highchart() |>
    hc_chart(type = "areaspline") |>
    hc_title(text = "Ηλικιακή κατανομή χρηστών ανά χώρα προέλευσης (🇬🇷 / 🌍)",
             style = list(fontSize = "20px", fontWeight = "bold")) |>
    hc_subtitle(text = "Το ένα τέταρτο των Ελλήνων χρηστών ανήκουν στη ηλικιακή ομάδα των 25-29 ετών...",
                style = list(fontSize = "14px", color = "#555")) |>
    hc_xAxis(categories = unique(data1$Q1)) |>
    hc_yAxis(title = list(text = "Κατανομή (%)"),
             gridLineColor = "#e6e6e6") |>
    hc_tooltip(shared = TRUE, valueSuffix = " %") |>
    hc_plotOptions(areaspline = list(fillOpacity = 0.4, marker = list(enabled = FALSE))) |>
    hc_legend(layout = "horizontal", align = "center", verticalAlign = "top",
              floating = FALSE, borderWidth = 0) |>
    hc_colors(c("#1f78b4", "#33a02c")) |>
    hc_add_series(name = "Ελλάδα", data = data1 %>% dplyr::filter(Q3 =="Ελλάδα") %>% pull(pct)) |>
    hc_add_series(name = "Υπόλοιπος Κόσμος", data = data1 %>% dplyr::filter(Q3 =="Άλλο") %>% pull(pct))
Σχήμα 2: Διάγραμμα περιοχής για τη μελέτη της κατανομής των ηλικιακών ομάδων μεταξύ των χρηστών από την Ελλάδα και των χρηστών άλλων χωρών.

Τέλος, δεν θα ήθελα να κλείσω την ενότητα δίχως να έχω και ένα συμπέρασμα για την αγαπημένη μου γλώσσα προγραμματισμού. Συγκρίνοντας τις δύο πιο διαδεδομένες γλώσσες προγραμματισμού ως προς την χρήση τους ανά ηλικιακή ομάδα παρατηρώ ότι και στις δύο γλώσσες οι μικρές ηλικίες, κάτω των 29 ετών αποτελούν τη πλειοψηφία των χρηστών τους. Αυτό είναι λογικό αν αναλογιστούμε ότι ο προγραμματισμός και η ανάλυση δεδομένων είναι κλάδοι με ιδιαίτερα υψηλή ζήτηση και επαγγελαμτική αποκατάσταση και οι γλώσσες προγραμματισμού αποτελούν προαπαιτούμενο σε σχέση με κάποια χρόνια πριν. Επίσης, παρατηρούμε ότι η Python έχει μεγαλύτερη συγκέντρωση χρηστών στις ηλικίες μέχρι 29 ετών, ενώ η R έχει αρκετά σημαντική παρουσία χρηστών μεγαλύτερων ηλικιών. Αυτό ήταν αναμενόμενο καθώς η R είχε από πάντα σκοπό και χαρακτηριζόταν ως μία γλώσσα για στατιστική ανάλυση, οπότε είναι αναμενόμενο να έχει περισσότερους υφιστάμενους - μεγαλύτερης ηλικίας χρήστες στο τομέα της επιστήμης δεδομένων, σε σχέση με τη Python. Μάλιστα η Python εδραιώθηκε στο τομέα της επιστήμης δεδομένων με την δημιουργία βιβλιοθηκών που υποστήριζαν την εισαγωγή δεδομένων (pandas, 2008), την οπτικοποίησή τους (matplotlib, 2003), την ανάλυσή τους (statsmodels, 2009) και τέλος την κατασκευή στατιστικών - προβλεπτικών μοντέλων μηχανικής μάθησης (scikit-learn, 2007).

Κώδικας
dt = kaggle_2021_compare %>%
  select(Q8, Q1) %>%
  group_by(Q8, Q1) %>%
  summarise(n = n(), .groups = "drop") %>%
  dplyr::filter(Q8 %in% c("R", "Python")) %>%
  group_by(Q8) %>%
  mutate(pct = round( 100* (n / sum(n)), digits = 2 )) %>%
  ungroup(Q8)


highchart() |>
    hc_chart(type = "areaspline") |>
    hc_title(text = "Ηλικιακή κατανομή χρηστών ανά γλώσσα προγραμματισμού",
             style = list(fontSize = "20px", fontWeight = "bold")) |>
    hc_subtitle(text = "Το ένα τέταρτο των Ελλήνων χρηστών ανήκουν στη ηλικιακή ομάδα των 25-29 ετών...",
                style = list(fontSize = "14px", color = "#555")) |>
    hc_xAxis(categories = unique(data1$Q1)) |>
    hc_yAxis(title = list(text = "Κατανομή (%)"),
             gridLineColor = "#e6e6e6") |>
    hc_tooltip(shared = TRUE, valueSuffix = " %") |>
    hc_plotOptions(areaspline = list(fillOpacity = 0.4, marker = list(enabled = FALSE))) |>
    hc_legend(layout = "horizontal", align = "center", verticalAlign = "top",
              floating = FALSE, borderWidth = 0) |>
    hc_colors(c("#1f78b4", "#ff7f0e")) |>
    hc_add_series(name = "R", data = dt %>% dplyr::filter(Q8 =="R") %>% pull(pct)) |>
    hc_add_series(name = "Python", data = dt %>% dplyr::filter(Q8 =="Python") %>% pull(pct))
Σχήμα 3: Διάγραμμα περιοχής για τη μελέτη της κατανομής των ηλικιακών ομάδων μεταξύ των προγραμματιστών με γλώσσα R και Python.

Εκπαιδευτικό Υπόβαθρο

Ένα άλλο στοιχείο που αξίζει διερεύνησης είναι το υψηλότερο επίπεδο εκπαίδευσης που έχουν οι Έλληνες χρήστες έναντι των υπολοίπων χρηστών της πλατφόρμας. Προηγουμένως, παρατηρήσαμε μία κατανομή ηλικιών στην οποία δηλωνόταν ότι η συμμετοχή των μεγαλύτερων ηλικιών είναι μεγαλύτερη από την αντίστοιχη των άλλων χρηστών. Η υποψία μου είναι ότι έχοντας χρήστες τόσο μεγάλης ηλικίας πιθανότατα να υποδηλώνει μία κοινότητα αρκετά εξειδικευμένη. Αυτή η εντύπωση φαίνεται να επιβεβαιώνεται, μιας και οι κάτοχοι μεταπτυχιακού ή διδακτορικού τίτλου είναι σαφώς περισσότεροι αναλογικά. Περίπου το 78% των Ελλήνων χρηστών έχει τίτλο μεταπτυχιακού ή ανώτερο τίτλο ενώ ο ανάλογος δείκτης για την υπόλοιπη ομάδα χρηστών είναι 50%.

Κώδικας
data3 = kaggle_2021_compare %>%
  select(Q3, Q4) %>%
  group_by(Q3, Q4) %>%
  summarise(n = n()) %>%
  group_by(Q3) %>%
  mutate(pct = round(n/sum(n)*100, digits = 1))  %>%
  ungroup()

d = data3 %>% dplyr::filter(Q4 %in% c("Προπτυχιακό", "Μεταπτυχιακό", "Διδακτορικό"))

highchart() %>%
  hc_chart(type = "bar") %>%
  hc_title(text = "Εκπαιδευτικό υπόβαθρο χρηστών (🇬🇷 / 🌍)") %>%
  hc_subtitle(text="Οι Έλληνες χρήστες έχουν υψηλότερους τίτλους σπουδών με 77% να έχει μεταπτυχιακό ή διδακτορικό δίπλωμα. Το αντίστοιχο ποσοστό στις υπόλοιπες χώρες είναι 50%.") %>%
  hc_caption(text="Σημείωση: Τα ποσοστά αναφέρονται σε επίπεδο χώρας. <br> stesiam, 2023") %>%
  hc_xAxis(categories = d$Q4,
           title = list(text = NULL)) %>%
  hc_yAxis(min = 0,
           title = list(text = "Ποσοστό (%) ερωτηθέντων ανά χώρα", align = "high"),
           labels = list(overflow = "justify")) %>%
  hc_tooltip(valueSuffix = " %") %>%
  hc_plotOptions(bar = list(dataLabels = list(enabled = TRUE))) %>%
  hc_series(
    list(name = "Ελλάδα", data = d %>% dplyr::filter(Q3 =="Ελλάδα") %>% pull(pct)),
    list(name = "Υπόλοιπος Κόσμος", data = d %>% dplyr::filter(Q3 =="Άλλο") %>% pull(pct))
  ) %>%
  hc_colors(c("#1f78b4", "#33a02c")) |>
  hc_legend(
    align = "center",
    verticalAlign = "top",
    layout = "horizontal"
  )
Σχήμα 4: Ραβδόγραμμα επιπέδου εκπαίδευσης χρηστών της πλατφόρμας
Κώδικας
data3 = kaggle_2021_compare %>%
  select(Q8, Q4) %>%
  group_by(Q8, Q4) %>%
  summarise(n = n()) %>%
  group_by(Q8) %>%
  mutate(pct = round(n/sum(n)*100, digits = 1))  %>%
  ungroup()

d = data3 %>% dplyr::filter(Q4 %in% c("Προπτυχιακό", "Μεταπτυχιακό", "Διδακτορικό"))

highchart() %>%
  hc_chart(type = "bar") %>%
  hc_title(text = "Εκπαιδευτικό υπόβαθρο χρηστών (🇬🇷 / 🌍)") %>%
  hc_subtitle(text="Οι Έλληνες χρήστες έχουν υψηλότερους τίτλους σπουδών με 77% να έχει μεταπτυχιακό ή διδακτορικό δίπλωμα. Το αντίστοιχο ποσοστό στις υπόλοιπες χώρες είναι 50%.") %>%
  hc_caption(text="Σημείωση: Τα ποσοστά αναφέρονται σε επίπεδο χώρας. <br> stesiam, 2023") %>%
  hc_xAxis(categories = d$Q4,
           title = list(text = NULL)) %>%
  hc_yAxis(min = 0,
           title = list(text = "Ποσοστό (%) ερωτηθέντων ανά χώρα", align = "high"),
           labels = list(overflow = "justify")) %>%
  hc_tooltip(valueSuffix = " %") %>%
  hc_plotOptions(bar = list(dataLabels = list(enabled = TRUE))) %>%
  hc_series(
    list(name = "R", data = d %>% dplyr::filter(Q8 =="R") %>% pull(pct)),
    list(name = "Python", data = d %>% dplyr::filter(Q8 =="Python") %>% pull(pct))
  ) %>%
  hc_colors(c("#1f78b4", "#ff7f0e")) |>
  hc_legend(
    align = "center",
    verticalAlign = "top",
    layout = "horizontal"
  )
Σχήμα 5: Ραβδόγραμμα επιπέδου εκπαίδευσης χρηστών της πλατφόρμας

Εργασία

Μέχρι στιγμής ξέρω ότι η μικρή κοινότητα των Ελλήνων επιστημόνων δεδομένων κατά κατανομή από άτομα μεγαλύτερης ηλικίας και υψηλότερης εξειδίκευσης - πανεπιστημιακών τίτλων. Αυτό όμως μεταφράζεται σε χρόνια επαγγελματικής εμπειρίας στο πεδίο; Οργανώνοντας τις κατηγορίες ανάλογα με τα χρόνια εξασκήσης επαγγέλματος:

  • Καμία (0 έτη)
  • Λιγότερο από ένα έτος
  • Από ένα μέχρι τρία έτη (1-3)
  • Από τρία μέχρι πέντε έτη (3-5)
  • ΑπΌ 5 μέχρι δέκα έτη (5-10)
  • Από 10 μέχρι είκοσι έτη (10-20)
  • Πάνω από 20 έτη (>20)

Ένα ενδιαφέρον στοιχείο του διαγράμματος είναι ότι οι χρήστες με εργασιακή εμπειρία μέχρι 1 έτος αντιπροσωπεύουν το 1/5 για τους Έλληνες χρήστες και το 1/4 για τους χρήστες της πλατφόρμας. Αυτό δηλώνει ένα πεδίο που έχει σημαντική ζήτηση όπου υπάρχει που σημαντικό μέρος των ομάδων αυτών έχουν πιθανότατα έχουν πρόσφατα εισέλθει στη αγορά εργασίας και συγκεκριμένα στο πεδίο της ανάλυσης δεδομένων. Επιπλέον, επιβεβαιώνεται ότι οι Έλληνες χρήστες αναλογικά έχουν περισσότερη εργασιακή εμπειρία σε σύγκριση με τους υπόλοιπους χρήστες της πλατφόρμας γεγονός που οφείλεται στην ηλικιακή δομή και το επίπεδο σπουδών των συμμετεχόντων.

Κώδικας
kaggle_2021_compare$Q6 <- kaggle_2021_compare$Q6 |>
  fct_relevel(
    "0", "< 1", "1-3", "3-5", "5-10", "10-20", "20+"
  )

data = kaggle_2021_compare %>%
  group_by(Q3) %>%
  count(Q6) |>
  mutate(sum = sum(n),
         pct = round((n / sum) * 100, digits = 1)) %>%
  select(Q3, Q6, pct) %>%
  pivot_wider(names_from = "Q3", values_from = "pct") %>%
  ungroup()
Κώδικας
highchart() |>
  hc_chart(type = "areaspline") |>
  hc_title(text = "Χρόνια προϋπηρεσίας ανά χώρα προέλευσης (🇬🇷 / 🌍)") |>
  hc_subtitle(text = "Το ένα τέταρτο των Ελλήνων χρηστών ανήκουν στη ηλικιακή ομάδα των 25-29 ετών. Γενικότερα τα άτομα κάτω των 29 ετών αποτελούν το 42% των Ελλήνων χρηστών και το 56% από άλλες χώρες.") |>
  hc_xAxis(categories = unique(data$Q6)) |>
  hc_yAxis(title = list(text = "Κατανομή (%)")) |>
  hc_tooltip(shared = TRUE, valueSuffix = " %") |>
  hc_colors(c("#1f78b4", "#33a02c")) |>
  hc_plotOptions(
    areaspline = list(
      fillOpacity = 0.5  # match the Highcharts demo's fill
    )
  ) |>
  hc_legend(
    layout = "horizontal",
    verticalAlign = "top"
    ) |>
  hc_add_series(
    name = "Ελλάδα",
    data = data$Ελλάδα
  ) |>
  hc_add_series(
    name = "Υπόλοιπος Κόσμος",
    data = data$Άλλο
  )

Παρά τη μεγάλη εμπειρία και τη σημαντικότερη εξειδίκευση που προκύπτει από τις ανώτερες σπουδές οι Έλληνες επιστήμονες δεδομένων εργάζονται σε σχετικά μικρές εταιρείες και οργανισμούς. Αυτό το στοιχείο είναι αρκετά σημαντικό, αν αναλογιστούμε ότι περίπου το 47% των ξένων δήλωσαν ότι εργάζονται σε επιχειρήσεις έως 250 υπαλλήλων και το αντίστοιχο ποσοστό για τους Έλληνες είναι 58%.

Κώδικας
kaggle_2021_compare$Q21 <- kaggle_2021_compare$Q21 |>
  fct_relevel(
    "0-49", "50-249", "250-999", "1000-9,999", "> 10,000"
  )

data = kaggle_2021_compare %>%
  drop_na(Q21) %>%
  group_by(Q3) %>%
  count(Q21) |>
  mutate(sum = sum(n),
         pct = round((n / sum) * 100, digits = 1)) %>%
  select(Q3, Q21, pct) %>%
  pivot_wider(names_from = "Q3", values_from = "pct") %>%
  ungroup()

highchart() |>
  hc_chart(type = "areaspline") |>
  hc_title(text = "Μέγεθος επιχειρήσεων ανά χώρα προέλευσης (🇬🇷 / 🌍)") |>
  hc_subtitle(text = "Αριθμός υπαλλήλων που απασχολεί η εταιρεία του ερωτώμενου") |>
  hc_xAxis(categories = unique(data$Q21)) |>
  hc_yAxis(title = list(text = "Κατανομή (%)")) |>
  hc_tooltip(shared = TRUE, valueSuffix = " %") |>
  hc_colors(c("#1f78b4", "#33a02c")) |>
  hc_plotOptions(
    areaspline = list(
      fillOpacity = 0.5  # match the Highcharts demo's fill
    )
  ) |>
  hc_legend(
    layout = "horizontal",
    verticalAlign = "top"
    ) |>
  hc_add_series(
    name = "Ελλάδα",
    data = data$Ελλάδα
  ) |>
  hc_add_series(
    name = "Υπόλοιπος Κόσμος",
    data = data$Άλλο
  )
Κώδικας
kaggle_2021_compare$Q25ed <- kaggle_2021_compare$Q25 |>
  fct_recode(
    ">200,000" = ">$1,000,000",
    "0-9,999" = "$0-999",
    ">200,000" = "$500,000-999,999",
    "0-9,999" = "1,000-1,999",
    "10,000-19,999" = "10,000-14,999",
    "100,000-200,000" = "100,000-124,999",
    "100,000-200,000" = "125,000-149,999",
    "10,000-19,999" = "15,000-19,999",
    "100,000-200,000" = "150,000-199,999",
    "0-9,999" = "2,000-2,999",
    "20,000-29,999" = "20,000-24,999",
    ">200,000" = "200,000-249,999",
    "20,000-29,999" = "25,000-29,999",
    ">200,000" = "250,000-299,999",
    "0-9,999" = "3,000-3,999",
    "30,000-49,999" = "30,000-39,999",
    ">200,000" = "300,000-499,999",
    "0-9,999" = "4,000-4,999",
    "30,000-49,999" = "40,000-49,999",
    "0-9,999" = "5,000-7,499",
    "50,000-69,999" = "50,000-59,999",
    "50,000-69,999" = "60,000-69,999",
    "0-9,999" = "7,500-9,999",
    "70,000-99,000" = "70,000-79,999",
    "70,000-99,000" = "80,000-89,999",
    "70,000-99,000" = "90,000-99,999"
  )

kaggle_2021_compare$Q25ed <- kaggle_2021_compare$Q25ed |>
  fct_relevel(
    "0-9,999", "10,000-19,999", "20,000-29,999", "30,000-49,999",
    "50,000-69,999", "70,000-99,000", "100,000-200,000", ">200,000"
  )


data = kaggle_2021_compare %>%
  drop_na(Q25ed) %>%
  group_by(Q3) %>%
  count(Q25ed) |>
  mutate(sum = sum(n),
         pct = round((n / sum) * 100, digits = 1)) %>%
  select(Q3, Q25ed, pct) %>%
  pivot_wider(names_from = "Q3", values_from = "pct") %>%
  ungroup()


highchart() |>
  hc_chart(type = "areaspline") |>
  hc_title(text = "Αμοιβή ανά χώρα (🇬🇷 / 🌍)") |>
  hc_subtitle(text = "Ποσοστό ερωτώμενων ανά κατηγορία αμοιβής") |>
  hc_xAxis(categories = data$Q25ed) |>
  hc_yAxis(title = list(text = "Κατανομή (%)")) |>
  hc_tooltip(shared = TRUE, valueSuffix = " %") |>
  hc_colors(c("#1f78b4", "#33a02c")) |>
  hc_plotOptions(
    areaspline = list(
      fillOpacity = 0.5  # match the Highcharts demo's fill
    )
  ) |>
  hc_legend(
    layout = "horizontal",
    verticalAlign = "top"
    ) |>
  hc_add_series(
    name = "Ελλάδα",
    data = data$Ελλάδα
  ) |>
  hc_add_series(
    name = "Υπόλοιπος Κόσμος",
    data = data$Άλλο
  )

Οκ, περισσότερη εμπειρία. Όμως με τι ασχολούνται; Υπάρχουν διάφορες εργασίες που εσωκλείει ο όρος Επιστήμη Δεδομένων. Ο αναλυτής δεδομένων, ο επιστήμονας δεδομένων, ο μηχανικός δεδομένων είναι μερικές από

Κώδικας
da = kaggle_2021_compare |>
  group_by(Q3) |>
  count(Q5) |>
  arrange(-n) |>
  mutate(sum = sum(n),
         pct = round((n/sum)*100, digits = 2)) |>
  ungroup(Q3) |>
  select(Q3, Q5, pct) |>
  pivot_wider(names_from = Q3, values_from = pct)
Κώδικας
r = arrange(da, -`Ελλάδα`)
r = head(r)
highchart() %>%
    hc_chart(type = "bar") %>%
    hc_title(text = "Εργασίες με μεγαλύτερη συχνότητα στην Ελλάδα") %>%
    hc_xAxis(categories = r$Q5, title = NULL) %>%
    hc_yAxis(title = list(text = "Ποσοστό (%) χρηστών")) %>%
    hc_series(list(
        name = "Fruits",
        data = r$Ελλάδα
    )) %>%
  hc_legend(enabled = FALSE)
Κώδικας
r = arrange(da, -`Άλλο`)
r = head(r)
highchart() %>%
    hc_chart(type = "bar") %>%
    hc_title(text = "Εργασίες με μεγαλύτερη συχνότητα ξένων χρηστών") %>%
    hc_xAxis(categories = r$Q5, title = list(text = NULL)) %>%
    hc_yAxis(title = list(text = "Ποσοστό (%) χρηστών")) %>%
    hc_series(list(
        name = "Ποσοστό:",
        data = r$Άλλο
    )) %>%
  hc_legend(enabled = FALSE)

Η εργαλειοθήκη μας

Η γλώσσα που κυριαρχεί στην Επιστήμη Δεδομένων και στις δύο ομάδες είναι η Python. Η μόνη διαφοροποίηση είναι μεταξύ Ελλήνων και ξένων χρηστών είναι ίσως η αναλογικότερη σημαντικότερη βάση χρηστών της R. Σε κάθε περίπτωση περίπου οκτώ στους δέκα έχουν επιλέξει ως κύρια γλώσσα την Python, ακολουθούμενη από την R και τέλος την SQL.

Κώδικας
y = kaggle_2021_compare |>
  group_by(Q3, Q8) |>
  count() |>
  ungroup(Q8) |>
  top_n(n = 3, wt = n) |>
  mutate(sum = sum(n),
         pct = round((n/sum)*100, digits = 1)) %>%
  ungroup(Q3) |>
  select(Q3, Q8, pct) |>
  pivot_wider(names_from = "Q3", values_from = "pct")

y$img = c(
  '<img src="https://upload.wikimedia.org/wikipedia/commons/thumb/c/c3/Python-logo-notext.svg/150px-Python-logo-notext.svg.png" height="40">',
  '<img src="https://upload.wikimedia.org/wikipedia/commons/thumb/1/1b/R_logo.svg/250px-R_logo.svg.png" height="40">',
  '<img src="" height="2px">'
)
Κώδικας
highchart() %>%
  hc_chart(type = "bar", marginLeft = 100, spacingLeft = 5, spacingRight = 5) %>%
  hc_colors(c("#1f78b4", "#a6a6a6")) %>%
  hc_title(text = "Γλώσσες προγραμματισμού (🇬🇷 / 🌍)",
           style = list(fontSize = "20px", fontWeight = "bold")) %>%
  hc_subtitle(text="Η Python κυριαρχεί στον κόσμο της επιστήμης δεδομένων. Ένα ενδιαφέρον στοιχείο είναι η αναλογικά ισχυρότερη συμμετοχή - επιλογή της R στην Ελληνική κοινότητα.",
             style = list(fontSize = "14px", color = "#555")) %>%
  hc_caption(text="Σημείωση: Τα ποσοστά αναφέρονται σε επίπεδο χώρας.<br>stesiam, 2023",
             style = list(fontSize = "11px", color = "#777")) %>%
  hc_xAxis(categories = y$Q8,
           labels = list(useHTML = TRUE, style = list(fontSize = "12px", whiteSpace = "normal"))) %>%
  hc_yAxis(min = 0,
           title = list(text = NULL),
           labels = list(format = "{value}%")) %>%
  hc_tooltip(valueSuffix = " %") %>%
  hc_plotOptions(
    bar = list(
      borderRadius = 5,
      dataLabels = list(enabled = TRUE, format = "{point.y:.0f}%")
    )
  ) %>%
  hc_series(
    list(name = "Ελλάδα", data = y$Ελλάδα),
    list(name = "Υπόλοιπος Κόσμος", data = y$Άλλο)
  ) %>%
  hc_legend(
    align = "center",
    verticalAlign = "top",
    layout = "horizontal",
    itemStyle = list(fontSize = "12px")
  ) %>%
  hc_colors(c("#1f78b4", "#33a02c")) |>
  hc_responsive(
    rules = list(
      list(
        condition = list(maxWidth = 500),
        chartOptions = list(
          title = list(style = list(fontSize = "16px")),
          subtitle = list(style = list(fontSize = "12px")),
          xAxis = list(labels = list(style = list(fontSize = "10px", categories = y$Q8))),
          yAxis = list(labels = list(style = list(fontSize = "10px"))),
          legend = list(
            layout = "vertical",
            align = "center",
            verticalAlign = "bottom",
            itemStyle = list(fontSize = "10px")
          )
        )
      )
    )
  )
Κώδικας
custom_df = 
  tibble(
    t = kaggle_2021_compare$Q3,
    l = kaggle_2021_compare$Q11
  ) |>
  dplyr::filter(t %in% c("Άλλο"))

df_sankey = custom_df %>%
  group_by(t , l) %>%
  summarise(weight = n(), .groups = "drop")


# links2 = df_sankey %>%
#   group_by(r, t) %>%
#   summarise(weight = sum(weight), .groups = "drop") %>%
#   rename(from = r, to = t)

links3 = df_sankey %>%
  group_by(t, l) %>%
  summarise(weight = sum(weight), .groups = "drop") %>%
  rename(from = t, to = l)

links_all <- bind_rows(links3)

highchart() %>%
  hc_chart(type = "sankey") %>%
  hc_title(text = "Διάγραμμα αλληλουχιών: Σύγκριση παλιών και νέας καμπάνιας") %>%
  hc_subtitle(text = "Στο διάγραμμα τονίζεται τα καλύτερα αποτελέσματα της τωρινής καμπάνιας (δεύτερη στήλη)") %>%
  hc_add_series(
    keys = c("from", "to", "weight"),
    data = list_parse(links_all),
    name = "Flow"
  ) %>%
  hc_tooltip(pointFormat = "{point.from} → {point.to}: <b>{point.weight}</b>")

Επίλογος - Συμπεράσματα

Τα αποτελέσματα είναι μάλλον. Η Ελλάδα δεν στερείται ανθρώπινου κεφαλαίου και ανθρώπων που είναι γνώστες του πεδίου της Επιστήμης Δεδομένων. Αποτελείται από άτομα με μεγάλυ εξειδίκευση και αρκετά μεγάλη εργασιακή εμπειρία. Βέβαια, υπάρχει ένα μοτίβο που είναι αρκετά ανησυχητικό και αυτό είναι η κατανομή στις ηλικίες. Αυτό μπορεί να σημαίνει την αρκετά μικρή διείσδυση με ενδιαφέρον για το κλάδο από μικρές ηλικίες και αυτό μπορεί να είναι προβληματικό

Τέλος, θα ήθελα να διευκρινίσω τι εννοεί το άρθρο για να αποφευχθούν οι λάθος αναγνώσεις. Σε αρκετές κατανομές δηλώνονται στοιχεία τα οποία είναι ευνοϊκά υπέρ της Ελλάδας. Σε καμία περίπτωση αυτό δεν σημαίνει ότι οι Έλληνες είναι καλύτεροι στην Επιστήμη Δεδομένων και έναν τέτοιο συμπέρασμα θα ήταν λανθασμένο. Συγκρίνουμε δημογραφικά στοιχεία χρηστών από μία έρευνα μιας πλατφόρμας. Έτσι λοιπόν η κατανομή πιθανότατα κρύβει τη χαμηλή συμμετοχή και διείσδυση της επιστήμης δεδομένων στη χώρα μας που δηλώνεται τόσο από τον χαμηλό αριθμό χρηστών, όσο και από τη δομή αυτών. Στη πραγματικότητα η τάση είναι ανησυχητική μιας και οι κατανομές μας δεν συνοδεύονται από ένα ανάλογο ποσοστό μικρών ηλικιών με ενδιαφέρον στο πεδίο.

Αναφορές

Cuilla, K. (2022). reactablefmtr: Streamlined Table Styling and Formatting for Reactable. Ανακτήθηκε από https://kcuilla.github.io/reactablefmtr/
Heads or Tails. (2020). Kaggle has 10 million registered users! Ανακτήθηκε από https://www.kaggle.com/discussions/general/332147
Hester, J., & Bryan, J. (2024). glue: Interpreted String Literals. Ανακτήθηκε από https://glue.tidyverse.org/
Iannone, R., Cheng, J., Schloerke, B., Haughton, S., Hughes, E., Lauer, A., … Roy, O. (2025). gt: Easily Create Presentation-Ready Display Tables. Ανακτήθηκε από https://gt.rstudio.com
Kunst, J. (2022). highcharter: A Wrapper for the Highcharts Library. Ανακτήθηκε από https://jkunst.com/highcharter/
Lin, G. (2025). reactable: Interactive Data Tables for R. Ανακτήθηκε από https://glin.github.io/reactable/
O’Hara-Wild, M. (2018, Ιούλιος 10). Arranging Hex Stickers in R. Ανακτήθηκε από https://mitchelloharawild.github.io/mitchelloharawild.com//blog/hexwall
Qiu, Y., & See file AUTHORS for details., authors/contributors of the included fonts. (2020). showtextdb: Font Files for the showtext Package. https://doi.org/10.32614/CRAN.package.showtextdb
Qiu, Y., & See file AUTHORS for details., authors/contributors of the included fonts. (2024a). sysfonts: Loading Fonts into R. Ανακτήθηκε από https://github.com/yixuan/sysfonts
Qiu, Y., & See file AUTHORS for details., authors/contributors of the included software. (2024b). showtext: Using Fonts More Easily in R Graphs. Ανακτήθηκε από https://github.com/yixuan/showtext
R Core Team. (2025). R: A Language and Environment for Statistical Computing. Vienna, Austria: R Foundation for Statistical Computing. Ανακτήθηκε από https://www.R-project.org/
The World Bank. (2023). Labor force participation rate (. Ανακτήθηκε από https://genderdata.worldbank.org/indicators/sl-tlf-acti-zs/?geos=WLD&view=trend
Wickham, H. (2025). forcats: Tools for Working with Categorical Variables (Factors). Ανακτήθηκε από https://forcats.tidyverse.org/
Wickham, H., François, R., Henry, L., Müller, K., & Vaughan, D. (2023). dplyr: A Grammar of Data Manipulation. Ανακτήθηκε από https://dplyr.tidyverse.org
Wickham, H., & Henry, L. (2026). purrr: Functional Programming Tools. Ανακτήθηκε από https://purrr.tidyverse.org/
Wickham, H., Hester, J., & Bryan, J. (2025). readr: Read Rectangular Text Data. Ανακτήθηκε από https://readr.tidyverse.org
Wickham, H., Vaughan, D., & Girlich, M. (2025). tidyr: Tidy Messy Data. Ανακτήθηκε από https://tidyr.tidyverse.org
Zhu, H. (2024). kableExtra: Construct Complex Table with kable and Pipe Syntax. Ανακτήθηκε από http://haozhu233.github.io/kableExtra/

Αναφορά

Αναφορά BibTeX:
@online{2023,
  author = {, stesiam},
  title = {Ελληνική κοινότητα επιστήμης δεδομένων},
  date = {2023-05-06},
  url = {https://stesiam.com/el/posts/kaggle-greek-community/},
  langid = {el}
}
Για απόδοση ευγνωμοσύνης, παρακαλούμε αναφερθείτε σε αυτό το έργο ως:
stesiam. (2023, May 6). Ελληνική κοινότητα επιστήμης δεδομένων. Retrieved from https://stesiam.com/el/posts/kaggle-greek-community/
]]> R Περιγραφική Ανάλυση https://stesiam.com/el/posts/kaggle-greek-community/ Sat, 06 May 2023 00:00:00 GMT Εντοπίζοντας πιθανούς ενδιαφερόμενους πελάτες stesiam https://stesiam.com/el/posts/predict-possible-clients/

Εισαγωγή

Σε αυτό το άρθρο θα κατασκευάσω ένα μοντέλο μηχανικής μάθησης για να προβλέψω ποιοι από τους πελάτες μίας τράπεζας ενδιαφέρονται να ανοίξουν έναν λογαριασμό προθεσμικής κατάθεσης. Για το σκοπό αυτό θα χρησιμοποιήσουμε μοντέλα Boosting (XGBoost και LightGBM) για να ταξινομήσουμε τις περιπτώσεις πιθανές αποκρίσεις σε ενδιαφερόμενους και μη ενδιαφερόμενους. Τα δεδομένα προέρχονται από την ιστοσελίδα «UCI Machine Learning Repository» (Dua & Graff, 2017) και χρησιμοποίησα τη βάση δεδομένων που τιτλοφορείται ως Bank Marketing (Moro, Cortez, & Rita, 2014).

Πριν ξεκινήσουμε την ανάλυσή μας, ας κάνουμε μία νύξη σε κάποιους βασικούς όρους.

Τι είναι η προθεσμιακή κατάθεση;

Όταν θέλουμε να καταθέσουμε χρήματα στη τράπεζα συνήθως οι περισσότεροι έχουν έναν απλό λογαριασμό ταμιευτηρίου ή αποταμίευσης. Ένα διαφορετικό είδος λογαριασμού είναι ο προθεσμιακός, όπου σε αυτή τη περίπτωση δεσμεύεται ο πελάτης της τράπεζας ότι δεν θα κάνει ανάληψη στον λογαριασμό για ένα προκαθορισμένο χρονικό διάστημα (π.χ. για ένα έτος δεν θα κάνει ανάληψη).

Και για ποιο λόγο να επιλέξουμε έναν τέτοιο λογαριασμό;

Είναι προφανές ότι οι προθεσμιακές καταθέσεις έχουν ένα βασικό μειονέκτημα έναντι των τυπικών λογαριασμών σε όρους πρόσβασης στα κεφάλαιά μας. Φυσικά, κανένας δεν θα έκανε κάποια τέτοια κίνηση αν δεν έχει κάποιο αντάλλαγμα. Έτσι λοιπόν οι τράπεζες συνήθως σε αυτά τα προγράμματα προσφέρουν υψηλότερα επιτόκια σε σχέση με αυτά των λογαριασμών ταμιευτηρίου / αποταμίευσης. Αξίζει να δώσουμε μερικά παραδείγματα τραπεζών, συγκρίνοντας τα τραπεζικά επιτόκια των τυπικών και προθεσμιακών λογιαριασμών.

  • Η Πειραιώς, μία εκ των συστημικών τραπεζών της χώρας μας, προσφέρει διπλάσιο επιτόκιο στους προθεσμιακούς λογαριασμούς της.

  • Η Eurobank, προσφέρει μηδενικό επιτόκιο σε λογαριασμούς ταμιευτηρίου, 0.01% μέχρι και 0.35% σε λογαριασμού αποταμίευσης και στις προθεσμιακές ποικίλει αναλόγως του προγράμματος και του ύψους της κατάθεσης από 0.1% μέχρι και 1%.

  • Γενικότερα, σύμφωνα με την πρόσφατη έκθεση της Τράπεζας της Ελλάδας, τα επιτόκια των προθεσμιακών κυμαίνονται από 1.2% με 1.4%, ενώ οι τυπικοί λογαριασμοί για τα νοικοκυριά είναι στο 0.03%.

Με βάση τα παραπάνω μπορούμε να υποθέσουμε ότι δεν θα είναι όλοι κατάλληλοι για αυτά τα προϊόντα. Με βάση τη λογική, το κατάλληλο προφίλ των ατ κατάλληλο προφίλ των ατόμων που να βρεθούν άτομα με σημαντικό ύψος καταθέσεων και να μην έχουν άλλα σημαντικά βάρη, όπως δάνεια ή χρέη σε τρίτους.

Προαπαιτούμενα

Εισαγωγή βιβλιοθηκών

Για αυτή την ανάλυση θα χρειαστούμε τυπικές βιβλιοθήκες της R για την εισαγωγή των δεδομένων, μέσω του readr πακέτου (Wickham, Hester, & Bryan, 2025), και τη μορφοποίηση αυτών με το dplyr πακέτο (Wickham, François, Henry, Müller, & Vaughan, 2023). Το kableExtra πακέτο (Zhu, 2024) αποτελεί σημαντική προσθήκη ώστε να τυπώσω τα αποτελέσματά μου σε μία μορφή πίνακα. Ένα σημαντικό κομμάτι που θα πρέπει να αποφασίσω πώς να λύσω είναι αυτό της οπτικοποίησης των δεδομένων. Αρχικά χρησιμοποιούσα το πακέτο ggplot2 προκειμένου να δημιουργήσω τα όποια διαγράμματα, πράγμα που είναι αρκετά περιοριστικό για μία ιστοσελίδα καθώς το ggplot2 δημιουργεί στατικά διαγράμματα. Έτσι λοιπόν για τα άρθρα μου χρησιμοποιώ το πακέτο highcharter (Kunst, 2022) όπου είναι ένα R πακέτο που δίνει τη δυνατότητα διαγραμμάτων φιλικό για όλους τους τύπους των οθονών. Τέλος, αυτή η ανάλυση έχει ως στόχο να ταξινομήσει τους πελάτες της τράπεζας, επομένως θα κατασκευάσω ένα μοντέλο ταξινόμησης, και η χρήση του πακέτου tidymodels (Kuhn & Wickham, 2025) κρίνεται απαραίτητη.

Δείξε τον κώδικα

Εισαγωγή δεδομένων

Αφού φορτώσουμε τις αναγκαίες βιβλιοθήκες, θα φορτώσουμε τα δεδομένα μας. Η βάση των δεδομένων μου έχει αρκετές εκδόσεις των ίδιων δεδομένων, μία μεγαλύτερη και μία πιο συνοπτική έκδοση, η διαφορά τους έγκειται μόνο στον αριθμό των παρατηρήσεων. Για το συγκεκριμένο άρθρο θα επιλέξω τη πιο συνοπτική μορφή μιας και η προσαρμογή Boosting μοντέλων είναι αρκετά χρονοβόρα σε σύγκριση με τη κατασκευή πιο απλώς μοντέλων ταξινόμησης (π.χ. Λογιστική Παλινδρόμηση, k Πλησιέστερων Γειτόνων).

Δείξε τον κώδικα
bank_dataset <- read_delim("bank_dataset_files/bank.csv",  
                           delim = ";", 
                           escape_double = FALSE, 
                           trim_ws = TRUE)

bank_dataset = bank_dataset %>% tibble::rowid_to_column("ID")

Προεπισκόπηση δεδομένων

Here we can see a small chunk of my dataset (first 10 rows / observations) just to understand the dataset’s structure and type of variables.

Δείξε τον κώδικα
preview_bank_dataset = head(bank_dataset, 6)
reactable(
  preview_bank_dataset,
  bordered = FALSE,     # No borders (booktabs style)
  striped = FALSE,      # No stripes for a clean look
  highlight = FALSE,    # No hover highlighting
  defaultColDef = colDef(align = "center"),
  style = list(fontSize = "14px", border = "none"),
  theme = reactableTheme(
    borderColor = "transparent", # Remove border
    cellStyle = list(
      borderBottom = "transparent"  # Subtle line between rows
    ),
    headerStyle = list(
      borderBottom = "2px solid rgb(117, 117, 117)", # Thick top rule
      borderTop = "2px solid rgb(117, 117, 117)",
      fontWeight = "bold"
    )
  )
)
Πίνακας 1: Προεπισκόπηση δεδομένων (πρώτες 6 παρατηρήσεις)

Προτού κάνουμε οποιαδήποτε ανάλυση είναι καλό να προσδιορίσουμε το τύπο των δεδομένων που έχουμε διαθέσιμα. Ως επί το πλεείστον αυτό μπορούμε να το μάθουμε κοιτώντας τις τιμές που λαμβάνει μία μεταβλητή. Γενικότερα, οι μεταβλητές μπορούν να ταξινομηθούν με βάση τις τιμές που λαμβάνουν ως εξής:

graph TD;
  A(Τύπος μεταβλητών) --> B(Ποσοτική)
  A(Τύπος μεταβλητών) --> C(Ποιοτική)
  B --> D(Διακριτή)
  B --> E(Συνεχής)
  C --> J(Κατηγορική)
  C --> G(Διατάξιμη)
Σχήμα 1: Κατηγοριοποίηση μεταβλητής με βάση τις τιμές της
Πίνακας 2: Σύνοψη μεταβλητών δεδομένων
Μεταβλητή Τύπος μεταβλητής Περιγραφή
Age ποσοτική
(συνεχής)		 Ηλικία ατόμου
Job ποιοτική
(κατηγορική)		 Κλάδος απασχόλησης ατόμου
Marital ποιοτική
(κατηγορική)		 Οικογενειακή κατάσ
Education ποιοτική
(διατάξιμη)		 Υψηλότερη βαθμίδα εκπαίδευσης
Default ποιοτική
(κατηγορική)		 has credit in default?
Balance ποσοτική
(συνεχής)		 Average yearly balance, in euros
Housing ποιοτική
(κατηγορική)		 Έχει στεγαστικό δάνειο;
Loan ποιοτική
(κατηγορική)		 Έχει προσωπικό δάνειο;
Contact ποιοτική
(κατηγορική)		 Μέσο επικοινωνίας
Month ποιοτική
(διατάξιμη)		 Μήνας πιο πρόσφατης προσέγγισης
Duration ποσοτική
(continuous)		 Διάρκεια (σε δευτερόλεπτα) τελευταίας επικοινωνίας
Campaign quantitative Αριθμός προσεγγίσεων σε ένα άτομο
pdays quantitative Αριθμός ημερών που μεσολάβησαν από τελευταία ενημέρωση
pprevious quantitative Αριθμός προσεγγίσεων του πελάτη
poutcome qualitative (nominal) Αποτέλεσμα πορηγούμενης προωθητικής καμπάνιας
Deposit qualitative
(nominal)		 Has the client subscribed a term deposit?

Το δείγμα μου αποτελείται από 18 μεταβλητές (στήλες), εκ των οποίων οι 7 είναι ποσοτικές και οι υπόλοιπες 10 ποιοτικές. Όσον αφορά τις ποιοτικές μεταβλητές, 8 από αυτές είναι κατηγορικές και μόλις δύο είναι διατάξιμες (Μήνας προώθησης και Επίπεδο εκπαίδευσης).

Ορισμός συναρτήσεων

Οκ, είδαμε κάποια βασικά στοιχεία των δεδομένων μου και τη δομή αυτών. Μπορώ τώρα να ξεκινήσω την ανάλυσή μου;

Εξαρτάται. Σε περίπτωση που θέλεις να πάρεις μία γρήγορη ανάλυση προκειμένου να λάβεις ένα συκγκεκριμένο αποτέλεσμα πιθανότατα να είναι εντάξει. Βέβαια, τις περισσότερες φορές απαιτείται προσεκτικότερος σχεδιασμός της μελέτης. Ένας αρκετά συχνό λάθος στο οποίο έχω υποπέσει και εγώ στο παρελθόν είναι ο κίνδυνος της επαναληψιμότητας ορισμένων διαδικασιών. Προκειμένου να αποτρέψουμε να γράφουμε τα ίδια πράγματα πολλές φορές κρίνεται απαραίτητη η συγγραφή ορισμένων συναρτήσεων. Για παράδειγμα στη συγκεκριμένη άσκηση παρατηρώ ότι έχω αρκετές μεταβλητές του ίδιου τύπου, τόσο ποιοτικές όσο και ποσοτικές. Για ποιο λόγο λοιπόν να γράψω 10 φορές παρόμοιο κώδικα όταν μπορώ να εσωκλείσω τα βασικά χαρακτηριστικά σε μία συνάρτηση.

Έτσι λοιπόν έχω ορίσει δύο μεταβλητές. Αρχικά την univariateQualitativePlot η οποία χρησιμοποιείται για τη κατασκευή κυκλικών διαγραμμάτων για τις ποιοτικές μεταβλητές μου.

Δείξε τον κώδικα
gt_custom <- function(data, head_max = 5, use_labels = TRUE) {
    
    data_subset <- as.data.frame(data) %>% head(head_max)
    
    gt_tbl <- data_subset %>%
        gt::gt(groupname_col = "model") %>%
        cols_align(align = "center", columns = everything()) %>%
        tab_style(
            style = cell_text(
                v_align = "middle",
                weight = "bold",
                whitespace = "normal"
            ),
            locations = cells_column_labels()
        ) %>%
        tab_options(
            row.striping.include_table_body = FALSE,
            table.background.color = "transparent",
            column_labels.background.color = "transparent",
            table.width = pct(100), 
            table.font.size = px(13),           
            data_row.padding = px(15), 
            column_labels.padding = px(15),
            table.border.top.style = "none",
            table.border.bottom.style = "none",
            table_body.hlines.style = "none", 
            column_labels.border.top.width = px(2),
            column_labels.border.top.color = "#757575",
            column_labels.border.bottom.width = px(2),
            column_labels.border.bottom.color = "#757575",
            table_body.border.bottom.width = px(2),
            table_body.border.bottom.color = "#757575"
        ) %>%
        opt_css(css = "
      .gt_table th, .gt_table td { 
        text-align: center !important; 
        vertical-align: middle !important;
      }
      .gt_table { 
        margin-left: auto !important; 
        margin-right: auto !important; 
        width: 100% !important;
      }
      .gt_table tr { background-color: transparent !important; }
      .gt_row { background-color: transparent !important; }
    ")
    
    # Apply labels only if requested
    if (use_labels) {
        gt_tbl <- gt_tbl %>%
            cols_label_with(
                fn = function(x) {
                    html(paste0(
                        "<b>", greek_labels[x], "</b>",
                        "<br><span style='font-size:10px; color:#777; font-style:italic;'>",
                        x,
                        "</span>"
                    ))
                }
            )
    }
    
    return(gt_tbl)
}
Δείξε τον κώδικα
univariateQualitativePlot <- function(data, column, title, subtitle, chart_type = "bar") {

  # Compute frequency table
  freq_table <- data %>%
    count({{ column }}, name = "Frequency") %>%
    arrange(desc(Frequency)) %>%
    rename(Variable = {{ column }}) %>%
    mutate(pct = round((Frequency / sum(Frequency) *100), digits = 1))

  # Define common chart properties
  hc <- highchart() %>%
    hc_title(text = title) %>%
    hc_subtitle(text = subtitle) %>%
    hc_tooltip(pointFormat = "{point.name}: {point.y}") %>%
    hc_legend(enabled = chart_type == "pie")  # Enable legend only for pie chart

  # Choose chart type
  hc <- if (chart_type == "bar") {
    hc %>%
      hc_chart(type = "bar") %>%
      hc_xAxis(categories = freq_table$Variable, title = list(text = "Job Category")) %>%
      hc_yAxis(title = list(text = "Frequency")) %>%
      hc_series(list(name = "Frequency", data = freq_table$Frequency))
  } else if (chart_type == "pie") {
    pie_data <- lapply(1:nrow(freq_table), function(i) {
      list(name = freq_table$Variable[i], y = freq_table$Frequency[i])
    })
    
    hc %>%
      hc_chart(type = "pie") %>%
      hc_series(list(name = "Frequency", data = pie_data))
  } else {
    stop("Invalid chart type. Use 'bar' or 'pie'.")
  }

  return(hc)
}

Αντίστοιχα, θα ορίσω και τη συνάρτηση univariateQuantitativePlot για τη κατασκευή ραβδογραμμάτων για τις ποσοτικές μεταβλητές μου. Και οι δύο συναρτήσεις βασίζονται και κατασκευάσουν διαγράμματα χρησιμοποιώντας το πακέτο highcharter.

Περιγραφική Ανάλυση

Ελλειπούσες τιμές

Δείξε τον κώδικα
how_many_nas = sum(is.na(bank_dataset))

Στα δοσμένα δεδομένα υπάρχουν συνολικά 0 ελλειπούσες τιμές. Αυτή βέβαια είναι μία σπάνια - ιδανική περίπτωση. Σε διαφορετική περίπτωση θα έπρεπε να γεμίσουμε τις κενές τιμές με κάποια μέθοδο εκτίμησης.

Μονομεταβλητή ανάλυση

Στη συνέχεια είναι σημαντικό να μελετήσουμε τις μεταβλητές μου, τις τιμές τους και τις κατανομές αυτών. Είναι ένα σημαντικό κομμάτι ώστε να κατανοήσω το δείγμα και να λάβω παραπάνω παραμέτρους υπόψιν μου στη κατασκευή του μοντέλου.

Όσον αφορά τον κλάδο της εργασίας, στο δείγμα παρατηρείται μία σημαντική συμμετοχή ατόμων με εργασίες που πιθανότατα συνδυάζονται με υψηλότερες σπουδές και συνεπακόλουθα υψηλότερες απολαβές, όπως τα διευθυντικά στελέχη, διοικητικοί υπάλληλοι, επιχειρηματίες κτλ. Περίπου το 40% των πελατών της τράπεζας απασχολούνται σε εργασίες μπλέ κολάρου οι οποίες τις περισσότερες φορές να συνδυάζονται με και να δημιουργήσει μη επιθυμία δέσμευσης σε ένα τραπεζικό προϊόν που θα δεσμεύει χρηματικό κεφάλαιο. Τέλος, στο πελατολόγιο της τράπεζας ένα ποσοστό περί το 10% που αποτελείται από ομάδες πληθυσμού που για διάφορους λόγους δεν τους συμφέρει να δημιουργήσουν ένα τέτοιο λογαριασμό, όπως οι άνεργοι, οι σπουδαστές μιας και βρίσκονται σε ευάλωτη περίοδο με αυξημένα έξοδα και περιορισμένες πηγές εισοδήματος καθώς και οι συνταξιούχοι μιας και θα χρειαστούν να καλύψουν έκτακτες ανάγκες σε παροχές υγείας. Ειδικά για τους τελευταίους που αποτελούν το 5% των πελατών της τράπεζας, υπάρχουν άλλα χρηματοδοτικά εργαλεία αν θέλουν να εξασφαλίσουν τα γηρατειά τους, όπως τα αντίστροφα στεγαστικά δάνεια.

Δείξε τον κώδικα
univariateQualitativePlot(bank_dataset, job, 
                          title = "Τομέας απασχόλησης του ερωτώμενων", 
                          subtitle = "Καθαρός αριθμός και ποσοστό (%) επί όλων των πελατών")
Σχήμα 2: Ραβδόγραμμα κλάδων απασχόλης πελατών της τράπεζας

Άλλο ένα διαθέσιμο στοιχείο είναι η οικογενειακή κατάσταση καθώς μπορεί να συνδέεται με αυξημένες ανάγκες και έξοδα για το νοικοκυριό. Ενδεχομένως, ένας πελάτης που είναι παντρεμένο να έχει αυξημένα έξοδα για το νοικοκυριό του (π.χ. λόγω παιδιών). Άλλη μία οπτική θα ήταν . Γενικά, δεν είναι ξεκάθαρη εκ των προτέρων η ερμηνεία του συγκεκριμένου δείκτη. Σε κάθε περίπτωση στο υπό εξέταση δείγμα έχουμε περί το 60% των ατόμων που είναι παντρεμένοι, το ένα τέταρτο των πελατών είναι ανύπαντροι και οι υπόλοιποι είναι διαζευγμένοι.

Δείξε τον κώδικα
univariateQualitativePlot(bank_dataset, marital, 
                          title = "Ποια είναι η οικογενειακή σου κατάσταση;", 
                          subtitle = "Οι περισσότεροι είναι παντρεμένοι.",
                          "pie")
Σχήμα 3: Κυκλικό διάγραμμα οικογενειακής κατάστασης πελατών τράπεζας

Ένας δείκτης που, τουλάχιστον διαισθητικά, μπορεί να είναι από τους πιο σημαντικούς είναι το ανώτατο επίπεδο εκπαίδευσης του πελάτη. Είναι λογικό κάποιος που έχει υψηλότερου επιπέδου σπουδές να έχει τη δυνατότητα να απασχοληθεί σε εργασίες που απαιτούν εξειδίκευση η οποία να πληρώνεται αντίστοιχα της μειωμένης προσφοράς. Άρα έμμεσα μπορεί να καθορίσει τις επαγγελματικές δυνατότητες του ενδιαφερόμενου και συνεπακόλουθα το μισθό που θα μπορεί να διεκδικεί και το ποσό που περισσεύσει για αποταμίευση. Στο συγκεκριμένο δείγμα μόλις το 30% έχει πανεπιστημιακή εκπαίδευση.

Δείξε τον κώδικα
univariateQualitativePlot(bank_dataset, 
                          education, 
                          title = "Υψηλότερο επίπεδο εκπαίδευσης",
                          subtitle = "")
Σχήμα 4: Ραβδόγραμμα εκπαιδευτικού υποβάθρου πελατών τράπεζας

Έκτός όμως από τις σπουδές που είναι μία ισχυρή ένδειξη σημαντικό ρόλο στη δημιουργία μιας προθεσμιακής κατάθεσης είναι οι υποχρεώσεις του ατόμου. Αυτές μπορούν να διακριθούν μέσα από τρεις μεταβλητές που μας παρέχονται και πιο συγκεκριμένα αν:

  • ο πελάτης έχει οφειλές
  • ο πελάτης έχει λάβει κάποιο δάνειο (στεγαστικό / προσωπικό)

Είναι προφανές ότι αν έχει μη εξυπηρετούμενες οφειλές το τελευταίο πράγμα που θα σκεφτεί είναι να κάνει αποταμίευση, αλλά να ξεπληρώσει τα χρέη του. Στο δείγμα μόλις 76 άτομα που αντιστοιχούν στο 1.6% των πελατών εμπίπτει σε αυτή τη κατηγορία, γεγονός που καθιστά να έχει νόημα η πρόταση για τη συντριπτική πλειοψηφία.

Δείξε τον κώδικα
univariateQualitativePlot(bank_dataset, default, 
                          title = "Έχετε μη εξυπηρετούμενες οφειλές;", 
                          subtitle = "Ποσοστό (%) ατόμων που δεν έχουν εκπληρώσει τις πιστωτικές τους υποχρεώσεις",  
                          "pie")
Σχήμα 5: Κυκλικό διάγραμμα πελατών τράπεζας αναλόγως του αν εξυπηρετούν τις οφειλές του ή όχι

Επιπλέον, σημαντικό ποσοστό των πελατών της τράπεζας έχουν ήδη σημαντικές υποχρεώσεις τόσο σε βραχυπρόθεσμο επίπεδο, όσο και μακροπρόθεσμα. Πάνω από τους μισούς έχουν λάβει στεγαστικό δάνειο που σημαίνει μία πάγια σταθερή και σε βάθος χρόνου υποχρέωση η οποία δεν πρέπει να αθετηθεί μιας και πολλές φορές συνδυάζεται με υποθήκη του ακινήτου για το οποίο έλαβε και το δάνειο. Από την άλλη βέβαια θα μπορούσε να θεωρηθεί ότι με αυτό το τρόπο έχει προυπολογίσει το νοικοκυριό το κόστος της στέγασής τους και υπερτερεί της επιλογής του ενοικίου. Αυτό που κατά τη γνώμη μου ίσως να αποτελεί σημαντικότερο παράγοντα άρνησης είναι η λήψη καταναλωτικών δανείων. Αυτά τα δάνεια προορίζονται συνήθως για τη κάλυψη βραχυπρόθεσμων - έκτακτων αναγκών και αυτό το χρηματοδοτικό προιόν είναι διαβόητο για τα υψηλά επιτόκια καθιστώντας το μία ακιρβή επιλογή. Έτσι λοιπόν η αποπληρωμή του ίσως είναι το πρώτο πράγμα που θα πρέπει να κάνει κάποιος και προφανώς το άνοιγμα ενός προθεσμιακού λογαριασμού δεν είναι λογική. Στη δική μας περίπτωση περίπου το 15% έχει λάβει καταναλωτικό δάνειο γεγονός που είναι ελαφρώς αισιόδοξο μιας και μας επιτρέπει να έχουμε βάσιμες ελπίδες εύρεσης ενδιαφερόμενων στο υπόλοιπο 85%.

Δείξε τον κώδικα
univariateQualitativePlot(bank_dataset, housing, 
                          title = "Έχετε λάβει στεγαστικό δάνειο;", 
                          subtitle = "Ποσοστό (%) ατόμων που έχει λάβει στεγαστικό δάνειο",                            "pie")
univariateQualitativePlot(bank_dataset, loan, 
                          title = "Έχετε λάβει καταναλωτικό δάνειο;", 
                          subtitle = "Ποσοστό (%) ατόμων που έχει λάβει προσωπικό - καταναλωτικό δάνειο",                            "pie")
Σχήμα 6: Κυκλικό διάγραμμα ατόμων που έχουν λάβει στεγαστικό δάνειο
Σχήμα 7: Κυκλικό διάγραμμα ατόμων αναλόγως αν έχουν λάβει καταναλωτικό δάνειο

Ένα άλλο στοιχείο που δίνεται είναι το μέσο επικοινωνίας με τον πελάτη της τράπεζας. Πάνω από τους μισούς έχουν σταθερό τηλέφωνο ως μέσο επικοινωνίας.

Δείξε τον κώδικα
univariateQualitativePlot(bank_dataset, contact, 
                          title = "Μέσο επικοινωνίας", 
                          subtitle = "Η προώθηση μέσω κινητού είναι πιο εκτεταμένη σε σχέση με το σταθερό",
                          "pie")
Σχήμα 8: Κυκλικό διάγραμμα τρόπων προσέγγισης ατόμων - πελατών

Άλλη μία ενδιαφέρουσα μεταβλητή είναι ο τελευταίος μήνας στον οποίο προσεγγίστηκε ένας πελάτης. Οι περισσότερες τελευταίες προσεγγίσεις φαίνεται να έγιναν καλοκαιρινούς μήνες. Βέβαια αυτό το στοιχείο θέλει προσοχή στην ερμηνεία του γιατί μπορεί η λήψη των δεδομένων να έγινε π.χ. τον Σεπτέμβριο και τότε να είναι λογικό οι τελευταίες προσεγγίσεις να έγιναν τους καλοκαιρινούς μήνες. Ενδεχομένως να χρειαστεί διμεταβλητή ανάλυση στην επόμενη ενότητα σχετικά με τις επιτυχίες ανά μήνα, προκειμένου να εξεταστεί με μεγαλύτερη ακρίβεια ο συγκεκριμένος δείκτης.

Δείξε τον κώδικα
univariateQualitativePlot(bank_dataset, month, 
                          title = "Μέσο επικοινωνίας", 
                          subtitle = "Η προώθηση μέσω κινητού είναι πιο εκτεταμένη σε σχέση με το σταθερό")
Σχήμα 9: Κυκλικό διάγραμμα τρόπων προσέγγισης ατόμων - πελατών

Σύμφωνα με τα δεδομένα και τη περιγραφή των δεδομένων η τράπεζα θα είχε τρέξει και σε προηγούμενα χρόνια παρόμοιες καμπάνιες ενημέρωσης και πρώθησης τραπεζικών προϊόντων και συγκεκριμένα προθεσμιακών λογαριασμών. Έτσι λοιπόν, έχουμε δεδομένα για όσους είχαν αποδεχτεί άνοιγμα λογαριασμού σε προηγούμενα χρόνια το οποίο μπορεί να είναι αρκετά βοηθητικό και ενδεχομένως μεγάλο ποσοστό να έχει νόημα να επανεγγραφεί. Ως αποτέλεσματ των προηγούμενων καμπάνιων είχαμε 129 ενδιαφερόμενους για κλειστούς λογαριασμούς, ενώ η κατάσταση πολλών είναι άγνωστη για τις προηγούμενες καμπάνιες.

Δείξε τον κώδικα
univariateQualitativePlot(bank_dataset, poutcome, 
                          title = "Ποιο ήταν το αποτέλεσμα προηγούμενης προσέγγισης?", 
                          subtitle = "For every five failed approaches there was one succussful.", "pie")
Σχήμα 10: Κυκλικό διάγραμμα απόκρισης των ατόμων σε προηγούμενες καμπάνιες προώθησης προθεσμιακών λογαριασμών

Εδώ στην ουσία έχω το αποτέλεσμα το οποίο προσπαθώ να προβλέψω. Αυτά τα δεδομένα είναι γνωστά από τη τωρινή καμπάνια. Με βάση όμως αυτά τις προηγούμενες μεταβλητές - χαρακτηριστικά θα κατασκευάσω ένα μοντέλο πρόβλεψης και αυτά τα μοντέλα θα αξιολογηθούν με βάση αυτά τα δοσμένα αποτελέσματα.

Δείξε τον κώδικα
univariateQualitativePlot(bank_dataset, y, 
                          title = "Πόσοι αποφάσισαν να φτιάξουν προθεσμιακό λογαριασμό;", 
                          subtitle = "Ποσοστό πελατών που αποφάσισαν να ανοίξουν
                          έναν προθεσμιακό λογαριασμό ως αποτέλεσμα της τωρινής καμπάνιας.",
                          "pie")
Σχήμα 11: Κυκλικό διάγραμμα απόκρισης των ατόμων στη τωρινή καμπάνια προώθησης προθεσμιακών λογαριασμών

Οι καταθέτες της τράπεζας είναι κυρίως νεότερης ηλικίας και η συντριπτική πλειοψηφία κάτω των 60 ετών. Το ιστόγραμμα φαίνεται να έχει ένα σχήμα καμπάνας που προσοιδιάζει στη κανονική κατανομή, αλλά υπάρχει μία ελαφριά θετική ασυμμετρία.

Δείξε τον κώδικα
hchart(bank_dataset$age) %>%
    hc_title(text = "Κατανομή ηλικιών") %>%
    hc_subtitle(text = glue("Η διάμεση ηλικία είναι τα <b>{median(bank_dataset$age)}</b> έτη.")) %>%
    hc_caption(text = "Bank Marketing Dataset from UCI") %>%
    hc_tooltip(pointFormat = "{point.name}: {point.y}") %>%
    hc_legend(enabled = FALSE)
Σχήμα 12: Ιστόγραμμα κατανομής ηλικιών πελατών τράπεζας
Δείξε τον κώδικα
hchart(bank_dataset$balance) %>%
    hc_title(text = "Κατανομή καταθέσεων") %>%
    hc_subtitle(text = glue("Οι περισσότερες καταθέσεις κυμαίνονται μεταξύ των 0$ και 200$ δολαρίων. Το διάμεσο υπόλοιπο λογαριασμού είναι {median(bank_dataset$balance)} $. Το 75ο τεταρτημόριο είναι τα 1480$, άρα το ένα τέταρτο των πελατών έχει καταθέσεις υψηλότερες αυτού του ποσού. Τα ύψη των λογαριασμών κυμαίνονται από {min(bank_dataset$balance)} μέχρι και τα {max(bank_dataset$balance)} $")) %>%
    hc_caption(text = "Bank Marketing Dataset from UCI") %>%
    hc_tooltip(pointFormat = "{point.name}: {point.y}") %>%
    hc_legend(enabled = FALSE) %>%
    hc_xAxis(
    title = list(text = "Ύψος καταθέσεων σε δολαρια ΗΠΑ $"),
      max = 10000
)
Σχήμα 13: Ιστόγραμμα κατανομής ηλικιών πελατών τράπεζας

Άλλο ένα στοιχείο είναι η διάρκεια της κλήσης. Διαισθητικά, αν η κλήση διαρκεί πολύ λίγο πιθανότατα να σημαίνει ότι ο πελάτης δεν ενδιαφέρεται. Σε αντίθετη περίπτωση

Δείξε τον κώδικα
hchart(bank_dataset$duration) %>%
    hc_title(text = "Διάρκεια κλήσης") %>%
    hc_subtitle(text = glue("Οι περισσότερες καταθέσεις κυμαίνονται μεταξύ των 0$ και 200$ δολαρίων. Το διάμεσο υπόλοιπο λογαριασμού είναι {median(bank_dataset$balance)} $. Το 75ο τεταρτημόριο είναι τα 1480$, άρα το ένα τέταρτο των πελατών έχει καταθέσεις υψηλότερες αυτού του ποσού. Τα ύψη των λογαριασμών κυμαίνονται από {min(bank_dataset$balance)} μέχρι και τα {max(bank_dataset$balance)} $")) %>%
    hc_caption(text = "Bank Marketing Dataset from UCI") %>%
    hc_tooltip(pointFormat = "{point.name}: {point.y}") %>%
    hc_legend(enabled = FALSE) %>%
    hc_xAxis(
    title = list(text = "Διάρκεια κλήσης (σε δευτερόλεπτα)"),
    max = 1000)
Σχήμα 14: Ιστόγραμμα συνολικής διάρκειας κλήσης (σε δευτερόλεπτα)
Δείξε τον κώδικα
s = bank_dataset %>%
  mutate(category = case_when(
    campaign >= 1 & campaign <= 7 ~ as.character(campaign),
    campaign > 7              ~ "8+",
    TRUE                   ~ NA_character_
  )) %>%
  mutate(category = factor(category, levels = c(as.character(1:7), "8+"), ordered = TRUE))
Δείξε τον κώδικα
hchart(s$category) %>%
    hc_title(text = "Αριθμός προσεγγίσεων") %>%
    hc_subtitle(text = glue("Οι περισσότερες καταθέσεις κυμαίνονται μεταξύ των 0€ και 200€ ευρώ. Το διάμεσο υπόλοιπο λογαριασμού είναι {median(bank_dataset$balance)} €. Το 75ο τεταρτημόριο είναι τα 1480€, άρα το ένα τέταρτο των πελατών έχει καταθέσεις υψηλότερες αυτού του ποσού. Τα ύψη των λογαριασμών κυμαίνονται από {min(bank_dataset$balance)} μέχρι και τα {max(bank_dataset$balance)} $")) %>%
    hc_caption(text = "Bank Marketing Dataset from UCI") %>%
    hc_legend(enabled = FALSE) %>%
    hc_xAxis(
    title = list(text = "Ύψος καταθέσεων σε ευρώ €")
)
Σχήμα 15: Ραβδόγραμμα αριθμού συνολικών προσεγγίσεων - επικοινωνιών που έγιναν σε έναν πελάτη

Διμεταβλητή ανάλυση

Στη προηγούμενη υπο-ενότητα εξετάστηκαν κάποια βασικά περιγραφικά στοιχεία ανά μεταβλητή τα οποία μπορούν να μας δώσουν μία αίσθηση για το πελατολόγιο της τράπεζας. Αν εξετάσω αυτά τα στοιχεία από μόνα τους ενδεχομένως να μην επαρκούν για να βγάλω αρκετά συμπεράσματα και η διμεταβλητή ανάλυση (σύγκριση δύο μεταβλητών) είναι αναγκαία. Μία προσέγγιση θα ήταν να εξετάσω τη συσχέτιση (ή συνάφεια) μεταξύ των ποσοτικών (ποιοτικών) μεταβλητών. Στη προκειμένη περίπτωση θα είχε επιπλέον όφελος να συγκρίνουμε τις προηγούμενες μεταβλητές με τη μεταβλητή απόκρισης (δηλαδή με την επιθυμία ανοίγματος προθεσμιακού λογαριασμού).

Μία σημαντική σύγκριση είναι ο κλάδος εργασίας του πελάτη με την τελική του απόφαση - ενδιαφέρον. Με το παρακάτω σχήμα δηλώνεται η χαμηλότερη ποσοστιαία ζήτηση ατόμων με χειρονακτική εργασία, ενώ οι συνταξιούχοι είναι αυτή μρ την υψηλότερη.

Δείξε τον κώδικα
plotjob <- bank_dataset %>%
  group_by(job, y) %>%
  summarize(n = n()) %>% 
  mutate(pct = round(100*(n/sum(n)), digits = 1),
         lbl = scales::percent(pct)) %>%
  arrange(desc(pct))
`summarise()` has grouped output by 'job'. You can override using the `.groups`
argument.
Δείξε τον κώδικα
highchart() %>%
  hc_chart(type = "column") %>%
  hc_xAxis(categories = plotjob$job) %>%
  hc_yAxis(
    min = 0,
    max = 100,
    title = list(text = "Percentage"),
    labels = list(format = "{value}%")
  ) %>%
  hc_plotOptions(
    column = list(
      stacking = "percent",
      dataLabels = list(
        enabled = TRUE,
        format = "{point.y:.0f}%"
      )
    )
  ) %>%
  hc_series(
    list(name = "Όχι", data = plotjob$pct[plotjob$y == "όχι"], color = "#AA5733"),
    list(name = "Ναι", data = sort(plotjob$pct[plotjob$y == "ναι"]), color = "#33bb57")
  ) %>%
  hc_tooltip(pointFormat = "<b>{series.name}</b>: {point.y}%") %>%
  hc_title(text = "Αποκρίσεις τωρινής καμπάνιας ανά επάγγελμα") %>%
  hc_subtitle(text = "Μαθητές και συνταξιούχοι είναι οι πληθυσμιακές ομάδες όπου συμμετέχουν ποσοστιαία περισσότερο από τους υπόλοιπους σε ανοίγματα προθεσμιακών λογαριασμών.") %>%
  hc_responsive(
    rules = list(
      list(
        condition = list(
          maxWidth = 500 # Hide labels when screen width is ≤500px
        ),
        chartOptions = list(
          plotOptions = list(
            column = list(
              dataLabels = list(enabled = FALSE) # Disable labels
            )
          )
        )
      )
    )
)
Σχήμα 16: Ραβδόγραμμα αποτελεσμάτων καμπάνιας ανά επάγγελμα

Τα παραπάνω αποτελέσματα ίσως να ήταν αναμενόμενα ως ένα βαθμό εξετάζοντας τη δυνητική οικονομική κατάσταση κάποιου. Υπάρχουν όμως και μεταβλητές υπό εξέταση στις οποίες η απάντηση δεν είναι προφανής, όπως στην οικογενειακή κατάσταση. Στο σχήμα, εξετάζεται η σημαντικά μεγαλύτερη αναλογικά συμμετοχή ατόμων που είναι μόνοι τους (είτε ως ανύπαντροι είτε ως διαζευγμένοι), έχοντας σημαντική απόκλιση από την αντίστοιχη απόκριση ατόμων που έχουν παντρευτεί.

Δείξε τον κώδικα
plotmarital <- bank_dataset %>%
  group_by(marital, y) %>%
  summarize(n = n()) %>% 
  mutate(pct = round(100*(n/sum(n)), digits = 1),
         lbl = scales::percent(pct)) %>%
  arrange(desc(pct))
`summarise()` has grouped output by 'marital'. You can override using the
`.groups` argument.
Δείξε τον κώδικα
highchart() %>%
  hc_chart(type = "column") %>%
  hc_xAxis(categories = plotmarital$marital) %>%
  hc_yAxis(
    min = 0,
    max = 100,
    title = list(text = "Percentage"),
    labels = list(format = "{value}%")
  ) %>%
  hc_plotOptions(
    column = list(
      stacking = "percent",
      dataLabels = list(
        enabled = TRUE,
        format = "{point.y:.0f}%"
      )
    )
  ) %>%
  hc_series(
    list(name = "Όχι", data = plotmarital$pct[plotmarital$y == "όχι"], color = "#AA5733"),
    list(name = "Ναι", data = sort(plotmarital$pct[plotmarital$y == "ναι"]), color = "#33bb57")
  ) %>%
  hc_tooltip(pointFormat = "<b>{series.name}</b>: {point.y}%") %>%
  hc_title(text = "Job of Respondent by Interest to Term Deposit") %>%
  hc_subtitle(text = "Students and retirees are the population groups with a proportionally lower interest in term deposits compared to other groups.") %>%
  hc_responsive(
    rules = list(
      list(
        condition = list(
          maxWidth = 500 # Hide labels when screen width is ≤500px
        ),
        chartOptions = list(
          plotOptions = list(
            column = list(
              dataLabels = list(enabled = FALSE) # Disable labels
            )
          )
        )
      )
    )
)
Σχήμα 17: Ραβδόγραμμα αριθμού συνολικών προσεγγίσεων - επικοινωνιών που έγιναν σε έναν πελάτη

Μία σύνοψη των παραπάνω μπορεί να γίνει και με το παρακάτω διάγραμμα αλληλουχιών. Με τη πρώτη στήλη να δηλώνει τη κατανομή στις οικογενειακές καταστάσεις συνδυαζόμενες από το εκπαιδευτικό υπόβαθρο των συμμετεχόντων και καταλήγω στη τρίτη στήλη που είναι και η τελική απάντηση του πελάτη (αν ενδιαφέρεται να ανοίξει προθεσμιακό λογαριασμό).

Δείξε τον κώδικα
custom_df = 
  tibble(
    r = bank_dataset$education,
    t = bank_dataset$marital,
    m = bank_dataset$y
  )

df_sankey = custom_df %>%
  group_by(r, t ,m) %>%
  summarise(weight = n(), .groups = "drop")


links2 = df_sankey %>%
  group_by(t, r) %>%
  summarise(weight = sum(weight), .groups = "drop") %>%
  rename(from = t, to = r)

links3 = df_sankey %>%
  group_by(r, m) %>%
  summarise(weight = sum(weight), .groups = "drop") %>%
  rename(from = r, to = m)



links_all <- bind_rows(links2, links3)

highchart() %>%
  hc_chart(type = "sankey") %>%
  hc_title(text = "Alluvial Chart: Gender → Preference → Region") %>%
  hc_add_series(
    keys = c("from", "to", "weight"),
    data = list_parse(links_all),
    name = "Flow"
  ) %>%
  hc_tooltip(pointFormat = "{point.from} → {point.to}: <b>{point.weight}</b>")

Έκρινα σημαντικό να συγκρίνω την διαφορά μεταξύ των προηγούμενων και της τωρινής καμπάνιας και τελικά από που προκύπτουν οι ενδιαφερόμενοι. Έχουν κάνει εκ νέου χρήση των προιόντων ή η τράπεζα κατάφερε να εδραιώσει το πελατολόγιό της / το εύρος των υπηρεσιών προϊόντων που προσφέρει στους πελάτες της; Αυτό θα μελετήσω με άλλο ένα διάγραμμα αλληλουχίας. Αρχικά η τράπεζα διατηρεί μεγάλο μέρος της εμπιστοσύνης των προηγούμενων χρηστών της υπηρεσίας μιας και το 64% αυτών που είχαν συμφωνήσει να ανοίξουν προθεσμιακό λογαριασμό το πράττουν και με τη νέα καμπάνια. Το κρίσιμο δεδομένο βέβαια σε αυτή τη διμεταβλητή ανάλυση είναι το κατά πόσο έπεισε τους πελάτες που αρνήθηκαν την υπηρεσία. Αυτό το νούμερο προσεγγίζει το 13% που είναι μία αρκετά ικανοποιητική επίδοση με βάση ότι είχαν αρνηθεί προηγουμένως.

Δείξε τον κώδικα
custom_df = 
  tibble(
    t = bank_dataset$poutcome,
    l = bank_dataset$y
  )

df_sankey = custom_df %>%
  group_by(t , l) %>%
  summarise(weight = n(), .groups = "drop")


# links2 = df_sankey %>%
#   group_by(r, t) %>%
#   summarise(weight = sum(weight), .groups = "drop") %>%
#   rename(from = r, to = t)

links3 = df_sankey %>%
  group_by(t, l) %>%
  summarise(weight = sum(weight), .groups = "drop") %>%
  rename(from = t, to = l)

links_all <- bind_rows(links3)

highchart() %>%
  hc_chart(type = "sankey") %>%
  hc_title(text = "Διάγραμμα αλληλουχιών: Σύγκριση παλιών και νέας καμπάνιας") %>%
  hc_subtitle(text = "Στο διάγραμμα τονίζεται τα καλύτερα αποτελέσματα της τωρινής καμπάνιας (δεύτερη στήλη) σε σχέση με τις προηγούμενες. Περίπου 12% (63 άτομα) όσων απέρριψαν το ενδιαφέρον τους για τέτοια προιόντα πείστηκαν με τη τωρινή καμπάνια να ανοίξουν τέτοιο λογαριασμό.") %>%
  hc_add_series(
    keys = c("from", "to", "weight"),
    data = list_parse(links_all),
    name = "Flow"
  ) %>%
  hc_tooltip(pointFormat = "{point.from} → {point.to}: <b>{point.weight}</b>")

Κατασκευή μοντέλου

Στην R υπάρχουν υπάρχουν δύο αρκετά διαδεδομένοι τρόποι για τη κατασκευή μοντέλων, το caret και το tidymodels. Από τη μία μεριά, το πακέτο caret είναι αρκετά εύκολο στη χρήση, υπάρχουν αρκετά άρθα σχετικά με αυτό όπως οδηγοί - tutorials, επεξηγηματικά βίντεο - άρθρα. Από την άλλη μεριά, το tidymodels είναι μία <<όλα σε ένα>> λύση μιας και αποτελεί ένα μεταπακέτο, δηλαδή μία συλλογή πακέτων, που προσπαθεί να δώσει , ωστόσο υπάρχει λιγότερη τεκμηρίωση και άρθρα μιας και έχει δημιουργηθεί αρκετά πρόσφατα.

Διαχωρισμός συνόλου δεδομένων

Το πρώτο βήμα είναι να χωρίσουμε το αρχικό σύνολο δεδομένων σε δύο μέρη, όπου το καθένα θα χρησιμοποιηθεί για ένα ξεχωριστό σκοπό. Το πρώτο υποσύνολο χρησιμοποιείται για να εκπαιδεύσω - κατασκευάσω το μοντέλο μου, ενώ το δεύτερο μέρος (test dataset) είναι αναγκαίο ώστε να ελέγξουμε την ακρίβεια του μοντέλου που προέκυψε από το πρώτο υποσύνολο.

Δείξε τον κώδικα
set.seed(123)
bank_dataset_split <- initial_split(bank_dataset,
                                prop = 0.75,
                                strata = y)

# Create training data
bank_train <- bank_dataset_split %>%
                    training()

# Create testing data
bank_test <- bank_dataset_split %>%
                    testing()
graph TD;
  A(Σύνολο δεδομένων <br> 4521 παρατηρήσεις) --> B(Σύνολο εκπαίδευσης <br> 3390 παρατηρήσεις)
  A(Σύνολο δεδομένων <br> 4521 παρατηρήσεις) --> C(Σύνολο αξιολόγησης <br> 1131 παρατηρήσεις)
Σχήμα 18: Διαχωρισμός δεδομένων σε δύο μέρη (για εκπαίδευση και έλεγχο απόδοσης του μοντέλου)

Στο δικό μας παράδειγμα, έχουμε όπως αναφέραμε προηγούμενως 4521 παρατηρήσεις. Η πιο συνήθης είναι ο διαχωρισμός να γίνεται σε ένα ποσοστό 75% (80%) για να εκπαιδεύσω το μοντέλο μου και το άλλο 25% (20%) για την αξιολόγηση αυτού. Έτσι λοιπόν, καταλήγω με δύο νέα υποσύνολα με τον ίδιο αριθμό μεταβλητών, και το σύνολο εκπαίδευσης του μοντέλου αποτελείται από 3390 παρατηρήσεις και το σύνολο για την αξιολόγησή του αποτελείται από 1131.

Δεδομένα εκπαίδευσης

Δείξε τον κώδικα
bank_train %>%
  gt_custom(.)
Πίνακας 3: Προεπισκόπηση υποσυνόλου δεδομένων εκπαίδευσης μοντέλου (train dataset)
Α/Α
ID 		Ηλικία
age 		Επάγγελμα
job 		Οικογενειακή Κατάσταση
marital 		Εκπαίδευση
education 		Αθέτηση πληρωμών
default 		Υπόλοιπο
balance 		Στεγαστικό δάνειο
housing 		Προσωπικό δάνειο
loan 		Τρόπος επικοινωνίας
contact
day 		Μήνας
month 		Διάρκεια κλήσης
duration 		Αριθμός κλήσεων πελάτη
campaign 		Ημέρες από προηγ. κλήση
pdays 		NA
previous 		NA
poutcome 		NA
y
31 68 συνταξιούχος διαζευγμένο δευτεροβάθμια όχι 4189 όχι όχι κινητό 14 Ιούλιο 897 2 -1 0 άγνωστο ναι
34 32 διευθυντικό στέλεχος ανύπαντρο τριτοβάθμια όχι 2536 ναι όχι σταθερό 26 Αύγουστο 958 6 -1 0 άγνωστο ναι
35 49 τεχνικός παντρεμένο τριτοβάθμια όχι 1235 όχι όχι σταθερό 13 Αύγουστο 354 3 -1 0 άγνωστο ναι
37 78 συνταξιούχος διαζευγμένο πρωτοβάθμια όχι 229 όχι όχι κινητό 22 Οκτώβριος 97 1 -1 0 άγνωστο ναι
39 33 διευθυντικό στέλεχος παντρεμένο δευτεροβάθμια όχι 3935 ναι όχι σταθερό 6 Μάιο 765 1 342 2 αποτυχία ναι

Δεδομένα αξιολόγησης

Δείξε τον κώδικα
bank_test %>%
  gt_custom(.)
Πίνακας 4: Προεπισκόπηση υποσυνόλου δεδομένων αξιολόγησης μοντέλου (test dataset)
Α/Α
ID 		Ηλικία
age 		Επάγγελμα
job 		Οικογενειακή Κατάσταση
marital 		Εκπαίδευση
education 		Αθέτηση πληρωμών
default 		Υπόλοιπο
balance 		Στεγαστικό δάνειο
housing 		Προσωπικό δάνειο
loan 		Τρόπος επικοινωνίας
contact
day 		Μήνας
month 		Διάρκεια κλήσης
duration 		Αριθμός κλήσεων πελάτη
campaign 		Ημέρες από προηγ. κλήση
pdays 		NA
previous 		NA
poutcome 		NA
y
6 35 διευθυντικό στέλεχος ανύπαντρο τριτοβάθμια όχι 747 όχι όχι σταθερό 23 Φεβρουάριο 141 2 176 3 αποτυχία όχι
10 43 παροχή υπηρεσιών παντρεμένο πρωτοβάθμια όχι -88 ναι ναι σταθερό 17 Απρίλιο 313 1 147 2 αποτυχία όχι
14 20 σπουδαστής ανύπαντρο δευτεροβάθμια όχι 502 όχι όχι σταθερό 30 Απρίλιο 261 1 -1 0 άγνωστο ναι
15 31 χειρονακτική εργασία παντρεμένο δευτεροβάθμια όχι 360 ναι ναι σταθερό 29 Ιανουάριο 89 1 241 1 αποτυχία όχι
17 56 τεχνικός παντρεμένο δευτεροβάθμια όχι 4073 όχι όχι σταθερό 27 Αύγουστο 239 5 -1 0 άγνωστο όχι

Επεξεργασία δεδομένων

Βέβαια η κατασκευή των μοντέλων δεν είναι τόσο εύκολη υπόθεση. Ανάμεσα στο διαχωρισμό του συνόλου δεδομένων και τη κατασκευή των μοντέλων παρεμβάλεται η επεξεργασία των δεδομένων. Τα βήματα αυτού του σταδίου δεν είναι δεδομένα και ποικίλουν αναλόγως το είδος του προβλήματος (ταξινόμησης ή πρόβλεψης τιμής) αλλά και το ποιο μοντέλο θα επιλέξω. Ευτυχώς, για εμάς το πακέτο tidymodels προσφέρει έτοιμες εντολές προκειμένου να κάνει ανάλυσή μας ευκολότερη και ιδιαίτερα εντολές του πακέτου recipes, που αποτελούν μέρος του tidymodels μπορούν να φανούν ιδιαίτερα χρήσιμες σε αυτό το στάδιο. Βέβαια, υπάρχουν και άλλα πακέτα που συμπληρώνουν - λύνουν συνήθη προβλήματα στα δεδομένα. Για παράδειγμα, στα δεδομένα μας αναμένεται και είδαμε και στο παραπάνω σχήμα ότι οι περισσότεροι δεν επιθυμούν να ανοίξουν προθεσμιακό λογιαριασμό. Τα δεδομένα μας χαρακτηρίζονται ως ανισσόροπα (imbalanced) όταν η μεταβλητή την οποία προσπαθώ να προβλέψω δεν έχω επαρκείς τιμές αλλά αρκετά μεγάλη διαφορά (90% δεν επιθυμούν / 10%) Σε αυτή τη περίπτωση μπορώ να χρησιμοποιήσω την εντολή step_smote() από το πακέτο themis, προκειμένου να ισορροπήσω τη μεταβλητή που προσπαθώ να προβλέψω.

Δείξε τον κώδικα
# Recipe για tree-based μοντέλα (RF, XGBoost, LightGBM)
tree_recipe <- recipe(y ~., data = bank_train) %>%
  step_rm(poutcome, ID, duration) %>%
  step_corr(all_numeric(), threshold = 0.75) %>%
  step_dummy(all_nominal(), -all_outcomes()) %>%
  step_smote(y)

# Recipe για distance/linear μοντέλα (Logistic Regression, KNN)
linear_recipe <- recipe(y ~., data = bank_train) %>%
  step_rm(poutcome, ID, duration) %>%
  step_corr(all_numeric(), threshold = 0.75) %>%
  step_dummy(all_nominal(), -all_outcomes()) %>%
  step_normalize(all_numeric_predictors()) %>%  # <-- επιπλέον βήμα
  step_smote(y)

Ας ρίξουμε τώρα μία ματιά στο σύνολο δεδομένων, αφού κάναμε κάποια βασική επεξεργασία των δεδομένων. Μία προεπισκόπηση των δεδομένων μου αφότου κάναμε τις απαραίτητες αλλαγές για γραμμικά μοντέλα:

Δείξε τον κώδικα
linear_recipe %>%
  prep() %>%
  juice() %>%
  head() %>%
  gt_custom()
Πίνακας 5: Σύνολο δεδομένων με εφαρμογή των recipes για γραμμικά μοντέλα
Ηλικία
age 		Υπόλοιπο
balance
day 		Αριθμός κλήσεων πελάτη
campaign 		Ημέρες από προηγ. κλήση
pdays 		NA
previous 		NA
job_χειρονακτική.εργασία 		NA
job_επιχειρηματίας 		NA
job_οικιακός.βοηθός 		NA
job_διευθυντικό.στέλεχος 		NA
job_συνταξιούχος 		NA
job_αυτοαπασχολούμενος 		NA
job_παροχή.υπηρεσιών 		NA
job_σπουδαστής 		NA
job_τεχνικός 		NA
job_άνεργος 		NA
job_άγνωστο 		NA
marital_παντρεμένο 		NA
marital_ανύπαντρο 		NA
education_δευτεροβάθμια 		NA
education_τριτοβάθμια 		NA
education_άγνωστο 		NA
default_ναι 		NA
housing_ναι 		NA
loan_ναι 		NA
contact_κινητό 		NA
contact_άγνωστο 		NA
month_Αύγουστο 		NA
month_Δεκέμβριο 		NA
month_Φεβρουάριο 		NA
month_Ιανουάριο 		NA
month_Ιούλιο 		NA
month_Ιούνιο 		NA
month_Μάρτιο 		NA
month_Μάιο 		NA
month_Νοέμβριο 		NA
month_Οκτώβριος 		NA
month_Σεπτέμβριος 		NA
y
2.5273 0.89308 -0.2259 -0.25595 -0.4102 -0.3164 -0.5128 -0.1915 -0.1632 -0.5279 4.273 -0.202 -0.3183 -0.1284 -0.4557 -0.1679 -0.09448 -1.2670 -0.5988 0.9846 -0.6555 -0.2044 -0.1308 -1.1365 -0.4208 3.8046 -0.6435 -0.4071 -0.06666 -0.234 -0.184 2.3760 -0.3657 -0.09605 -0.6721 -0.3064 -0.142 -0.1065 ναι
-0.8580 0.35750 1.2281 1.09187 -0.4102 -0.3164 -0.5128 -0.1915 -0.1632 1.8937 -0.234 -0.202 -0.3183 -0.1284 -0.4557 -0.1679 -0.09448 -1.2670 1.6694 -1.0153 1.5252 -0.2044 -0.1308 0.8796 -0.4208 -0.2628 -0.6435 2.4559 -0.06666 -0.234 -0.184 -0.4208 -0.3657 -0.09605 -0.6721 -0.3064 -0.142 -0.1065 ναι
0.7406 -0.06404 -0.3471 0.08101 -0.4102 -0.3164 -0.5128 -0.1915 -0.1632 -0.5279 -0.234 -0.202 -0.3183 -0.1284 2.1939 -0.1679 -0.09448 0.7891 -0.5988 -1.0153 1.5252 -0.2044 -0.1308 -1.1365 -0.4208 -0.2628 -0.6435 2.4559 -0.06666 -0.234 -0.184 -0.4208 -0.3657 -0.09605 -0.6721 -0.3064 -0.142 -0.1065 ναι
3.4677 -0.38999 0.7434 -0.59290 -0.4102 -0.3164 -0.5128 -0.1915 -0.1632 -0.5279 4.273 -0.202 -0.3183 -0.1284 -0.4557 -0.1679 -0.09448 -1.2670 -0.5988 -1.0153 -0.6555 -0.2044 -0.1308 -1.1365 -0.4208 3.8046 -0.6435 -0.4071 -0.06666 -0.234 -0.184 -0.4208 -0.3657 -0.09605 -0.6721 -0.3064 7.041 -0.1065 ναι
-0.7639 0.81078 -1.1953 -0.59290 3.0172 0.8067 -0.5128 -0.1915 -0.1632 1.8937 -0.234 -0.202 -0.3183 -0.1284 -0.4557 -0.1679 -0.09448 0.7891 -0.5988 0.9846 -0.6555 -0.2044 -0.1308 0.8796 -0.4208 -0.2628 -0.6435 -0.4071 -0.06666 -0.234 -0.184 -0.4208 -0.3657 -0.09605 1.4875 -0.3064 -0.142 -0.1065 ναι

και προεπισκόπηση των δεδομένων με εφαρμογή των απαραίτητων αλλαγών για μοντέλα δένδρων:

Δείξε τον κώδικα
tree_recipe %>%
  prep() %>%
  juice() %>%
  head() %>%
  gt_custom()
Πίνακας 6: Σύνολο δεδομένων με εφαρμογή των recipes για μοντέλα δένδρων
Ηλικία
age 		Υπόλοιπο
balance
day 		Αριθμός κλήσεων πελάτη
campaign 		Ημέρες από προηγ. κλήση
pdays 		NA
previous 		NA
job_χειρονακτική.εργασία 		NA
job_επιχειρηματίας 		NA
job_οικιακός.βοηθός 		NA
job_διευθυντικό.στέλεχος 		NA
job_συνταξιούχος 		NA
job_αυτοαπασχολούμενος 		NA
job_παροχή.υπηρεσιών 		NA
job_σπουδαστής 		NA
job_τεχνικός 		NA
job_άνεργος 		NA
job_άγνωστο 		NA
marital_παντρεμένο 		NA
marital_ανύπαντρο 		NA
education_δευτεροβάθμια 		NA
education_τριτοβάθμια 		NA
education_άγνωστο 		NA
default_ναι 		NA
housing_ναι 		NA
loan_ναι 		NA
contact_κινητό 		NA
contact_άγνωστο 		NA
month_Αύγουστο 		NA
month_Δεκέμβριο 		NA
month_Φεβρουάριο 		NA
month_Ιανουάριο 		NA
month_Ιούλιο 		NA
month_Ιούνιο 		NA
month_Μάρτιο 		NA
month_Μάιο 		NA
month_Νοέμβριο 		NA
month_Οκτώβριος 		NA
month_Σεπτέμβριος 		NA
y
68 4189 14 2 -1 0 0 0 0 0 1 0 0 0 0 0 0 0 0 1 0 0 0 0 0 1 0 0 0 0 0 1 0 0 0 0 0 0 ναι
32 2536 26 6 -1 0 0 0 0 1 0 0 0 0 0 0 0 0 1 0 1 0 0 1 0 0 0 1 0 0 0 0 0 0 0 0 0 0 ναι
49 1235 13 3 -1 0 0 0 0 0 0 0 0 0 1 0 0 1 0 0 1 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 ναι
78 229 22 1 -1 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 1 0 ναι
33 3935 6 1 342 2 0 0 0 1 0 0 0 0 0 0 0 1 0 1 0 0 0 1 0 0 0 0 0 0 0 0 0 0 1 0 0 0 ναι

Διασταυρωμένη επικύρωση

Οκ, ήρθε η ώρα να κατασκευάσουμε το μοντέλο μας;

Όχι τόσο γρήγορα. Θεωρητικά θα μπορούσαμε να συνεχίσουμε, ωστόσο η ενδεδειγμένη μέθοδος είναι να μην λαμβάνω απλώς δύο μέρη καθώς η περαιτέρω αξιολογηση βασίζεται ως επί το πλείστον στο πώς έγινε ο διαχωρισμός και ποιες τιμές λήφθηκαν. Για να έχουμε μία πιο ακριβή εκτίμηση της απόδοσης του μοντέλου προτείνετε να κατασκευάσουμε υποσύνολα των δεδομένων μου με σκοπό να βρω τις παραμέτρους οι οποίες οδηγούν συστηματικά, κατά μέσο όρο σε 5 ή 10 υπό-δείγματα σε καλύτερη ακρίβεια.

Δείξε τον κώδικα
set.seed(123)
cv_folds <- vfold_cv(bank_train, v = 5, strata = y)

# Control objects
ctrl_grid  <- control_stack_grid()
ctrl_bayes <- control_stack_bayes() # αντί για control_grid(), για stacking

Κατασκευάζοντας το μοντέλο μου

Στη συνέχεια, με το πακέτο parsnip μπορώ να ορίσω τα χαρακτηριστικά των διάφορων μοντέλων που θέλω να κατασκευάσω. Στη συγκεκριμένη περίπτωση θα ήθελα να ελέγξω διάφορα μοντέλα και αν ελέγξω την απόδοσή τους. Επομένως, θα ορίσω μοντέλα:

  • k Κοντινότερων Γειτόνων (k - Nearest Neighbors)
  • Λογιστική Παλινδρόμηση (Logistic Regression)
  • Ταξινόμηση Naive Bayes
  • Τυχαίου δάσους (Random Forest)
  • LightGBM
  • XGBoost

Το {parnsnip} θα μας βοηθήσει μέσα από ένα ενοποιημένο περιβάλλον να καθορίσουμε τα προβλεπτικά μας μοντέλα. Στο πλαίσιο της ανάλυσης, αναπτύχθηκαν και συγκρίθηκαν πέντε διαφορετικά μοντέλα ταξινόμησης χρησιμοποιώντας το οικοσύστημα tidymodels στην R. Συγκεκριμένα, υλοποιήθηκαν τα μοντέλα Λογιστικής Παλινδρόμησης (Logistic Regression), Κοντινότεροι Γείτονες (K-Nearest Neighbors - KNN), Τυχαίο Δάσος (Random Forest), XGBoost και LightGBM, ώστε να αξιολογηθεί η απόδοσή τους στο πρόβλημα πρόβλεψης. Για τη Logistic Regression, χρησιμοποιήθηκε υλοποίηση με κανονικοποίηση μέσω της βιβλιοθήκης glmnet, επιτρέποντας τη βελτιστοποίηση των υπερπαραμέτρων που σχετίζονται με την ένταση της κανονικοποίησης (penalty) και τον τύπο κανονικοποίησης (mixture), που αντιστοιχούν στους μηχανισμούς Ridge και Lasso. Το μοντέλο K-Nearest Neighbors βασίστηκε στον αλγόριθμο kknn, με παραμετροποίηση του αριθμού των γειτόνων (neighbors) και της συνάρτησης στάθμισης των αποστάσεων (weight_func). Για το Random Forest, χρησιμοποιήθηκε η υλοποίηση ranger με 200 δέντρα απόφασης. Οι υπερπαράμετροι που ρυθμίστηκαν περιλάμβαναν τον αριθμό μεταβλητών που εξετάζονται σε κάθε διαχωρισμό (mtry) και το ελάχιστο πλήθος παρατηρήσεων σε κάθε κόμβο (min_n). Παράλληλα, εφαρμόστηκαν δύο μέθοδοι gradient boosting, XGBoost και LightGBM. Και στις δύο περιπτώσεις, το μοντέλο ορίστηκε με 200 δέντρα, ενώ πραγματοποιήθηκε βελτιστοποίηση των υπερπαραμέτρων που σχετίζονται με το βάθος των δέντρων (tree_depth), τον ρυθμό μάθησης (learn_rate) και το ελάχιστο πλήθος παρατηρήσεων ανά κόμβο (min_n). Οι υπερπαράμετροι των μοντέλων που σημειώνονται με tune() επιλέχθηκαν μέσω διαδικασίας βελτιστοποίησης, με στόχο την εύρεση του συνδυασμού που μεγιστοποιεί την προγνωστική απόδοση των μοντέλων. Τέλος, καθορίζεται η κατάλληλη διαδικασία προεπεξεργασίας των δεδομένων μέσω μιας «συνταγής» (recipe) για κάθε ένα από τα οριζόμενα μοντέλα. Οι συνταγές αποτελούν μηχανισμό μετασχηματισμού και προετοιμασίας των δεδομένων, ο οποίος εφαρμόζεται πριν από την εκπαίδευση του μοντέλου. Για τα γραμμικά μοντέλα, όπως η Λογιστική Παλινδρόμηση (Logistic Regression) και οι Κοντινότεροι Γείτονες (k-Nearest Neighbors), χρησιμοποιείται η συνταγή που προορίζεται για γραμμικά μοντέλα. Αντίθετα, για τα δενδροειδή μοντέλα (tree-based models), όπως τα XGBoost, LightGBM και το Τυχαίο Δάσος (Random Forest), εφαρμόζεται η συνταγή που έχει σχεδιαστεί για μοντέλα δέντρων.

Δείξε τον κώδικα
# --- Logistic Regression ---
log_reg_model <- parsnip::logistic_reg(
  penalty = tune(),
  mixture = tune()
) %>%
  set_engine("glmnet") %>%
  set_mode("classification")

# --- K-Nearest Neighbors ---
knn_model <- parsnip::nearest_neighbor(
  neighbors = tune(),
  weight_func = tune()
) %>%
  set_engine("kknn") %>%
  set_mode("classification")

# --- Random Forest ---
rf_model <- parsnip::rand_forest(
  trees = 200,
  mtry  = tune(),
  min_n = tune()
) %>%
  set_engine("ranger") %>%
  set_mode("classification")

# --- XGBoost ---
xgb_model <- parsnip::boost_tree(
  trees      = 200,
  min_n      = tune(),
  learn_rate = tune(),
  tree_depth = tune()
) %>%
  set_engine("xgboost") %>%
  set_mode("classification")

# --- LightGBM ---
lgbm_model <- parsnip::boost_tree(
  trees      = 200,
  min_n      = tune(),
  learn_rate = tune(),
  tree_depth = tune()
) %>%
  set_engine("lightgbm") %>%
  set_mode("classification")

log_wf  <- workflow() %>% add_recipe(linear_recipe) %>% add_model(log_reg_model)
knn_wf  <- workflow() %>% add_recipe(linear_recipe) %>% add_model(knn_model)
rf_wf   <- workflow() %>% add_recipe(tree_recipe)   %>% add_model(rf_model)
xgb_wf  <- workflow() %>% add_recipe(tree_recipe)   %>% add_model(xgb_model)
lgbm_wf <- workflow() %>% add_recipe(tree_recipe)   %>% add_model(lgbm_model)

Εφαρμόζωντας

Δείξε τον κώδικα
set.seed(123)

log_results <- tune_grid(
  log_wf,
  resamples = cv_folds,
  grid = 10,
  metrics = metric_set(roc_auc, accuracy),
  control = ctrl_grid
)

# KNN — tune_grid
knn_results <- tune_grid(
  knn_wf,
  resamples = cv_folds,
  grid = 10,
  metrics = metric_set(roc_auc, accuracy),
  control = ctrl_grid
)

# Random Forest — tune_grid (μέτριο κόστος)
rf_results <- tune_grid(
  rf_wf,
  resamples = cv_folds,
  grid = 15,
  metrics = metric_set(roc_auc, accuracy),
  control = ctrl_grid
)
i Creating pre-processing data to finalize 1 unknown parameter: "mtry"
Δείξε τον κώδικα
# XGBoost — tune_bayes
xgb_results <- tune_bayes(
  xgb_wf,
  resamples = cv_folds,
  initial = 5,
  iter = 25,
  metrics = metric_set(roc_auc, accuracy),
  control = ctrl_bayes
)

# LightGBM — tune_bayes
lgbm_results <- tune_bayes(
  lgbm_wf,
  resamples = cv_folds,
  initial = 5,
  iter = 25,
  metrics = metric_set(roc_auc, accuracy),
  control = ctrl_bayes
)
! No improvement for 10 iterations; returning current results.
Δείξε τον κώδικα
bank_stack <- stacks() %>%
  add_candidates(log_results) %>%
  add_candidates(knn_results) %>%
  add_candidates(rf_results) %>%
  add_candidates(xgb_results) %>%
  add_candidates(lgbm_results)

# Υπολογισμός βαρών για κάθε μοντέλο
set.seed(123)
bank_stack_model <- bank_stack %>%
  blend_predictions(
    penalty = 10^(-2:0),       # L1 regularization για επιλογή μοντέλων
    metric  = metric_set(roc_auc)
  )

# Εκπαίδευση των επιλεγμένων μοντέλων
bank_stack_fit <- bank_stack_model %>%
  fit_members()

Αξιολόγηση μοντέλων

Συγκρίνοντας τα μοντέλα μας με βάση το κριτήριο ROC συμπεραίνω ότι το LightGBM είναι αυτό που έχει τη μεγαλύτερη προβλεπτική ισχύ. Συνεπώς, οι όποιες προβλέψεις μας για το ποιοι ενδέχται να εδιαφέρονται για προγράμματα τραπεζικής και ιδιαίτερα για προγράμματα προθεσμιακών καταθέσεων θα πρέπει να βασιστούν στο καλύτερο μας μοντέλο.

Δείξε τον κώδικα
# Finalize και last_fit για τα επί μέρους μοντέλα
final_results <- list(
  "Λογιστική Παλινδρόμηση" = log_results,
  "kNN"                 = knn_results,
  "Random Forest"       = rf_results,
  "XGBoost"             = xgb_results,
  "LightGBM"            = lgbm_results
) %>%
  purrr::imap_dfr(function(res, name) {
    best <- select_best(res, metric = "roc_auc")
    wf   <- switch(name,
      "Λογιστική Παλινδρόμηση" = log_wf,
      "kNN"                 = knn_wf,
      "Random Forest"       = rf_wf,
      "XGBoost"             = xgb_wf,
      "LightGBM"            = lgbm_wf
    )
    last_fit(finalize_workflow(wf, best), split = bank_dataset_split,
             metrics = metric_set(roc_auc, accuracy, f_meas)) %>%
      collect_metrics() %>%
      mutate(model = name)
  })

# Stack predictions στο test set
stack_preds <- bank_test %>%
  bind_cols(predict(bank_stack_fit, bank_test, type = "prob")) %>%
  bind_cols(predict(bank_stack_fit, bank_test))

stack_metrics <- stack_preds %>%
  metrics(truth = y, estimate = .pred_class, .pred_ναι) %>%
  mutate(model = "Stack Ensemble")

# Σύγκριση όλων σε έναν πίνακα
bind_rows(final_results, stack_metrics) %>%
  select(model, .metric, .estimate) %>%
  pivot_wider(names_from = .metric, values_from = .estimate) %>%
  arrange(desc(roc_auc)) %>%
  select(model, accuracy, roc_auc) %>%
  rename(.,
         "Μοντέλο" = model,
         "Ακρίβεια" = accuracy,
         "ROC AUC" = roc_auc) %>%
  gt_custom(head_max = 8, use_labels = FALSE)
Μοντέλο Ακρίβεια ROC AUC
LightGBM 0.8798 0.7730
Random Forest 0.8753 0.7652
XGBoost 0.8780 0.7403
Λογιστική Παλινδρόμηση 0.6180 0.7368
kNN 0.6092 0.6539
Stack Ensemble 0.8780 0.2402

Αποτελέσματα

Το βέλτιστο μοντέλο LightGBM που προέκυψε από τη διαδικασία βελτιστοποίησης χαρακτηρίζεται από τρεις βασικές υπερπαραμέτρους. Η παράμετρος min_n (minimum node size), που ισούται με 1, ορίζει τον ελάχιστο αριθμό παρατηρήσεων που απαιτείται σε κάθε τελικό κόμβο του δέντρου — η τιμή 1 επιτρέπει στο μοντέλο να δημιουργεί πολύ εξειδικευμένους κανόνες, κάτι που μπορεί να είναι αποτελεσματικό όταν συνδυάζεται με κατάλληλη ρύθμιση των υπολοίπων παραμέτρων. Η παράμετρος tree_depth (βάθος δέντρου), που ισούται με 2, καθορίζει πόσα επίπεδα διαχωρισμών μπορεί να έχει κάθε δέντρο· μία τιμή 2 σημαίνει σχετικά απλά δέντρα, τα οποία αποφεύγουν την υπερπροσαρμογή (overfitting) στα δεδομένα εκπαίδευσης. Τέλος, ο ρυθμός μάθησης (learn_rate) ισούται με 0.047, και ελέγχει πόσο «βήμα» κάνει το μοντέλο σε κάθε επανάληψη — μικρότερες τιμές οδηγούν σε πιο σταδιακή και συνήθως πιο σταθερή σύγκλιση, αλλά απαιτούν περισσότερα δέντρα για να αποδώσουν πλήρως.

Από την ανάλυση σπουδαιότητας μεταβλητών του μοντέλου LightGBM προκύπτει ότι οι πιο καθοριστικοί παράγοντες για την πρόβλεψη ενδιαφέροντος σε προθεσμιακό λογαριασμό είναι η ύπαρξη στεγαστικού δανείου (housing_ναι, 15.3%) και ο άγνωστος τρόπος επικοινωνίας (contact_άγνωστο, 14.0%), με την οικογενειακή κατάσταση “παντρεμένος” να ακολουθεί (marital_παντρεμένο, 11.7%). Αξιοσημείωτη είναι και η συμβολή του μήνα επικοινωνίας, με τον Μάιο να εμφανίζεται ως ο πιο σημαντικός μήνας (8.2%), ενώ το επίπεδο εκπαίδευσης συμμετέχει επίσης με αξιόλογο βάρος. Τα αποτελέσματα αυτά συνάδουν σε μεγάλο βαθμό με τα ευρήματα της περιγραφικής ανάλυσης, επιβεβαιώνοντας ότι δημογραφικά χαρακτηριστικά όπως η οικογενειακή κατάσταση και το εκπαιδευτικό υπόβαθρο, αλλά και επιχειρησιακές παράμετροι όπως ο τρόπος και η χρονική στιγμή επικοινωνίας, διαδραματίζουν καθοριστικό ρόλο στην απόφαση ενός πελάτη.

Πίνακας 7: Σπουδαίότητα μεταβλητών κατά φθίνουσα σειρά
Μεταβλητή Σπουδαιότητα
Έγγαμος 15.04
Άγνωστος τρόπος επικοινωνίας 14.05
Στεγαστικό δάνειο 11.65
Μήνας: Μάιος 9.73
Τριτοβάθμια εκπαίδευση 7.56
Δευτεροβάθμια εκπαίδευση 3.76
pdays 3.39
Μήνας: Ιούλιος 3.31
month_Οκτώβριος 2.72
Επάγγελμα: Χειρονακτική εργασία 2.63

Επιπλέον, θα ήθελα να συγκρίνω την απόδοση των τριών καλύτερών μου μοντέλων γραφικά με ένα γράφημα AUC (Area under the curve). Επιπλέον του μοντέλου lightgbm που προσάρμοσα προηγουμένως διάλεξα το μοντέλο λογιστικής παλινδρόμησης και το μοντέλο XGBoost.

Δείξε τον κώδικα
# Για αξιολόγηση / ROC / confusion matrix → fit μόνο στο train

final_lr <- finalize_workflow(log_wf, select_best(log_results, metric = "roc_auc")) %>%
  fit(data = bank_train)

final_xgb <- finalize_workflow(xgb_wf, select_best(xgb_results, metric = "roc_auc")) %>%
  fit(data = bank_train)

get_preds <- function(fitted_wf, model_name) {
  predict(fitted_wf, bank_test, type = "prob") %>%
    bind_cols(predict(fitted_wf, bank_test)) %>%
    bind_cols(bank_test %>% select(y)) %>%
    mutate(model = model_name)
}

all_preds <- bind_rows(
  get_preds(final_lgbm_wf, "LightGBM"),
  get_preds(final_lr,   "Λογιστική Παλινδρόμηση"),
  get_preds(final_xgb,  "XGBoost")
)

roc_all <- all_preds %>%
    group_by(model) %>%
    roc_curve(truth = y, .pred_ναι, event_level = "second") %>%
    ungroup()

colors <- c("LightGBM" = "#2196F3", "Random Forest" = "#4CAF50", "XGBoost" = "#FF5722")

hchart(roc_all, type = "line", hcaes(x = 1 - specificity, y = sensitivity, group = model)) %>%
  hc_title(text = "ROC Curves") %>%
  hc_subtitle(text = "Σύγκριση LightGBM, XGBoost και Λογιστικής Παλινδρόμησης") %>%
  hc_xAxis(title = list(text = "1 - Ειδικότητα (False Positive Rate)"), min = 0, max = 1) %>%
  hc_yAxis(title = list(text = "Ευαισθησία (True Positive Rate)"), min = 0, max = 1) %>%
  hc_colors(unname(colors)) %>%
  hc_tooltip(headerFormat = "",
             pointFormat = "<b>{series.name}</b><br>TPR: {point.y:.3f}<br>FPR: {point.x:.3f}")

Τέλος, η υπεροχή του μοντέλου LightGBM έχει αποδειχτεί όμως κρίνω απαραίτητη την προσθήκη ενός ακόμη εργαλείου για να κάνει ξεκάθαρη όχι απλώς τη διαφορά στην προβλεπτική τους απόδοση, αλλά κυριώς στ αποιοτικά χαρακτηριστικά αυτής. Βλέπεται το κάθε μοντέλο έχει τις δικές του δυνάμεις και συνάμα αδυναμίες. Άλλο μοντέλο μπορεί να είναι πιο ευαίσθητο σε κάποιες τιμές και άλλο να κτηγοριοποιεί πιο δύσκολα.

Δείξε τον κώδικα
all_preds %>%
    group_by(model) %>%
    conf_mat(truth = y, estimate = .pred_class) %>%
    mutate(tidied = purrr::map(conf_mat, tidy)) %>%
    unnest(tidied) %>%
    mutate(
        Προβλεφθέν = case_when(
            name %in% c("cell_1_1", "cell_1_2") ~ "Όχι",
            name %in% c("cell_2_1", "cell_2_2") ~ "Ναι"
        ),
        Πραγματικό = case_when(
            name %in% c("cell_1_1", "cell_2_1") ~ "Όχι",
            name %in% c("cell_1_2", "cell_2_2") ~ "Ναι"
        )
    ) %>%
    group_by(model) %>%
    mutate(pct = round(100 * value / sum(value), 1),
           display = glue("{value} ({pct}%)")) %>%
    select(model, Πραγματικό, Προβλεφθέν, display) %>%
    pivot_wider(names_from = Προβλεφθέν, values_from = display) %>%
    gt_custom(head_max = 10, use_labels = FALSE) %>%
    tab_header(title = "Confusion Matrices") %>%
    tab_spanner(label = "Προβλεφθέν", columns = c("Όχι", "Ναι")) %>%
    cols_align(align = "center") %>%
    tab_options(
        table.background.color = "transparent",
        row_group.font.weight = "bold",
        column_labels.border.top.width = px(2),
        column_labels.border.top.color = "#757575",
        column_labels.border.bottom.width = px(2),
        column_labels.border.bottom.color = "#757575",
        table_body.border.bottom.width = px(2),
        table_body.border.bottom.color = "#757575"
    )
Confusion Matrices
Πραγματικό
Προβλεφθέν
Όχι Ναι
LightGBM
Όχι 973 (86%) 27 (2.4%)
Ναι 109 (9.6%) 22 (1.9%)
XGBoost
Όχι 1000 (88.4%) 0 (0%)
Ναι 131 (11.6%) 0 (0%)
Λογιστική Παλινδρόμηση
Όχι 601 (53.1%) 399 (35.3%)
Ναι 33 (2.9%) 98 (8.7%)

Ο παραπάνω πίνακας είναι άκρως αποκαλύπτικός για αυτό που θέλω να περιγράψω. Δεν αρκεί η ακρίβεια ως μέτρο ´συγκρισης. Σκεφτείτε τι θέλαμε, να βρούμε τους πελάτες που ενδαιφέρονται. Στο κομμάτι των δεδομένων που απομονώσαμε για να ελέγξουμε την ισχύ των μοντέλων υπάρχουν 1000 αρνήσεις και 131 θετικές εκβάσεις. Εγώ θεωρητικά ψάχνω το μοντέλο με τη μεγαλύτερη ακρίβεια, δηλαδή το μεγαλύτερο ποσοστό στα διαγώνια κελιά, όπου για το LightGBM είναι 87.8%, για το XGBoost 88.4% και για τη Λογιστική Παλινδρόμηση 61.8%. Μία βιαστική επιλογή θα ήταν το XGBoost. Ωστόσο, παρατηρώ το εξής ενδιφέρον ότι αυτό το μμοντέλο προβλέπει ότι κανένας δεν ενδιαφέρεται, άρα χάνονται και οι 131 δυντικοί πελάτες. Επομένως η επιλογή του μοντέλου δεν θα πρέπει να βασιστεί στην καλύτερη ταξινόμηση αλλά στην αποδοτικότερη εύρεση των ενδιαφερόμενων (ταύτιση των Ναι, πρόβλεψης και πραγματικότητας). Αν δούμε προσεχτικότερα το ίδιο πρόβλημα έχει και το LightGBM μοντέλο με μόλις 22 θετικές προβλέψεις από τις 131 και το μοντέλο λογιστικής παλινδρόμησης να δίνει μία ανέλπιστα καλή απόδοση βρίσκοντας τα 2/3 των ενδιαφερόμενων. Κάπου εδώ βέβαια έχει σημασία να παρατηρήσουμε και πόσο θα πρέπει να απασχολθούμε για να αντλήσουμε αυτούς τους πελάτες. Το μοντέλο LightGBM προβλέπει 49 δυνητικούς πελάτες - άρα οι οχλήσεις είναι αρκετά μειωμένες σε σχέση με αυτές τις λογιστικής παλινδρόμησης που προσεγγίζουν τις 500.

Αναφορές

Bray, A., Ismay, C., Chasnovski, E., Couch, S., Baumer, B., & Cetinkaya-Rundel, M. (2025). infer: Tidy Statistical Inference. Ανακτήθηκε από https://github.com/tidymodels/infer
Couch, S. P., Bray, A. P., Ismay, C., Chasnovski, E., Baumer, B. S., & Çetinkaya-Rundel, M. (2021). infer: An R package for tidyverse-friendly statistical inference. Journal of Open Source Software, 6(65), 3661. https://doi.org/10.21105/joss.03661
Couch, S., Frick, H., HvitFeldt, E., & Kuhn, M. (2025). tailor: Iterative Steps for Postprocessing Model Predictions. Ανακτήθηκε από https://github.com/tidymodels/tailor
Couch, S., & Kuhn, M. (2025). stacks: Tidy Model Stacking. Ανακτήθηκε από https://stacks.tidymodels.org/
Dua, D., & Graff, C. (2017). UCI Machine Learning Repository. University of California, Irvine, School of Information; Computer Sciences. Ανακτήθηκε από http://archive.ics.uci.edu/ml
Falbel, D., Damiani, A., Hogervorst, R. M., Kuhn, M., Couch, S., & Hvitfeldt, E. (2025). bonsai: Model Wrappers for Tree-Based Models. Ανακτήθηκε από https://bonsai.tidymodels.org/
Frick, H., Chow, F., Kuhn, M., Mahoney, M., Silge, J., & Wickham, H. (2025). rsample: General Resampling Infrastructure. Ανακτήθηκε από https://rsample.tidymodels.org
Frick, H., Kuhn, M., & Couch, S. (2025). workflowsets: Create a Collection of tidymodels Workflows. Ανακτήθηκε από https://github.com/tidymodels/workflowsets
Greenwell, B. M., & Boehmke, B. (2025). vip: Variable Importance Plots. Ανακτήθηκε από https://github.com/koalaverse/vip/
Greenwell, B. M., & Boehmke, B. C. (2020). Variable Importance Plots—An Introduction to the vip Package. The R Journal, 12(1), 343–366. Ανακτήθηκε από https://doi.org/10.32614/RJ-2020-013
Hester, J., & Bryan, J. (2024). glue: Interpreted String Literals. Ανακτήθηκε από https://glue.tidyverse.org/
Hvitfeldt, E. (2025). themis: Extra Recipes Steps for Dealing with Unbalanced Data. Ανακτήθηκε από https://github.com/tidymodels/themis
Iannone, R., Cheng, J., Schloerke, B., Haughton, S., Hughes, E., Lauer, A., … Roy, O. (2025). gt: Easily Create Presentation-Ready Display Tables. Ανακτήθηκε από https://gt.rstudio.com
Kabacoff, R. (2019). Data visualization with R. URL https://rkabacoff. github. io/datavis.
Kirenz, J. (2021). Classification with Tidymodels, Workflows and Recipes. Ανακτήθηκε 22 Νοέμβριος 2022, από https://www.kirenz.com/post/2021-02-17-r-classification-tidymodels/#data-preparation
Kuhn, M. (2025a). modeldata: Data Sets Useful for Modeling Examples. Ανακτήθηκε από https://modeldata.tidymodels.org
Kuhn, M. (2025b). tune: Tidy Tuning Tools. Ανακτήθηκε από https://tune.tidymodels.org/
Kuhn, M., & Frick, H. (2025). dials: Tools for Creating Tuning Parameter Values. Ανακτήθηκε από https://dials.tidymodels.org
Kuhn, M., & Vaughan, D. (2026). parsnip: A Common API to Modeling and Analysis Functions. Ανακτήθηκε από https://github.com/tidymodels/parsnip
Kuhn, M., Vaughan, D., & Hvitfeldt, E. (2025). yardstick: Tidy Characterizations of Model Performance. Ανακτήθηκε από https://github.com/tidymodels/yardstick
Kuhn, M., & Wickham, H. (2020). Tidymodels: a collection of packages for modeling and machine learning using tidyverse principles. Ανακτήθηκε από https://www.tidymodels.org
Kuhn, M., & Wickham, H. (2025). tidymodels: Easily Install and Load the Tidymodels Packages. Ανακτήθηκε από https://tidymodels.tidymodels.org
Kuhn, M., Wickham, H., & Hvitfeldt, E. (2025). recipes: Preprocessing and Feature Engineering Steps for Modeling. Ανακτήθηκε από https://github.com/tidymodels/recipes
Kunst, J. (2022). highcharter: A Wrapper for the Highcharts Library. Ανακτήθηκε από https://jkunst.com/highcharter/
Lin, G. (2025). reactable: Interactive Data Tables for R. Ανακτήθηκε από https://glin.github.io/reactable/
Moro, S., Cortez, P., & Rita, P. (2014). A data-driven approach to predict the success of bank telemarketing. Decision Support Systems, 62, 22–31.
R Core Team. (2025). R: A Language and Environment for Statistical Computing. Vienna, Austria: R Foundation for Statistical Computing. Ανακτήθηκε από https://www.R-project.org/
R-Bloggers. (2017). 5 ways to measure running time of R code. Ανακτήθηκε 20 Νοέμβριος 2022, από https://www.r-bloggers.com/2017/05/5-ways-to-measure-running-time-of-r-code/
R-Bloggers. (2020). How to Use Lightgbm with Tidymodels. Ανακτήθηκε 20 Νοέμβριος 2022, από https://www.r-bloggers.com/2020/08/how-to-use-lightgbm-with-tidymodels/
Robinson, D., Hayes, A., Couch, S., & Hvitfeldt, E. (2025). broom: Convert Statistical Objects into Tidy Tibbles. Ανακτήθηκε από https://broom.tidymodels.org/
Schliep, K., & Hechenbichler, K. (2025). kknn: Weighted k-Nearest Neighbors. Ανακτήθηκε από https://github.com/KlausVigo/kknn
Vaughan, D., Couch, S., & Frick, H. (2025). workflows: Modeling Workflows. Ανακτήθηκε από https://github.com/tidymodels/workflows
Wickham, H. (2016). ggplot2: Elegant Graphics for Data Analysis. Springer-Verlag New York. Ανακτήθηκε από https://ggplot2.tidyverse.org
Wickham, H. (2025). forcats: Tools for Working with Categorical Variables (Factors). Ανακτήθηκε από https://forcats.tidyverse.org/
Wickham, H., Chang, W., Henry, L., Pedersen, T. L., Takahashi, K., Wilke, C., … van den Brand, T. (2025). ggplot2: Create Elegant Data Visualisations Using the Grammar of Graphics. Ανακτήθηκε από https://ggplot2.tidyverse.org
Wickham, H., François, R., Henry, L., Müller, K., & Vaughan, D. (2023). dplyr: A Grammar of Data Manipulation. Ανακτήθηκε από https://dplyr.tidyverse.org
Wickham, H., & Henry, L. (2026). purrr: Functional Programming Tools. Ανακτήθηκε από https://purrr.tidyverse.org/
Wickham, H., Hester, J., & Bryan, J. (2025). readr: Read Rectangular Text Data. Ανακτήθηκε από https://readr.tidyverse.org
Wickham, H., Pedersen, T. L., & Seidel, D. (2025). scales: Scale Functions for Visualization. Ανακτήθηκε από https://scales.r-lib.org
Wickham, H., Vaughan, D., & Girlich, M. (2025). tidyr: Tidy Messy Data. Ανακτήθηκε από https://tidyr.tidyverse.org
Wright, M. N. (2026). ranger: A Fast Implementation of Random Forests. Ανακτήθηκε από https://imbs-hl.github.io/ranger/
Wright, M. N., & Ziegler, A. (2017). ranger: A Fast Implementation of Random Forests for High Dimensional Data in C++ and R. Journal of Statistical Software, 77(1), 1–17. https://doi.org/10.18637/jss.v077.i01
Zhu, H. (2024). kableExtra: Construct Complex Table with kable and Pipe Syntax. Ανακτήθηκε από http://haozhu233.github.io/kableExtra/

Αναφορά

Αναφορά BibTeX:
@online{2022,
  author = {, stesiam},
  title = {Εντοπίζοντας πιθανούς ενδιαφερόμενους πελάτες},
  date = {2022-11-24},
  url = {https://stesiam.com/el/posts/predict-possible-clients/},
  langid = {el}
}
Για απόδοση ευγνωμοσύνης, παρακαλούμε αναφερθείτε σε αυτό το έργο ως:
stesiam. (2022, November 24). Εντοπίζοντας πιθανούς ενδιαφερόμενους πελάτες. Retrieved from https://stesiam.com/el/posts/predict-possible-clients/
]]> R Ταξινόμηση Tidymodels https://stesiam.com/el/posts/predict-possible-clients/ Thu, 24 Nov 2022 00:00:00 GMT Εγκατάσταση αλγορίθμων ενίσχυσης βαθμίδας στο Linux stesiam https://stesiam.com/el/posts/install-gbm-in-ubuntu/

Εισαγωγή

Η ενασχόληση με τη μηχανική μάθηση είναι ένας αρκετά ενδιαφέρον αλλά μακρύς δρόμος. Οι περισσότεροι μαθαίνουν κάποιες βασικές έννοιες και στη συνέχεια προσπαθούν να μάθουν - εφαρμόσουν με κάποιο απλό μοντέλο. Ένα από τα πρώτα μοντέλα που βλέπεις είτε σε οδηγούς εκμάθησης, είτε στη σχολή είναι η λογιστική παλινδρόμηση, γραμμική παλινδρόμηση κ.α. Αυτά είναι κάποια απλά μοντέλα τα οποία μπορούν να γίνουν αντιληπτά πιο εύκολα για το πώς δουλεύουν και προσφέρουν μία αποδεκτή ακρίβεια. Πλέον αυτά τα μοντέλα σπάνια χρησιμοποιούνται από μόνα τους για να εξάγουμε κάποια συμπεράσματα, μιας και υπάρχουν αξιόλογες εναλλακτικές που μπορούν να μας δώσουν μεγαλύτερα ποσοστά ακρίβειας. Μία από αυτές είναι οι αλγορίθμοι ενίσχυσης βαθμίδας (Gradient Boosting Machines - GBMs). Οι συγκεκριμένοι αλγόριθμοι βελτιώνουν σε μεγάλο βαθμό το μοντέλο μας και δεν είναι ιδιαίτερα δύσκολη η χρήση αυτών. Φυσικά πριν κάνουμε χρήση των μοντέλων αυτών (π.χ. με το πακέτο tidymodels), θα πρέπει να εγκαταστήσουμε τα σχετικά λογισμικά. Επομένως, σε αυτό το άρθρο θα συνοψίσω όλες τις σχετικές πληροφορίες για την εγκατάσταση αυτών.

Πίνακας 1: Αλγόριθμοι Boosting και ιστοσελίδες τεκμηρίωσης
Μοντέλο Πηγή
LightGBM Σύνδεσμος
CatBoost Σύνδεσμος
XGBoost Σύνδεσμος
Show the code
library(highcharter)
library(gtrendsR)
library(dplyr)
googleTrendsData = gtrendsR::gtrends(keyword = c("LightGBM", "CatBoost", "XGBoost"), gprop = "web", onlyInterest = TRUE)

interestOverTime = googleTrendsData[["interest_over_time"]] %>%
  dplyr::mutate(date = lubridate::ymd(date)) %>%
  dplyr::mutate(Year = lubridate::year(date)) %>%
  select(Year, keyword, hits) %>%
  group_by(Year, keyword) %>%
  summarise(Average = round(mean(hits), digits = 1))
  

highchart() %>%
    hc_chart(type = "line") %>%
    hc_title(text = "Ενδιαφέρον αναζήτησης σε μηχανές αναζήτησης") %>%
    hc_subtitle(text = "Ποιος από τους αλγόριθμούς ενίσχυσης βαθμίδας (GBMs) έχει περισσότερες
                αναζητήσεις.") %>%
    hc_xAxis(categories = unique(interestOverTime$Year)) %>%
    hc_yAxis(title = list(text = "Τάση")) %>%
    hc_add_series(
        name = "XGBoost",
        data = interestOverTime %>% filter(keyword == "XGBoost") %>% pull(Average)
    ) %>%
    hc_add_series(
        name = "CatBoost",
        data = interestOverTime %>% filter(keyword == "CatBoost") %>% pull(Average)
    ) %>%
    hc_add_series(
        name = "LightGBM",
        data = interestOverTime %>% filter(keyword == "LightGBM") %>% pull(Average)
    )

LightGBM

Επιλογή 1. Εγκατάσταση του πακέτου R

Αν διαβάζεις αυτή την ιστοσελίδα πιθανότατα γνωρίζεις ήδη ότι προγραμματίζω κυρίως με R. Είναι προφανές ότι θα ξεκινήσω με μία λύση για τους R χρήστες. Στη συγκεκριμένη περίπτωση εγκαθιστώ το αντίστοιχο πακέτο της R, lightgbm, έτσι ώστε να το χρησιμοποιήσουμε.

R code
start_time_lightgbm <- Sys.time()
install.packages("lightgbm", repos = "https://cran.r-project.org")
end_time_lightgbm <- Sys.time()

Επιλογή 2. Εγκατάσταση μέσω του CMAKE

Στη σελίδα τεκμηρίωσης του LightGBM αναφέρονται περισσότερες λεπτομέρειες, ωστόσο οι βασικές εντολές για εγκατάσταση μέσω του terminal είναι οι εξής:

Terminal
sudo apt install cmake
Terminal
git clone --recursive https://github.com/microsoft/LightGBM
cd LightGBM
mkdir build
cd build
cmake ..
make -j4

CatBoost

Για το CatBoost μπορείτε να βρείτε εδώ τις εκδόσεις του λογισμικού. Στην δική μου περίπτωση όταν προσπάθησα να εγκαταστήσω τη βιβλιοθήκη devtools προέκυψε ένα σφάλμα που δεν μου επέτρεψε την εγκατάσταση του πακέτου. Σύμφωνα με το μήνυμα σφάλματός στον υπολογιστή μου (στον οποίο τρέχω Ubuntu 22) μου έλειπαν οι βιβλιοθήκες libharfbuzz-dev και libfribidi-dev. Αφού πρόσθεσα τα παραπάνω πακέτα και επανεκκίνησα το RStudio, η εγκατάσταση του devtools ολοκληρώθηκε κανονικά. Αφού εγκαταστήσω το devtools μπορώ να χρησιμοποιήσω την εντολή install_url, καθώς δεν υπάρχει (ή τουλάχιστον δεν γνωρίζω) πακέτο αντίστοιχο του lightgbm. Έτσι χρησιμοποιώ έναν σύνδεσμο αναλόγως της έκδοσης που χρειάζομαι από την επίσημη σελίδα του CatBoost project στο GitHub.

R code
start_time_catboost <- Sys.time()
devtools::install_url("https://github.com/catboost/catboost/releases/download/v1.1.1/catboost-R-Linux-1.1.1.tgz"[, INSTALL_opts = c("--no-multiarch", "--no-test-load")])
end_time_catboost <- Sys.time()

XGBoost

Τέλος, μας έχει απομείνει ίσως το πιο γνωστό πακέτο μεταξύ των gradient boosting. Η συγκεκριμένη υλοποίηση είναι ίσως αυτή που βελτιώνει περισσότερο τις εκτιμήσεις μας σε μεθόδους μηχανικής μάθησης. Σταθερά σε πάρα πολλά προβλήματα ξεπερνάει σε απόδοση τις υπόλοιπες συμβατές μεθόδους (λογιστική / γραμμική παλινδρόμηση, Naive Bayes κτλ.). Βέβαια όταν προσπαθήσω να κατασκευάσω ένα μοντέλο μηχανικής μάθησης με το XGBoost, ενδεχομένως να είναι το πιο χρονοβόρο σε σχέση με τις υπόλοιπες υλοποιήσεις. Η εγκατάσταση του πακέτου είναι αντίστοιχα εύκολη με αυτή του lightgbm, μέσω του ομόνυμου πακέτου, xgboost.

R code
start_time_xgboost <- Sys.time()
install.packages("xgboost")
end_time_xgboost <- Sys.time()

Σύνοψη

Οι αλγόριθμοι ενίσχυσης βαθμίδας μας δίνουν προβλεπτικά μοντέλα με αυξημένη απόδοση (προβλεπτική ικανότητα) σε σχέση με άλλες συμβατικές μεθόδους μηχανικής μάθησης. Σε αυτό το άρθρο διαπιστώθηκε ότι η R κατά κύριο λόγο έχει εύκολους τρόπους για να εγκαταστήσουμε και εν τέλει να χρησιμοποιήσουμε. Για να ολοκληρώσω, θα ήθελα να αναφέρω με ένα μικρό πείραμα που έκανα. Παρατήρησα ότι η εγκατάσταση αυτών των πακέτων είναι ιδιαίτερα χρονοβόρα και σκέφτηκα να χρονομετρήσω τη διάρκεια για την εγκατάστασή τους. Έτσι λοιπόν, κατέγραψα ότι περισσότερη ώρα διήρκησε η εγκατάσταση του πακέτο LightGBM, κάνοντας σχεδόν 8 λεπτά, ακολουθούμενο από το XGBoost, και τέλος το CatBoost για το οποίο διήρκησε μόλις 2 λεπτά!

Πίνακας 2: Χρόνοι εγκατάστασης γνωστών αλγόριθμων ενίσχυσης βαθμίδας
Μοντέλο Μέθοδος εγκατάστασης Χρόνος εγκατάστασης
LightGBM R πακέτο 7.79 λεπτά
CatBoost R πακέτο (χωρίς devtools) 2.1 λεπτά
XGBoost R πακέτο 6.16 λεπτά

Αναφορά

Αναφορά BibTeX:
@online{2022,
  author = {, stesiam},
  title = {Εγκατάσταση αλγορίθμων ενίσχυσης βαθμίδας στο Linux},
  date = {2022-11-13},
  url = {https://stesiam.com/el/posts/install-gbm-in-ubuntu/},
  langid = {el}
}
Για απόδοση ευγνωμοσύνης, παρακαλούμε αναφερθείτε σε αυτό το έργο ως:
stesiam. (2022, November 13). Εγκατάσταση αλγορίθμων ενίσχυσης βαθμίδας στο Linux. Retrieved from https://stesiam.com/el/posts/install-gbm-in-ubuntu/
]]> Linux LightGBM CatBoost XGBoost https://stesiam.com/el/posts/install-gbm-in-ubuntu/ Sun, 13 Nov 2022 00:00:00 GMT Παραμετροποίηση του Git stesiam https://stesiam.com/el/posts/git-commands/

Εισαγωγή

Τι είναι το Version Control System

Ένα σύστημα ελέγχου εκδόσεων (Version Control System - VCS) είναι ένας τρόπος διαχείρισης και παρακολούθησης αλλαγών στον κώδικα που γράφουμε. Καθώς αναπτύσσουμε μία εφαρμογή, προσθέτουμε λειτουργίες, διορθώνουμε σφάλματα με αποτέλεσμα να διορθώνουμε το κώδικά μας συνεχώς. Το VCS μας επιτρέπει να καταγράφουμε τις αλλαγές μας σε διάφορες στάδια κατά τη διάρκεια υλοποίσης του κώδικά μας.

Workflow without Version Control

Από τα πιο γνωστά προγράμματα ελέγχου εκδόσεων πηγαίου κώδικα είναι τα εξής :

  • Git
  • Apache Subversion (SVN)
  • Mercurial
  • Bazaar

Δημοφιλία VCS

Έχοντας περιγράψει τι είναι το VCS, θα ήταν χρήσιμο να μελετήσουμε ποιο ήταν το πιο γνωστό ή πιο χρησιμοποιούμενο διαχρονικά. Για να το μελετήσω θα χρησιμοποιήσω ιστορικά δεδομένα αναζητήσεων στη μηχανή αναζήτησης της Google και πιο συγκεκριμένα από τη πλατφόρμα Google Trends που διατηρεί δεδομένα τάσεων αναζητήσεων ορισμένων όρων.

Show the code
Show the code
avgPercentageGit = trends_vcs_tidy %>% dplyr::filter(VCS == "git: (Worldwide)") %>% pull(AVG)
avgPercentageSVN = trends_vcs_tidy %>% dplyr::filter(VCS == "svn: (Worldwide)") %>% pull(AVG)

highchart() %>%
  hc_title(text = "Τάσεις στα λογισμικά διαχείρισης εκδόσεων κώδικα (VCS)") %>%
  hc_subtitle(text = "<span style='display: inline-block; align-items: center; text-align: center;'>Σύγκριση τάσεων μεταξύ του  <img height='16' style='margin: 0px 6px;' src='https://git-scm.com/images/logos/downloads/Git-Icon-1788C.png'> Git και του <img height='16' style='margin: 0px 6px;' src='https://upload.wikimedia.org/wikipedia/commons/thumb/2/22/Apache_Subversion_logo.svg/250px-Apache_Subversion_logo.svg.png '> SVN (Subversion) από το 2004 μέχρι το 2022</span>", useHTML= TRUE) %>%
  hc_caption(
    useHTML = TRUE,
    text = '<b>Πηγή: </b> <a href="https://trends.google.com/trends/" target="_blank">Google Trends</a>') %>%
  hc_plotOptions(
    series = list(
      marker = list(
        enabled = FALSE
      )
    )
  ) %>%
 hc_annotations(list(
  labels = list(
    list(
      point = list(x = 12, y = 70, xAxis = 0, yAxis = 0),
      text = "Git",
      rotation = -30,
      backgroundColor = "rgba(255,255,255,0.7)",
      borderColor = "black",
      style = list(
        fontSize = "12px"
      )
    ),
    list(
      point = list(x = 12, y = 10, xAxis = 0, yAxis = 0),
      text = "Subversion (SVN)",
      rotation = 0,
      backgroundColor = "rgba(255,255,255,0.7)",
      borderColor = "black",
      style = list(
        fontSize = "12px"
        )
    )
  )
)) %>%
  hc_xAxis(categories = unique(trends_vcs_tidy$Year)) %>%
  hc_yAxis(title = list(text = "Τάση αναζήτησης"),
           max = 90) %>%
  hc_add_series(name = "Git", data = avgPercentageGit, type = "line", color = "orange") %>%
  hc_add_series(name = "SVN", data = avgPercentageSVN, type = "line", color = "steelblue") %>%
  hc_tooltip(shared = TRUE)

Το διάγραμμα Σχήμα 1 ξεκαθαρίζει ως κυρίαρχο εργαλείο για την διαχείριση των εκδόσεων (VCS) του κώδικά μας, το Git. Το Subversion (SVN) ήταν δημοιλέστερο του Git μέχρι και το 2010, ενώ από εκείνη τη χρονιά και έπειτα άρχισε και είχε πτωτική πορεία η οποία δεν έχει ανακάμψει για το προαναφερόμενο λογισμικό μέχρι και σήμερα. Σήμερα το de facto λογισμικό για τη διαχείριση του κώδικα είναι το Git και κυριαρχούν πλατφόρμες που υποστηρίζουν τη φιλοξενεία στο διαδίκτυο όπως το GitHub και το GitLab.

Πλεονεκτήματα

Για ποιο λόγο να χρησιμοποιήσω ένα τέτοιο λογισμικό;

  • Εύκολη μετάβαση σε προηγούμενες εκδόσεις του κώδικα
  • Εξοικονόμηση χρόνου, όταν μία νέα έκδοση παράγει σφάλματα
  • Διευκολύνει τη συνεργασία με άλλους προγραμματιστές, ειδικά μέσω πλατφορμών συνεργασίας όπως το GitHub

Αδυναμίες

Εντάξει, τα πλεονεκτήματα είναι σαφή. Υπάρχει όμως και άλλη μεριά;

  • Προσθέτουμε ένα νέο εργαλείο στη ροή της εργασίας μας
  • Απαιτεί κάποιο χρόνο για τη σωστή χρήση του

Φιλοξενία κώδικα

Αναφέραμε ήδη μερικά από τα πιο σημαντικά διαχείρισης κώδικα. Αυτά όμως τα προγράμματα έχουν ως σκοπό τη διαχείριση του κώδικα στην ίδια τη συσκευή. Αν θέλουμε να μοιραστούμε τον κώδικα θα πρέπει να τον αποθηκεύσουμε και να τον έχουμε διαθέσιμο κάπου διαδικτυακά. Οι πιο γνωστές υπηρεσίες φιλοξενίας κώδικα είναι το GitHub, το GitLab και το Bitbucket. Αν καμία από αυτές τις επιλογές , in case none of the options outlined earlier satisfy us, there is also the self-host solution. For example, if I had concerns about the terms of the above services, I could host Gitea on my own server or even to rent a cloud server. That way I would have my own “GitHub”, without depending on a third party service.

Ρυθμίσεις του Git

Ορισμός ονόματος και email

Αποφάσισες να χρησιμοποιήσεις το Git, ώστε να το δοκιμάσεις σε κάποια απλά project ή απλά να κρατάς αρχείο εκδόσεων για τις εργασίες σου; Είσαι σε καλό δρόμο. Όταν χρησιμοποιήσεις το Git για πρώτη φορά θα σου ζητήσει να θέσεις ένα όνομα και ένα email. Το Git δεν θα σου επιτρέψει να καταγράψεις τη σύνθεση - έκδοση του project σου προτού τα καθορίσεις.

Φωτογραφία του Linus Torvalds το 2018

Πηγή φωτογραφίας: Wikimedia Commons, 2021 - Άδεια χρήσης: CC BY 3.0. Για τη πρωτότυπη φωτογραφία μπορείτε να πατήσετε τον σύνδεσμο

Terminal
git config --global user.name "YourName"
git config --global user.email your_email
Σημείωση

Αν σχεδιάζεις να φιλοξενήσεις τον κώδικά σου στο GitHub, ίσως να έχει νόημα να κρύψεις τη προσωπική σου διεύθυνση email. Σε μία τέτοια περίπτωση το GitHub προσφέρει ένα noreply email προκειμένου να μην την εκθέτεις στο διαδίκτυο. Αν επιθυμείτε, μπορείτε να διαβάσετε περισσότερα για αυτό το θέμα στον ακόλουθο σύνδεσμο.

Προτιμόμενο πρόγραμμα επεξεργασίας

Γενικότερα το GIt A part that I considered a little bit hard is editing Git commits. By default, Ubuntu has installed Vim, so this was my first editor for my commits. I think this choice is good if you are writing short commit messages or you are acquainted with Vim options/shortcuts. In case you are in a hurry, the use of an alterantive (most familiar) IDE is justified.

Terminal
git config --global core.editor "editor_name"

Most notable is Visual Studio Code, which is the most popular IDE, according to recent Stackoveflow’s survey.

Editor Command
Atom git config –global core.editor “atom –wait”
Visual Studio Code git config –global core.editor “code –wait”

Προεπιλεγμένο όνομα

In October of 2020, GitHub announced that will change the default name of initial branch from master to main.

The default branch name for new repositories is now main.
GitHub.blog - October 1,2020

Therefore, it would be good to make this change in our local environment as well, as follows :

Terminal
git config --global init.defaultBranch main

Merge method

One change that is not exactly necessary but helps me is to change the defaults regarding merge. Let’s say that I want to add a new feature in my application. Most of the times I will make a branch on which I will start developing my new feature. When I implement this function and I’m ready to merge my changes into the main code there are two situations.

1. There are commits to main branch

The predefined action is to merge. The branch is visible. Our setting has not any effect on this case.

2. There are no commits to main branch

The predefined action of Git is to take the feature branch and paste it on the top of main branch. By making the setting above I am telling Git to keep the branch and react like the first case. The branch is visible again.

With simple words, I am forcing Git to keep branch, regardless of changes to main branch.

Terminal
git config --global merge.ff false

Auto-sign your commits

In a previous article we saw how to sign our commits as well as the reasons for doing so. In short, we made a PGP key which we added to our GitHub account. From that moment to sign my commits I had to write git commit -S -m "something", instead of git commit -m "something". Of course, that method is a little bit problematic. It is a little bit longer, little different in comparison to what I am used to type and most importantly I may forget some times to sign it manually. The last one happened to me A LOT. Thankfully, there is a way to be carefree about that anymore. I can set git config in a way that my commits will be signed automatically.

Προειδοποίηση

If you do not have already a GPG key, you can have a look in this guide in order to generate one. Also, depending your hosting platform for your code, you can link your GPG with your account : 

Terminal
gpg --list-secret-keys --keyid-format LONG
git config user.signingkey key_id
git config commit.gpgsign true

Ελέγχοντας τις ρυθμίσεις του Git

Making the above settings, we can have a summary of those with the corresponding command:

Terminal
git config --list

Here is the output on my machine :

Output of git-config command

The image above sums up the settings of Git. Although, each user has different needs and for that reason it would be good in case you want to learn more about git config to see their documentation page.

Συνοψίζοντας

Μία σύνοψη των εντολών που χρησιμοποιήσαμε για τη ρύθμιση του Git.

Terminal
git config --global user.name "YourName"
git config --global user.email your_email
git config --global core.editor "editor_name"
git config --global init.defaultBranch main
git config --global merge.ff false

# Add PGP key to your commits

gpg --list-secret-keys --keyid-format LONG
git config user.signingkey key_id
git config commit.gpgsign true

# check git config settings

git config --list --show-origin

Of course you can access your git config file on your Home directory (at least on Ubuntu installation).

Προειδοποίηση

Note that the .gitconfig file, which contains our settings, may not be visible in the Home directory. In general, files whose names begin with a period are not displayed. However, if everything has been done correctly, it’s probably there. For example, in Ubuntu you should choose to show hidden files.

Ευχαριστίες

Φωτογραφία από Daniel Skovran από το Pixabay

Αναφορές

Chacon, S., & Straub, B. (2014). Pro git. Springer Nature.

Αναφορά

Αναφορά BibTeX:
@online{2022,
  author = {, stesiam},
  title = {Παραμετροποίηση του Git},
  date = {2022-11-04},
  url = {https://stesiam.com/el/posts/git-commands/},
  langid = {el}
}
Για απόδοση ευγνωμοσύνης, παρακαλούμε αναφερθείτε σε αυτό το έργο ως:
stesiam. (2022, November 4). Παραμετροποίηση του Git. Retrieved from https://stesiam.com/el/posts/git-commands/
]]> Git https://stesiam.com/el/posts/git-commands/ Fri, 04 Nov 2022 00:00:00 GMT Συγκεντρωμένο υλικό για την R στα ελληνικά stesiam https://stesiam.com/el/posts/greek-material-for-r/

Εισαγωγή

Καλησπέρα σας.

Πρώτο άρθρο στα ελληνικά και ελπίζω να μην τα γράφω τζάμπα και κάποιος, κάπου, κάποτε να βρει αυτή τη σελίδα αν ποτέ τη χρειαστεί 😁. Εγώ προσωπικά ασχολούμαι με την από το 2018 περίπου. Ένα από τα πράγματα που με εντυπωσίασαν είναι η κοινότητά της που είναι πρόθυμη να βοηθήσει τους νέους χρήστες. Αρκετοί νέοι χρήστες έχουν βρει βοήθεια σε προβλήματα με τη γλώσσα είτε στο Stackoverflow, στο Mastodon ή στο κανάλι /rstats του Reddit. Βέβαια, η συνεισφορά της κοινότητας δεν σταματάει εκεί καθώς πολλοί έχουν συμβάλει γράφοντας ακόμα και βιβλία για την καθιστώντας μία απαιτητική γλώσσα προγραμματισμού πιο προσβάσιμη στο ευρύ κοινό. Πλειάδα αυτών των βιβλίων διατίθεται δωρεάν στο διαδίκτυο με πιο γνωστό από όλα το R for Data Science, το οποίο ήταν και το πρώτο βιβλίο που διάβασα για την R. Εκτός από την κοινότητα και το απεριόριστο δωρεάν υλικό, έχουν δημιουργηθεί και ομάδες που προωθούν την R ή που έχουν ως κοινό χαρακτηριστικό την R σε ομάδες που υποεκπροσωπούνται στο πεδίο της επιστήμης δεδομένων (π.χ. κοινότητες R-ladies, etc.), γεγονός που την καθιστά συμπεριληπτική.

Λογότυπο γλώσσας προγραμματισμού R

Στα αγγλικά η συλλογή δωρεάν υλικού είναι χαώδης και πραγματικά για το κάθε πεδίο υπάρχει και ένα βιβλίο. Ενδεικτικά, από τη σελίδα bookdown, η οποία φιλοξενεί μία από τις βασικές και εκτεταμένες συλλογές δωρεάν βιβλίων για την R (πάνω από 1500 βιβλία), μπορώ να διακρίνω βιβλία τόσο για την R και για διάφορα πακέτα της (σχετικά με την ανάλυση, οπτικοποίηση και πρόβλεψη δεδομένων), όσο και για πιο εξειδικευμένα θέματα όπως Μετα-ανάλυση, Οικονομετρία, κ.α. Ωστόσο, τι γίνεται με τη πρόσβαση σε ελληνικό περιεχόμενο για την R; Πρόσφατα (το 2024) ο Hadley Wickham με δημοσίευσή του στο Mastodon έδωσε ίσως το καλύτερο νέο για τους Έλληνες χρήστες μιας και πλέον υπάρχει και ελληνική μετάφραση του γνωστού βιβλίου R for Data Science, Η R για την Επιστήμη Δεδομένων.

Λογότυπο του R πακέτου bookdown

Το bookdown είναι ένα λογισμικό που δίνει τη δυνατότητα στους χρήστες της R να φτιάχνουν εύκολα έγγραφα ή και βιβλία. Η χρήση της συνεπώς γίνεται ως επί το πλείστον από χρήστες της R. Ωστόσο, στη συλλογή δεν αποκλείεται να δείτε και άσχετα βιβλία ή ακόμα και βιβλία για τη Python.

Βέβαια δεν είναι μόνο το βιβλίο RfDS, αφού και άλλοι μικροί ήρωες της καθημερινότητας έχουν προσφέρει υλικό για την R στα ελληνικά. Προκειμένου να συμπεριληφθεί κάτι στη σελίδα θα πρέπει να πληρεί τις εξής προϋποθέσεις :

  1. Να είναι δωρεάν
  2. Να είναι στα ελληνικά
  3. Να είναι κατανοητό για όλο το φάσμα των χρηστών της R

Βιβλία για την R

Συνολικά 6 βιβλία έχουν βρεθεί να είναι ελεύθερα διαθέσιμα ηλεκτρονικά. Τα τέσσερα από τα έξι αποτελούν βιβλία από το Κάλλιπο, όπου διαθέτει ηλεκτρονικά συγγράμματα για διάφορα επιστημονικά πεδία.

Τίτλος βιβλίου Συγγραφέας Σύνδεσμος
R για την Επιστήμη Δεδομένων
(2η έκδοση)		 Hadley Wickham
Mine Çetinkaya-Rundel
Garrett Grolemund
P Togias (tr)
MT Pandi (tr)		 Σύνδεσμος
Εισαγωγή στην R Πρόχειρες σημειώσεις Φωκιανός, Κ.
Χαραλάμπους, Χ.		 Σύνδεσμος
(απευθείας κατέβασμα)
Προγραμματισμός σε R Νικολαΐδης, Β. Σύνδεσμος
Εισαγωγή στον προγραμματισμό και στη στατιστική ανάλυση με R Ντζούφρας, Ι.
Καρλής, Δ.		 Σύνδεσμος
Η επιστήμη των δεδομένων μέσα από τη γλώσσα R Βερύκιος, Β.
Καγκλής, Β.
Σταυρόπουλος, Η.		 Σύνδεσμος
Εισαγωγή στην επιχειρησιακή έρευνα και στον γραμμικό προγραμματισμό Κουνέτας, Κ
Χατζησταμούλου, Ν.		 Σύνδεσμος
Εισαγωγή στην εκπαιδευτική και ψυχολογική μέτρηση με τη χρήση της R Albano, A.
Markos, A. (tr)		 Σύνδεσμος

Όπως είναι προφανές, οι επιλογές μας σε σχέση με το υλικό που υπάρχει στα αγγλικά (ελεύθερα διαθέσιμο) είναι περιορισμένες. Ωστόσο, υπάρχουν κάποιες πολύ καλές επιλογές (ανάλογα το επίπεδο και τον σκοπό του χρήστη).

Η καλύτερη επιλογή (από το 2024) κατά τη γνώμη μου είναι το πλέον μεταφρασμένο βιβλίο R for Data Science, Η Επιστήμη Δεδομένων με την R. Αυτό το βιβλίο κατά τη γνώμη μου είναι το πιο πλήρες καθώς μας βάζει στη λογική ότι θα πρέπει η ανάλυση των δεδομένων δεν είναι απλά ένα διάγραμμα ή ένα μοντέλο. Αυτό είναι το αποτέλεσμα της ανάλυσης. Το βιβλίο με πολύ ωραίο τρόπο περιγράφει τη διαδικασία που προηγείται αυτού, όπως τη συλλογή, τη μεταφόρτωση των δεδομένων. Συνεχίζει με τον μετασχηματισμό αυτών προκειμένου να αποκτήσουν μορφή έτοιμη για ανάλυση. Τέλος, αξίζει να σημειωθεί ότι το βιβλίο δίνει έμφαση στο μετα-πακέτο (συλλογή από πακέτα) tidyverse, που είναι το πιο ευρέως χρησιμοποιούμενο στις μέρες μας και περιέχει αρκετά γνωστά πακέτα όπως το readr (μεταφόρτωση δεδομένων), dplyr (μετασχηματισμό δεδομένων), tidyr (τακτοποίηση δεδομένων), ggplot2 (οπτικοποίηση) κ.α. Αυτό είναι σημαντικό καθώς ορισμένα από τα επόμενα βιβλία είναι πιο παλιά και βασίζονται στη λεγόμενη base R (εντολές που περιλαμβάνονται στην R) για την όποια ανάλυση. Κατά τη γνώμη μου η χρήση του tidyverse είναι προτιμητέα αρχικά επειδή υπάρχει πολύ διαθέσιμο υλικό (ιστοσελίδες / documentation) έχει αρκετή υποστήριξη (τόσο από τη κοινότητα της R, όσο και από την Posit, πρώην RStudio) και είναι πιο εύκολη στη χρήση. Αν δεν σας έχω πείσει ακόμα να σας ενημερώσω ότι πολλά από τα εντυπωσιακά διαγράμματα που βλέπετε κατά καιρούς στο Twitter (συνήθως στο hashtag #TidyTuesday) ή σε εφημερίδες / τηλεοπτικά δίκτυα (π.χ. BBC) χρησιμοποιούν το πακέτο ggplot2 της R για τα γραφήματά τους.

Εξώφυλλο πρωτότυπης έκδοσης RfDS

Το βιβλίο R for Data Science (Η R για την Επιστήμη των Δεδομένων) είναι ένα βιβλίο που ασχολείται με τη σύγχρονη R (με βάση το πακέτο tidyverse), η πρώτη αγγλική έκδοση εκδόθηκε το 2017 και η δεύτερη το 2023. Η πρωτότυπη, αγγλική, έκδοση έχει συγγραφεί από τους Hadley Wickham, Mine Cetinkaya-Rundel και Garrett Grolemund Η ελληνική έκδοση μεταφράστηκε από τους Παναγιώτη Τόγια και Θεοδώρα Πανδή.

Η δεύτερη επιλογή μου (και η μέχρι πρότινος αγαπημένη μου που δεν υπήρχε η μετάφραση του RfDS) είναι το βιβλίο “Εισαγωγή στην R - Πρόχειρες σημειώσεις” των κυρίων Φωκιανού και Χαραλάμπους. Είναι ένας συνδυασμός σημειώσεων και εφαρμογής των εντολών για κατηγορίες προβλημάτων. Αναφέρεται σε ένα μεγάλο εύρος θεμάτων (κυρίως στατιστικής). Πιο συγκεκριμένα από τα πιο απλά (έλεγχοι t-test) μέχρι πιο σύνθετα θέματα (ανάλυση κατά συστάδες). Ένα πολύ ωραίο στοιχείο είναι ότι κάθε κεφάλαιο συνοδεύεται από ένα μικρό παράδειγμα κώδικα R, γεγονός που το καθιστά πολύ καλό για φοιτητές στατιστικής (μάλλον για αυτό μου αρέσει). Οι συγκεκριμένες σημειώσεις έχουν μόνο δύο μικρά μειονεκτήματα που αφορούν στη πληρότητα και την υλοποίηση του κώδικα. Το βιβλίο αναλύει ένα αρκετά τεράστιο εύρος θεμάτων στατιστικής σε σχεδόν 300 σελίδες και κάπου εδώ προκύπτει ένα εμπόδιο. Κατά πόσο αναλύονται όλα τα στοιχεία που οφείλει να γνωρίζει ένας στατιστικός ή ένας τυπικός αναγνώστης με σχετικά ενδιαφέροντα; Οι συγγραφείς του βιβλίου αποφάσισαν να γράψουν ένα βιβλίο που θα εκθέτει τον αναγνώστη στις διάφορες μεθοδολογίες και να του κεντρίσουν το ενδιαφέρον και να του δώσουν μία σύνοψη για τις βασικές έννοιες και θεωρίες που χειριζόμαστε στο προπτυχιακό επίπεδο. Αυτή η απόφαση κατά τη γνώμη μου είναι ενδιαφέρουσα μιας και δίνεις χώρο στον αναγνώστη να πάρει ιδέες, να μάθει και εν τέλει να συνθέσει μόνος του ένα κεφάλαιο μιας μεθοδολογίας που του κέντρισε το ενδιαφέρον. Ο περιορισμός λοιπόν είναι στο ότι για να το κάνει αυτό θυσίασε μία πιο εμπεριστατωμένη ανάλυση της θεωρίας που να συνοδεύει το κεφάλαιο. Γενικότερα το κάθε κεφάλαιο είναι περίπου 10 σελίδες, επομένως αν θέλουμε να μάθουμε περισσότερα πράγμα. Τέλος, υπάρχει άλλο ένα μικρό πρόβλημα στην υλοποίηση του κώδικα, ωστόσο αυτό δεν αποτελεί λάθος των συγγραφέων. Οι σημειώσεις δημοσιεύτηκαν το 2012 και βασίζονται στη διάλεκτο base R. Σε αντιπαραβολή με την διάλεκτο tidyverse R, δεν παρέχει χρήσιμες λειτουργίες όπως τον τελεστή pipe %>%. Αυτό όμως δεν μας επηρεάζει πολύ μιας και το βιβλίο περιορίζεται στην υλοποίηση του στατιστικού ελέγχου και όχι σε μία αλληλουχία εντολών επεξεργασίας των δεδομένων. Αν μας ενδιαφέρει αποκλειστικά η υλοποίηση του στατιστικού ελέγχου, το βιβλίο κάνει χρήση εντολών που έχουν στην ουσία καθιερωθεί και χρησιμοποιούνται καθολικά από όλο το φάσμα των R χρηστών. Στη περίπτωση διαγραμμάτων προσωπικά αποθαρρύνω την χρήση της εντολής plot, αλλά αν θέλετε να φτιάξετε εντυπωσιακά διαγράμματα και να έχετε έλεγχο σε περισσότερα στοιχεία του γραφήματος προτείνω να μη σταθείτε στην υλοποίηση του βιβλίου, αλλά να αφιερώσετε χρόνο για τη ggplot2. Για τα διαγράμματα με το πακέτο {ggplot2}μπορείτε να διαβάσετε το [κεφάλαιο 9] του προηγούμενου βιβλίου.

Μία τρίτη επιλογή είναι το βιβλίο «Πρόβλεψη (Αρχές και Πρακτική) το οποίο αποτελεί την ελληνική μετάφραση του γνωστού βιβλίου Forecasting: Principles and Practice. Αυτό το βιβλίο είναι αξιόλογο, όμως δεν αποτελεί βιβλίο εκμάθησης της R. Απευθύνεται σε έναν καλό γνώστη της γλώσσας που τον ενδιαφέρει η θεωρία των χρονοσειρών, αναγνώριση υποδειγμάτων και πρόβλεψη αυτών. Στο βιβλίο γίνεται καλή ανάλυση της θεωρίας η οποία συνδυάζεται από την αντίστοιχη πρακτική εφαρμογή στην γλώσσα R. Για αυτό το λόγο θεωρώ ότι είναι ένα από τα ποιοτικότερα βιβλία στη κατηγορία του μιας και δεν εφαρμόζεις απλά εντολές, αλλά μαθαίνεις τη θεωρία και μέσα από αυτή κατανοείς τους λόγους που εφαρμόζουμε διάφορα υποδείγματα ή τι εντολές χρειάζεται να εκτελέσουμε. Για τις χρονοσειρές είναι ευρέως χρησιμοποιούμενο το forecast πακέτο, ωστόσο στο βιβλίο θα δείτε να χρησιμοποιούνται εξειδικευμένα πακέτα χρονοσειρών της σουίτας tidyverts (π.χ. fable). Είναι το αντίστοιχο του tidyverse, αλλά εξειδικευμένο για την τακτοποίηση των χρονοσειρών. Το πρωτότυπο βιβλίο έχει γραφτεί στα αγγλικά, αλλά έχει γίνει μία καλή μετάφραση η οποία συμπεριλαμβάνει και τους αντίστοιχους ελληνικούς επιστημονικούς όρους που είναι αρκετά χρήσιμο σε εξειδικευμένα πεδία που οι περισσότερες πηγές είναι στα αγγλικά. Το εύρος των θεμάτων με τα οποία καταπιάνεται είναι από χρονοσειρές Box-Jenkins (ARIMA), εκθετική εξομάλυνση, μοντέλα δυναμικής παλινδρόμησης καθώς και πιο σύνθετες τεχνικές πρόβλεψης.

Εξώφυλλο ελληνικής έκδοσης Forecasting (Principles and Practice) (2022), Πρόβλεψη (Αρχές και Πρακτική)

Hyndman, R.J., & Athanasopoulos, G. (2021) Forecasting: principles and practice, 3rd edition, OTexts: Melbourne, Australia. σύνδεσμος ελληνικής έκδοσης του βιβλίου

Ένα βιβλίο το οποίο δεν είχα προσέξει είναι το «Προγραμματισμός σε R». Αυτό θυμίζει αρκετά περισσότερο το βιβλίο του Hadley μιας και ασχολείται με τη σύγχρονη εκδοχή της R. Ξεκινάει αναλύοντας τις ιδιοτροπίες της R, τα αντικείμενά της. Συνεχίζει αναλύοντας βασικές λειτουργίες του προγραμματισμού όπως του ελέγχους ροής, βρόχους επανάληψης και τη δημιουργία συναρτήσεων. Το βιβλίο κλείνει με αναφορά πιο σύνθετων θεμάτων σχετικά με αντικειμενοστραφή προγραμματισμό (βασικά εξηγώντας το χάος αυτού στην R) και με μία εισαγωγή στον τρόπο δημιουργίας πακέτων στην R. Μία φιλότιμη προσπάθεια και ένα βιβλίο που αξίζει να διαβαστεί με στόχο να κατανοήσουμε περισσότερο τη γλώσσα R και τις ιδιοτροπίες της. Το σημείο που χάνει το βιβλίο είναι η μη σημαντική αναφορά σε στατιστικές μεθόδους σε σχέση με τις σημειώσεις των Φωκιανού, Χαραλάμπους και αυτό μπορεί να δυσαρεστήσει μερικούς αναγνώστες μιας και ο λόγος ασχολίας μας με την R είναι η ανάλυση των δεδομένων και η στατιστική ανάλυση. Τέλος, ένα αρνητικό που υπάρχει είναι η μικρή έκταση του βιβλίου κατά κάποιο τρόπο δημιουργεί μία σημαντική επικάλυψη των θεμάτων του από το βιβλίο του Hadley, γεγονός που ίσως να μην είναι η πρώτη επιλογή τώρα που το προαναφερόμενο βιβλίο έχει ελληνική μετάφραση.

Εξώφυλλο Νικολαϊδη (2023)

Η 4η επιλογή “Εισαγωγή στον προγραμματισμό και στη στατιστική ανάλυση με R” των Καρλή & Ντζούφρα κινείται σε παρόμοια νερά. Είναι ένα βιβλίο που με προβλημάτισε κάπως. Αυτό το βιβλίο είχε τα φόντα να γίνει το προσωπικό μου αγαπημένο, διότι δεν σου δείχνει απλά τις εντολές. Σου μαθαίνει να προγραμματίζεις με την R, αφού δίνει μεγαλύτερη σημασία σε ελέγχους ροής, συναρτήσεις και άλλα θέματα. Αυτό είναι πολύ σημαντικό, αν θες να φτιάξεις κάτι πιο περίπλοκο (π.χ. μία περίπλοκη ανάλυση, ένα πακέτο στην R, κτλ.). Αν και προγραμματισμός μαθαίνεται κυρίως κάνοντας και όχι διαβάζοντας πιστεύω ότι είναι μία σημαντική προσθήκη στη λίστα. Μπόνους πόντους ότι είχε κεφάλαια στα οποία έκανε κάποια βασική στατιστική ανάλυση. Αν και το βιβλίο είναι ελαφρώς πιο καλογραμμένο από το προηγούμενο έχει δημοσιευτεί το 2015 και έχει κώδικα σε base R και για αυτό δεν είναι στις πρώτες μου επιλογές.

Εξώφυλλο Καρλή & Ντζούφρα (2015)

Η 5η μου επιλογή είναι το “Επιστήμη των δεδομένων μέσα από τη γλώσσα R”. Πιθανότατα αυτό το βιβλίο πλησιάζει περισσότερο στη λογική των notebooks και στο να ανεβάσεις δικά σου project. Σε βάζει σε μία λογική να αρχίσεις να κάνεις αναλύσεις και να ξεκινήσεις δοκιμάζοντας. Αρκετά καλό, αν κάποιος θέλει να πειραματιστεί με τη γλώσσα ή αν θέλει να φτιάξει τα δικά του project. Το τελευταίο είναι πολύ σημαντικό για να βρεις εργασία (εγώ με αυτή την ελπίδα ζω ακόμα), μιας και το πεδίο της ανάλυσης δεδομένων και της επιστήμης δεδομένων είναι αρκετά ανταγωνιστικό. Προσωπικά πιστεύω ότι είναι καλό για κάποιον που έχει ήδη κάποια εξοικείωση στην R. Ο κλασσικός λόγος για τον οποίο χάνει πόντους είναι η παλαιότητά του (έκδοση του 2015). Αν λάβω υπόψιν ότι αυτό που ξεχωρίζει το βιβλίο είναι η αμεσότητα και το κίνητρο να φτιάξω τα δικά μου project τότε αυτό μετράει πιο αρνητικά

Τα τελευταία 2 βιβλία της λίστας μου ασχολούνται με αρκετά εξειδικευμένα θέματα και γίνεται χρήση της R συνεπικουρικά. Κάτι τέτοιο δεν καθιστά τα βιβλία ως ακατάλληλα, απλώς η χρήση αυτών να ενδείκνυται σε πιο προχωρημένους χρήστες.

Βίντεομαθήματα για την R

Όνομα καναλιού Σύνδεσμος
Christos Malliarakis Σύνδεσμος

Πέρα όμως από τα βιβλία έψαξα να βρω και υλικό για την R στο Youtube. Το υλικό είναι επίσης αρκετά περιορισμένο. Προς το παρόν θα αφήσω μία επιλογή η οποία είναι και η πιο πλήρης. Στη σειρά βιντεομαθημάτων (playlist) του κ. Χρήστου Μαλλιαράκη γίνεται μία αναφορά σε βασικά στοιχεία της R ενώ σε επόμενα μαθήματα ασχολείται με κάποια απλά παραδείγματα μηχανικής μάθησης.

Επίλογος

Προφανώς η συμπερίληψη ελληνικών πηγών είναι ενθαρρυντική, τόσο για τη δημοφιλία της R στην Ελλάδα, όσο και για την δημιουργία ενεργής κοινότητας. Ωστόσο, σε καμία περίπτωση δεν μπορεί να αποτελέσουν αυτές οι πηγές εναλλακτική, αλλά μία χρήσιμη προσθήκη. Συνοπτικά, αν είστε ένας χρήστης που θέλει να μάθει την R σας προτείνω το βιβλίο R for Data Science καθώς είναι το μόνο βιβλίο που χρησιμοποιεί τα πιο πρόσφατα πακέτα της. Μία σύγχρονη εναλλακτική θα μπορούσε να αποτελέσει το βιβλίο του Νικολαίδη «Προγραμμαιτσμός σε R». Σε περίπτωση που θέλουμε να λύσουμε πρόβλημα χρονοσειρών τότε μόνο θα πρότεινα ως το ιδανικότερο το «Πρόβλεψη» των Hyndman & Αθανασόπουλου.

Όσον αφορά τα υπόλοιπα βιβλία έχω τους ενδοιασμούς μου όχι τόσο στο αν είναι χρήσιμα (ναι, είναι), αλλά στο κατά πόσο θα τα πρότεινα. Τα άλλα βιβλία χρησιμοποιούν ως επί το πλείστον εντολές που βασίζονται στη base R, το οποίο δεν είναι απαραίτητα κακό, αλλά η R έχει εξελιχθεί και πλέον υπάρχουν αποδοτικότεροι τρόποι/πακέτα για να κάνουμε μία αντίστοιχη ανάλυση. Ορισμένα τα κρίνω ακόμα εξαιρετικά για να εισάγεις τον χρήστη στην ανάλυση δεδομένων όπως οι σημειώσεις του Φωκιανού, αλλά η σύγχρονη και πιο αποδοτική πρακτική τείνει να είναι η tidyverse R. Προσωπικά πέρα από πολύ απλούς στατιστικούς ελέγχους, δεν έχω δει κάποιον που να χρησιμοποιεί base R σε εκτεταμένο επίπεδο. Καλό είναι να γνωρίζουμε τα βασικά στοιχεία της γλώσσας που θέλουμε να γίνουμε γνώστες, αλλά να έχουμε υπόψιν μας ότι η κοινότητα έχει καταλήξει σε άλλες λύσεις.

Καλό διάβασμα. 📖

Αναφορά

BibTeX citation:
@online{2022,
  author = {, stesiam},
  title = {Συγκεντρωμένο υλικό για την R στα ελληνικά},
  date = {2022-10-23},
  url = {https://stesiam.com/el/posts/greek-material-for-r/},
  langid = {el}
}
Εναλλακτικά, μπορείτε να αναφερθείτε στο παραπάνω άρθρο ως εξής:
stesiam. 2022. “Συγκεντρωμένο υλικό για την R στα ελληνικά.” October 23, 2022. https://stesiam.com/el/posts/greek-material-for-r/.
]]> R Υλικο https://stesiam.com/el/posts/greek-material-for-r/ Sun, 23 Oct 2022 00:00:00 GMT Προβλέποντας την Ανεργία στην Ελλάδα stesiam https://stesiam.com/el/posts/forecasting-greek-unemployment/

Εισαγωγή

Υπόβαθρο

Η ανεργία αποτελεί ένα χρόνιο πρόβλημα της χώρας μας, καθώς ιστορικά τα τελευταία 25 χρόνια είναι σε υψηλότερα επίπεδα του ευρωπαϊκού μέσου και τις χώρες του ΟΟΣΑ. Το φαινόμενο επιδεινώθηκε τα χρόνια της οικονομικής κρίσης όπου στις χειρότερες στιγμές της το ένα τέταρτο του εργατικού δυναμικού δεν μπορούσε να βρει εργασία. Ακόμα χειρότερη ήταν η κατάσταση για τους νέους της χώρας μιας και η νεανική ανεργία ανήλθε στο 46% , η οποία είναι και χειρότερη επίδοση στην ΕΕ.

Πριν ξεκινήσουμε να αναλύουμε, κρίνω σημαντικό να αποσαφηνίσουμε τι σημαίνει ακριβώς ο όρος «άνεργος». Ο ορισμός είναι πιο αυστηρός και δεν αρκεί απλώς να μην εργάζεσαι. Για να χαρακτηριστεί κάποιος άνεργος πρέπει να πληροί τρία κριτήρια ταυτόχρονα: να μην εργάζεται, να είναι διαθέσιμος για εργασία και να την αναζητά ενεργά. Έτσι εξαιρούνται από τον υπολογισμό σπουδαστές, συνταξιούχοι και γενικότερα όσοι δεν συμμετέχουν στο εργατικό δυναμικό. Το ποσοστό ανεργίας προκύπτει τότε ως: Για να υπολογιστεί το ποσοστό ανεργίας:

Βέβαια, για να υπολογιστεί ο αριθμός των ανέργων είναι αρκετά δύσκολο για διάφορους λόγους όπως την ύπαρξη της υποαπασχόλησης ή εποχικής εργασίας. Υπάρχουν δύο μεθοδολογίες για τον καθορισμό τους. Ο πιο εύκολος τρόπος είναι η καταγραφή τους με βάσει τον αριθμό επιδομάτων ανεργίας που δίνονται από τη ΔΥΠΑ (πρώην ΟΑΕΔ). Το πρόβλημα είναι ότι οι προϋποθέσεις για την λήψη τέτοιου επιδόματος είναι οι:

  • Απαιτείται απόλυση και όχι παραίτηση
  • 125 μέρες εργασίας τους τελευταίους 14 μήνες (δεν υπολογίζονται οι δύο τελευταίοι μήνες)
  • Μη επιδότηση για άνω των 400 ημέρων (ανά 4ετία ανεργίας)

Με δεδομένο ότι το επίδομα ανεργίας έχει κάποια αυστηρά σχετικά κριτήρια, το ποσοστό ενδέχεται να υποεκτιμάται σημαντικά, αν ο υπολογισμός βασίζεται στα επιδόματα ανεργίας που δίνει το κράτος. Όσοι παραιτούνται ή δεν έχουν συμπληρώσει το κατώτατο όριο ημερών εργασίας δεν «φαίνονται» ως άνεργοι. Επιπλέον, υπάρχει σημαντικό ποσοστό αδήλωτης εργασίας ή πρόσκαιρης εργασίας η οποία γίνεται εκτός εργασιακού πλαισίου. Για αυτό πολλές οντότητες ή εθνικοί στατιστικοί οργανισμοί έχουν καθιερώσει να μετρούν την ανεργία μέσω έρευνας η οποία δίνει μία πιο αντιπροσωπευτική εικόνα της ανεργίας.

Συνοπτική Απάντηση

Σε αυτό το άρθρο έχω ως σκοπό τη πρόβλεψη της πορείας της ανεργίας τους επόμενους μήνες. Έτσι λοιπόν πήρα κάποια ιστορικά δεδομένα για την ανεργία στην ΕΕ, τον ΟΟΣΑ και την χώρα μας. Θα χρησιμοποιήσω ένα απλό μοντέλο (S)ARIMA, προκειμένου να κάνω μία εκτίμηση του μεγέθους της τους επόμενους μήνες. Τα δεδομένα που χρησιμοποιώ κυμαίνονται από τη περίοδο του 1998 μέχρι και το 2022. Αν θέλετε μία γρήγορη απάντηση, στη συγκεκριμένη ανάλυση προβλέπω ότι η πτωτική τάση της ανεργίας αναμένεται να συνεχιστεί τους επόμενους μήνες. Τον Φεβρουάριο του 2023, αυτή θα κυμαίνεται μεταξύ του 10% - 13%.

Οι χρονοσειρές με μοντέλα ARIMA πολλές φορές αναφέρονται και ως χρονοσειρές Box-Jenkins.

Προαπαιτούμενα

Εισαγωγή βιβλιοθηκών

Για την ανάλυση αυτή θα χρειαστούμε τυπικές βιβλιοθήκες για την εισαγωγή και την επεξεργασία των δεδομένων μου, όπως οι readr (Wickham, Hester, & Bryan, 2025) και dplyr (Wickham, François, Henry, Müller, & Vaughan, 2023). Το πακέτο kableExtra (Zhu, 2024) χρησιμοποιήθηκε για την αποτύπωση των αποτελεσμάτων σε μορφή πίνακα, ενώ το πακέτο flextable (Gohel & Skintzos, 2025) χρησιμοποιήθηκε για τους πίνακες των αποτελεσμάτων των τεστ Dickey-Fuller και KPSS.

Στη συνέχεια, λόγω της φύσης των δεδομένων (χρονοσειρές) κρίθηκε απαραίτητη η χρήση σχετικών βιβλιοθηκών όπως τα πακέτα lubridate(Spinu, Grolemund, & Wickham, 2024), tseries(Trapletti & Hornik, 2026) & forecast(R. Hyndman κ.ά., 2026).

Τέλος, χρησιμοποιήθηκε το highcharter, ώστε να δημιουργήσω βασικά τα διαγράμματα pacf, acf μέσω ραβδογραμμάτων και κάποια διαγράμματα πρόβλεψης τάσης της ανεργίας με απλά γραφήματα γραμμών.

Κώδικας

Εισαγωγή δεδομένων

Αφού συμπεριλάβω τις απολύτως απαραίτητες βιβλιοθήκες, μπορώ να εισάγω τα δεδομένα μου, μέσω της βιβλιοθήκης readr. Το αρχείο δεδομένων μου είναι ένα τυπικό αρχείο csv και για την χρήση αυτού θα χρησιμοποιήσω την εντολή read_csv(). Το αρχείο περιέχει δεδομένα ανεργίας

Κώδικας
unemployment <- read_csv("data/unemployment.csv") %>%
  select(LOCATION, TIME, Value) %>% filter(LOCATION != "EA19")

Ορισμός συναρτήσεων

Προκειμένου να αποφύγω την επανάληψη του κώδικά μου θα ορίσω και μερικές συναρτήσεις. Αρχικά, θέλω να έχω πίνακες που βασίζονται στη βιβλιοθήκη reactable με ορισμένες αλλαγές στην εμφάνιση για να φαίνονται ωραία. Για αυτό σε πολλούς πίνακες θα δείτε χρήση της reactable_custom αντί απλώς της reactable εντολής.

Κώδικας
gt_custom <- function(data, head_max = 5, use_labels = TRUE) {
    
    data_subset <- as.data.frame(data) %>% head(head_max)
    
    gt_tbl <- data_subset %>%
        gt() %>%
        cols_align(align = "center", columns = everything()) %>%
        tab_style(
            style = cell_text(
                v_align = "middle",
                weight = "bold",
                whitespace = "normal"
            ),
            locations = cells_column_labels()
        ) %>%
        tab_options(
            row.striping.include_table_body = FALSE,
            table.background.color = "transparent",
            column_labels.background.color = "transparent",
            table.width = pct(100), 
            table.font.size = px(13),           
            data_row.padding = px(15), 
            column_labels.padding = px(15),
            table.border.top.style = "none",
            table.border.bottom.style = "none",
            table_body.hlines.style = "none", 
            column_labels.border.top.width = px(2),
            column_labels.border.top.color = "#757575",
            column_labels.border.bottom.width = px(2),
            column_labels.border.bottom.color = "#757575",
            table_body.border.bottom.width = px(2),
            table_body.border.bottom.color = "#757575"
        ) %>%
        opt_css(css = "
      .gt_table th, .gt_table td { 
        text-align: center !important; 
        vertical-align: middle !important;
      }
      .gt_table { 
        margin-left: auto !important; 
        margin-right: auto !important; 
        width: 100% !important;
      }
      .gt_table tr { background-color: transparent !important; }
      .gt_row { background-color: transparent !important; }
    ")
    
    # Apply labels only if requested
    if (use_labels) {
        gt_tbl <- gt_tbl %>%
            cols_label_with(
                fn = function(x) {
                    html(paste0(
                        "<b>", greek_labels[x], "</b>",
                        "<br><span style='font-size:10px; color:#777; font-style:italic;'>",
                        x,
                        "</span>"
                    ))
                }
            )
    }
    
    return(gt_tbl)
}

reactable_custom = function(data, head_max = 5){
  reactable(
  head(data, head_max),
  bordered = FALSE,     # No borders (booktabs style)
  striped = FALSE,      # No stripes for a clean look
  highlight = FALSE,    # No hover highlighting
  defaultColDef = colDef(align = "center"),
  style = list(fontSize = "14px", border = "none"),
  theme = reactableTheme(
    borderColor = "transparent", # Remove border
    cellStyle = list(
      borderBottom = "transparent"  # Subtle line between rows
    ),
    headerStyle = list(
      borderBottom = "2px solid rgb(117, 117, 117)", # Thick top rule
      borderTop = "2px solid rgb(117, 117, 117)",
      fontWeight = "bold"
    )
  )
) 
}

Επιπλέον, έχω γράψει και άλλες δύο συναρτήσεις για τη κατασκευή διαγραμμάτων αυτοσυσχέτισης (ACF) και μερικής αυτοσυσχέτισης (pACF). Τις έχω ονομάσει acf_plot_function και pacf_plot_function αντίστοιχα. Και οι δύο συναρτήσεις βασίζονται στη βιβλιοθήκη highcharter για τη δημιουργία των αντίστοιχων διαγραμμάτων.

Κώδικας
acf_plot_function = function(data, min = -1, max = 1, title_text = NULL,
                             subtitle_text = NULL){
  ts_data <- data
  N <- length(ts_data)

# Compute confidence limit
conf_limit <- qnorm(0.975) / sqrt(N)

# Use forecast::Acf (biased estimator, recommended for ARIMA)
acf_obj <- acf(ts_data, plot = FALSE, lag.max = 20)

# Extract lags and values
# Note: Acf() returns acf_obj$acf as a matrix; acf_obj$lag as a matrix
lags_acf <- as.numeric(acf_obj$lag[-1])             # skip lag 0
acf_values <- as.numeric(acf_obj$acf[-1])           # skip lag 0

# Build the highcharter ACF plot
acf_chart <- highchart() %>%
  hc_chart(type = "column") %>%
  hc_title(text = title_text) %>%
  hc_subtitle(text = subtitle_text) %>%
  hc_xAxis(categories = lags_acf, title = list(text = "# Υστέρηση")) %>%
  hc_yAxis(min = min, max = max,
    title = list(text = "ACF"),
    plotLines = list(
      list(value = 0, color = "#000000", width = 3),
      list(value = conf_limit, color = "#FF0000", dashStyle = "ShortDash", width = 1),
      list(value = -conf_limit, color = "#FF0000", dashStyle = "ShortDash", width = 1)
    )
  ) %>%
  hc_legend(enabled = FALSE) %>%
  hc_add_series(name = "ACF", data = round(acf_values, digits = 4))

# Show chart
  acf_chart
}

pacf_plot_function <- function(data, min = -1, max = 1, title_text = NULL,
                             subtitle_text = NULL) {
  ts_data <- data
  N <- length(ts_data)
  
  # Compute confidence limit (same formula as for ACF)
  conf_limit <- qnorm(0.975) / sqrt(N)
  
  # Compute PACF using forecast::Pacf (biased estimator, recommended for ARIMA)
  pacf_obj <- forecast::Pacf(ts_data, plot = FALSE, lag.max = 20)
  
  # Extract lags and PACF values
  lags_pacf <- as.numeric(pacf_obj$lag)  # already excludes lag 0
  pacf_values <- as.numeric(pacf_obj$acf)
  
  # Build the highcharter PACF plot
  pacf_chart <- highcharter::highchart() %>%
    highcharter::hc_chart(type = "column") %>%
  hc_title(text = title_text) %>%
  hc_subtitle(text = subtitle_text) %>%
    highcharter::hc_xAxis(categories = lags_pacf, title = list(text = "# Υστέρηση")) %>%
    highcharter::hc_yAxis(
      min = min, max = max,
      title = list(text = "PACF"),
      plotLines = list(
        list(value = 0, color = "#000000", width = 3),
        list(value = conf_limit, color = "#FF0000", dashStyle = "ShortDash", width = 1),
        list(value = -conf_limit, color = "#FF0000", dashStyle = "ShortDash", width = 1)
      )
    ) %>%
    highcharter::hc_legend(enabled = FALSE) %>%
    highcharter::hc_add_series(name = "PACF", data = round(pacf_values, digits = 4))
  
  # Show chart
  pacf_chart
}

Δομή δεδομένων

Το αρχείο περιέχει δεδομένα ανεργίας για διάφορες χώρες ή οντότητες χωρών όπως η Ευρωπαϊκή Ένωση και οι χώρες του ΟΟΣΑ (Οργανισμός Οικονομικής Συνεργασίας και Ανάπτυξης), γεγονός που μας επιτρέπει να συγκρίνουμε την ανεργία της Ελλάδας με αυτή των υπολοίπων αναπτυγμένων οικονομιών.

Λογότυπο ΟΟΣΑ

O ΟΟΣΑ (Οργανισμός Οικονομικής Συνεργασίας και Ανάπτυξης είναι ένας διεθνής οργανισμός στον οποίο συμμετέχουν 38 χώρες. Πιο συγκεκριμένα, η Αυστραλία, η Αυστρία, το Βέλγιο, η Γαλλία, η Γερμανία, η Δανία, η Ελβετία, η Ελλάδα, η Εσθονία, οι Ηνωμένες Πολιτείες Αμερικής, το Ηνωμένο Βασίλειο, η Ιαπωνία, η Ιρλανδία, η Ισλανδία, η Ισπανία, το Ισραήλ, η Ιταλία, ο Καναδάς, η Κολομβία, η Νότια Κορέα, η Κόστα Ρίκα, η Λετονία, η Λιθουανία, το Λουξεμβούργο, το Μεξικό, η Νέα Ζηλανδία, η Νορβηγία, η Ολλανδία, η Ουγγαρία, η Πολωνία, η Πορτογαλία, η Σλοβακία, η Σλοβενία, η Σουηδία, η Τουρκία, η Τσεχία, η Φινλανδία και η Χιλή. Αποτελείται από μία ομάδα χωρών που: - θεωρούνται αναπτυγμένες - με αντιπροσωπευτική δημοκρατία και - οικονομία ελεύθερης αγοράς

Πίνακας 1: Προεπισκόπηση δεδομένων (πρώτες 6 σειρές)
Οντότητα
LOCATION 		Μήνας
TIME 		Παρατήρηση
Value
GRC 1998-04 10.9
GRC 1998-05 11.0
GRC 1998-06 10.9
GRC 1998-07 11.0
GRC 1998-08 11.2

Τα δεδομένα μου αποτελούνται από 3 μεταβλητές (στήλες). Πιο συγκεκριμένα οι στήλες μου είναι οι εξής:

Μεταβλητή Τύπος Μεταβλητής Περιγραφή
LOCATION Ποιοτική
(κατηγορική)		 Χώρα ή Οντότητα χωρών
TIME Ποιοτική
(διατάξιμη)		 Μήνας-Έτος που αναφέρεται η μέτρηση
Value Ποσοτική
(συνεχής)		 Ύψος ανεργίας (βάσει περιοχής και μήνα)

Συνεπώς, το δείγμα μου αποτελείται από 3 μεταβλητές, εκ των οποίων οι δύο είναι ποιοτικές και μία ποσοτική που είναι και η τιμή που θέλω να προβλέψω (ανεργία). Σε αυτό το σημείο ίσως να πρέπει να τονιστεί ότι στη μεταβλητή LOCATION έχει τρεις τιμές, την Ελλάδα, τις χώρες του ΟΟΣΑ και τις χώρες των 27 Ευρωπαϊκών χωρών. Τέλος, όσον αφορά τη κατηγοριοποίηση της μεταβλητής του χρόνου, καθώς οι τιμές μου έχουν τη μορφή μήνα-έτος (μμ/ετος), δεν είναι ξεκάθαρο το είδος της. Θα μπορούσαμε να τη χωρίσουμε σε δύο επιπλέον μεταβλητές όπου η μία να είναι το έτος και να τη χαρακτηρίσουμε ως μία ποσοτική μεταβλητή και ο μήνας μία ποιοτική διατάξιμη μεταβλητή.

Προεπεξεργασία χρονοσειρών

Η μεταβλητή που δηλώνει το μήνα για τον οποίο αναφέρεται η αντίστοιχη ανεργία (TIME) αναγνωρίζεται αυτόματα ως ένα διάνυσμα χαρακτήρων. Ένα από τα πρώτα πράγματα που πρέπει να κάνουμε όταν χειριζόμαστε δεδομένα που δηλώνουν διάστημα χρόνου είναι να τα μετατρέψουμε στο αντίστοιχο είδος μεταβλητής, που στην R, αυτό το είδος καλείται Date. Ο παρακάτω πίνακας δηλώνει τις υπάρχουσες μεταβλητές, καθώς και το είδος το οποίο τους έχει αποδοθεί αυτόματα με βάση τις τιμές που περιέχουν. Η R έκανε καλή δουλειά και εντόπισε ότι η μεταβλητή Value πρόκειται για ένα διάνυσμα αριθμών μιας και αντιπροσωπεύει το ύψος της ανεργίας. Η αντιστοίχιση των τριών ονοτήτων είναι και αυτή σωστή μιας και αναφερόμαστε σε ονόματα αυτών και άρα θα είναι ένα διάνυσμα χαρακτήρων.

Κώδικας
map_chr(unemployment, class) %>% 
  enframe("Όνομα μεταβλητής", "Τύπος μεταβλητής") %>%
  gt_custom(use_labels = FALSE)
Πίνακας 2: Σύνοψη τύπων μεταβλητών (χωρίς προεπεξεργασία)
Όνομα μεταβλητής Τύπος μεταβλητής
LOCATION character
TIME character
Value numeric

Παραπάνω επισημάνθηκε ότι οι ημερομηνίες έχουν την μορφή “ΕΕΕΕ-ΜΜ” (Έτος-Μήνας) και από το λογισμικό αναγνωρίστηκαν αυτόματα ως χαρακτήρες. Με τη βοήθεια του πακέτου lubridate θα μετατρέψω τη μεταβλητή του χρόνου σε τύπου Date. Και αφού κάναμε τη μετατροπή, αν ελέγξουμε άλλη μία φορά θα δούμε ότι η αλλαγή ήταν επιτυχημένη, με τη μεταβλητή να έχει τύπο Date.

Κώδικας
unemployment <- unemployment %>%
  mutate(TIME = ym(TIME))

unemploymentType <- unemployment %>%
  mutate(TIME = yearmonth(TIME)) %>%
  as_tsibble(index = TIME, key = LOCATION)

map_chr(unemployment, class) %>% 
  enframe("Όνομα μεταβλητής", "Τύπος μεταβλητής") %>%
  gt_custom(use_labels = FALSE)
Πίνακας 3: Σύνοψη τύπων μεταβλητών (μετά από προεπεξεργασία)
Όνομα μεταβλητής Τύπος μεταβλητής
LOCATION character
TIME Date
Value numeric

Ελλείπουσες τιμές

Κώδικας
sum(is.na(unemployment))

Ούφ! Έχουμε κάποια καλά νέα. Σε αυτό το σύνολο δεδομένων υπάρχουν συνολικά 0 ελλείπουσες τιμές. Σε περίπτωση που το σύνολό μου έλειπαν παρατηρήσεις θα έπρεπε να ερευνήσω σε πρώτη φάση ποια από τις μεταβλητές αυτές παρατηρήθηκαν. Σε δεύτερη φάση και αναλόγως του τύπου της μεταβλητής θα έπρεπε είτε να διώξω εντελώς εκείνες τις σειρές - παρατηρήσεις ή θα μπορούσα να προσπαθήσω με διάφορες μεθόδους να προβλέψω τις τιμές τους.

Περιγραφικά στοιχεία

Τα δεδομένα της ανεργίας για την Ελλάδα αναφέρονται στη περίοδο του Απριλίου του 1998 μέχρι και τον Αύγουστο του 2022. Όσον αφορά τα δεδομένα της ΕΕ, ξεκινάνε από τον Ιανουάριο του 2000 μέχρι και τον Αύγουστο το 2022. Τα τελευταία 20 χρόνια έχουν γίνει σοκαριστικά μεγάλες αλλαγές όσον αφορά το ποσοστό ανεργίας στη χώρα μας με την πιο απότομη μεταβολή να σημειώνεται τις περιόδους τις οικονομικής κρίσης (μετά το 2009). Ενδεικτικά μπορούμε να παρατηρήσουμε τη διαφορά στο ύψος της ανεργίας μεταξύ του Σεπτεμβρίου του 2010, που ήταν στο 10% και τρία χρόνια αργότερα, τον Σεπτέμβριο του 2013, έφτασε στο 28.1%. Για λόγους πληρότητας παρακάτω επισυνάπτονται πίνακες που δείχνουν τους 5 μήνες με τη μεγαλύτερη και τη μικρότερη ανεργία στην Ελλάδα και στην Ευρώπη τα τελευταία 20 χρόνια.

Κώδικας
unemploymentType$TIMEchr <- format(unemploymentType$TIME, "%Y %b")

unemploymentType %>% 
  as.tibble() %>%
  dplyr::filter(LOCATION == "GRC") %>% 
  select(TIMEchr, Value) %>% 
  arrange(Value) %>%
  tail(5) %>%
  setNames(c("Μήνας", "Ποσοστό ανεργίας (%)")) %>%
  gt_custom(use_labels = FALSE)
unemploymentType %>% 
  as.tibble() %>%
  dplyr::filter(LOCATION == "EU27_2020") %>% 
  select(TIMEchr, Value) %>% 
  arrange(Value) %>%
  tail(5) %>%
  setNames(c("Μήνας", "Ποσοστό ανεργίας (%)")) %>%
  gt_custom(use_labels = FALSE)
Πίνακας 4: Υψηλότερα ποσοστά ανεργίας
(a) Ελλάδα
Μήνας Ποσοστό ανεργίας (%)
2013 Νοε 27.9
2013 Απρ 28.0
2013 Μαΐ 28.0
2013 Ιουλ 28.1
2013 Σεπ 28.1
(b) Ευρώπη των 27 (εκτός Ηνωμένου Βασιλείου)
Μήνας Ποσοστό ανεργίας (%)
2013 Ιουν 11.6
2013 Ιαν 11.7
2013 Φεβ 11.7
2013 Μαρ 11.7
2013 Απρ 11.7

Από την άλλη μεριά έχει ενδιαφέρον να παρατηρήσουμε και τις περιόδους με τη χαμηλότερη παρατηρούμενη ανεργία. Στην Ελλάδα αυτή η περίοδος ήταν λίγο πριν την οικονομική κρίση, το 2008, ενώ η Ευρώπη των 27 διανύει μία από τις καλύτερες περιόδους όσον αφορά την ανεργία, με ιστορικό χαμηλό 20ετίας, στο 6%.

Κώδικας
unemploymentType %>% 
  as.tibble() %>%
  dplyr::filter(LOCATION == "GRC") %>% 
  select(TIMEchr, Value) %>% 
  arrange(Value) %>%
  head(5) %>%
  setNames(c("Μήνας", "Ποσοστό ανεργίας (%)")) %>%
  gt_custom(use_labels = FALSE)
unemploymentType %>% 
  as.tibble() %>%
  dplyr::filter(LOCATION == "EU27_2020") %>% 
  select(TIMEchr, Value) %>% 
  arrange(Value) %>%
  head(5) %>%
  setNames(c("Μήνας", "Ποσοστό ανεργίας (%)")) %>%
  gt_custom(use_labels = FALSE)
Πίνακας 5: Χαμηλότερα ποσοστά ανεργίας
(a) Ελλάδα
Μήνας Ποσοστό ανεργίας (%)
2008 Μαΐ 7.4
2008 Ιουν 7.6
2008 Ιουλ 7.6
2008 Οκτ 7.6
2008 Ιαν 7.7
(b) Ευρώπη των 27 (εκτός Ηνωμένου Βασιλείου)
Μήνας Ποσοστό ανεργίας (%)
2022 Ιουλ 6.0
2022 Αυγ 6.0
2022 Απρ 6.1
2022 Μαΐ 6.1
2022 Ιουν 6.1

Όλα αυτά μπορούν να συνοψιστούν και στο παρακάτω διάγραμμα, όπου ξεχωρίζουν οι τεράστιες μεταβολές στη χώρα μας. Μπορούμε να διακρίνουμε ότι η κρίση του 2008 επηρέασε την ανεργία στην ΕΕ και γενικότερα σε όλο τον αναπτυγμένο κόσμο, μιας και υπάρχει μία ανοδική πορεία την ίδια περίοδο. Πλέον η ΕΕ επανήλθε, αλλά η Ελλάδα δεν έχει καταφέρει να φτάσει τα προ κρίσης επίπεδα, αν και η τάση είναι πτωτική.

Κώδικας
g = unemploymentType %>%
  as.data.frame() %>%
  mutate(Year = year(TIME)) %>%
  select(-TIME) %>%
  group_by(LOCATION, Year) %>%
  summarise(mean_unemployment = mean(Value), 
            .groups = "drop")


country_colors <- c("#000","#1f77b4","#2ca02c")

highchart() %>%
  hc_chart(type = "line") %>%   # clean white background
  hc_title(text = "Ποσοστό ανεργίας", style = list(fontSize = "20px", fontWeight = "bold")) %>%
  hc_subtitle(text = "Ανά χώρα / οντότητα (μέση ανεργία ανά έτος)", style = list(color = "#666")) %>%
  
  hc_xAxis(
    title = list(text = "Έτος"),
    gridLineWidth = 0,
    labels = list(style = list(fontSize = "12px"))
  ) %>%
  
  hc_yAxis(
    title = list(text = "Ανεργία (%)"),
    gridLineDashStyle = "ShortDot",  # subtle dashed grid
    labels = list(format = "{value} %", style = list(fontSize = "12px"))
  ) %>%
  
  hc_tooltip(
    shared = TRUE,
    valueDecimals = 2,
    valueSuffix = " %",
    borderColor = "#333333",
    backgroundColor = "#f9f9f9",
    style = list(fontSize = "13px")
  ) %>%
  
  hc_add_series(
    data = g,
    type = "line",
    hcaes(x = Year, y = mean_unemployment, group = LOCATION),
  ) %>%
  
  hc_plotOptions(
    series = list(
      lineWidth = 3,
      marker = list(enabled = FALSE, symbol = "circle"), # hide cluttered markers
      dataLabels = list(
        enabled = TRUE,
        formatter = JS("
          function() {
            if (this.point.index === this.series.data.length - 1) {
              return Highcharts.numberFormat(this.y, 1) + ' %';
            }
            return null;
          }"
        ),
        style = list(fontWeight = "bold", color = "#333")
      )
    )
  ) %>%
  
  hc_legend(
    enabled = TRUE,
    layout = "horizontal",
    align = "center",
    verticalAlign = "bottom"
  )
Σχήμα 1: Σύγκριση χρονοσειρών ανεργίας μεταξύ της Ελλάδας, των χωρών του ΟΟΣΑ και των 27 χωρών της Ευρώπης (λαμβάνοντας υπόψιν και την έξοδο του Ηνωμένου Βασιλείου από την ΕΕ)

Εξέταση τάσης και εποχικότητας

Στην ανάλυση χρονοσειρών είναι σημαντικό να ξεχωρίσουμε τις πηγές της διασποράς μιας χρονοσειράς και να διαπιστώσουμε από που προέρχεται αυτή. Οι χρονοσειρές έχουν τρία βασικά στοιχεία, τη τάση (), την εποχικότητα () και την τυχαιότητα (). Η τάση περιγράφει τη γενική κατεύθυνση που ακολουθεί η χρονοσειρά με το πέρασμα του χρόνου — ανοδική, καθοδική ή οριζόντια. Στη δική μας περίπτωση, για παράδειγμα, η απότομη άνοδος της ανεργίας μετά το 2009 αποτελεί χαρακτηριστικό παράδειγμα ισχυρής ανοδικής τάσης. Η εποχικότητα αναφέρεται σε μοτίβα που επαναλαμβάνονται με σταθερή περιοδικότητα παραδείγματος χάριν αν η ανεργία τείνει να αυξάνεται κάθε χειμώνα και να μειώνεται το καλοκαίρι, τότε μιλάμε για εποχική συνιστώσα. Τέλος, η τυχαιότητα (ή υπόλοιπο) είναι ό,τι απομένει αφού αφαιρεθούν η τάση και η εποχικότητα, δηλαδή οι απρόβλεπτες διακυμάνσεις που δεν μπορούν να αποδοθούν σε κάποιο συστηματικό μοτίβο, όπως για παράδειγμα η απότομη αύξηση της ανεργίας κατά τη διάρκεια της πανδημίας τον Μάρτιο του 2020.

Όπου: - δηλώνουν τα δεδομένα που έχουμε διαθέσιμα, - εποχική συνιστώσα - τάση χρονοσειράς - τυχαία συνιστώσα

Παρόμοια, το πολλαπλασιαστικό μοντέλο:

όπου τα στοιχεία που συνθέτουν τη χρονοσειρά πολλαπλασιάζονται, αντί να προστίθενται.

Κώδικας
decomp <- unemploymentType %>%
  model(stl = STL(Value)) %>%
  components() %>%
  as_tibble() %>%
  dplyr::filter(LOCATION == "GRC") %>%
  mutate(TIME = as.Date(TIME),
    trend = round(trend, 2),
    season_year = round(season_year, 4),
    remainder = round(remainder, 4)
  )

# Build highchart with multiple y-axes (stacked)
highchart(type = "stock") %>%
    hc_title(text = "Κατάτμηση χρονοσειράς σε τάση, εποχικότητα και θόρυβο") %>%
    hc_subtitle(text = "Τα ιστορικά δεδομένα της ανεργίας στην Ελλάδα δείχνουν ότι δεν υπάρχει κάποια ξεκάθαρη τάση. Επιπλέον, παρατηρούμε μία ανεμική εποχικότητα μέχρι το 2012, ενώ τα επόμενα χρόνια παρατηρείται εντονότερα το φαινόμενο αυτής.") %>%
    hc_caption(text="stesiam, 2023") %>%

    # Observed
    hc_add_series(decomp, "line", hcaes(x = datetime_to_timestamp(TIME), y = Value), name = "Παρατήρηση", yAxis = 0) %>%
    
    # Trend
    hc_add_series(decomp, "line", hcaes(x = datetime_to_timestamp(TIME), y = trend), name = "Τάση", yAxis = 1) %>%
    
    # Seasonal
    hc_add_series(decomp, "line", hcaes(x = datetime_to_timestamp(TIME), y = season_year), name = "Εποχικότητα", yAxis = 2) %>%
    
    # Random
    hc_add_series(decomp, "line", hcaes(x = datetime_to_timestamp(TIME), y = remainder), name = "Θόρυβος", yAxis = 3) %>%
    # 
    # # Define 4 stacked y-axes
  hc_yAxis_multiples(
  list(
    title = list(text = "Δεδομένα"),
    height = "25%", top = "0%",
    offset=0, labels = list(enabled = FALSE), gridLineWidth = 0),
  list(
    title = list(text = "Τάση"),
    height = "25%", top = "25%",
    offset=0, labels = list(enabled = FALSE), gridLineWidth = 0),
  list(
    title = list(text = "Εποχικότητα"),
    height = "25%", top = "50%",
    offset=0, labels = list(enabled = FALSE), gridLineWidth = 0),
  list(
    title = list(text = "Υπόλοιπο"),
    height = "25%", top = "75%",
    offset=0, labels = list(enabled = FALSE), gridLineWidth = 0)
) %>%
    hc_tooltip(shared = TRUE, valueDecimals = 2) %>%
    hc_rangeSelector(enabled = FALSE) %>%
    hc_scrollbar(enabled = FALSE) %>%
    hc_navigator(enabled = FALSE)
Σχήμα 2: Αποσύνθεση χρονοσειράς με τη μέθοδο STL

Από το παραπάνω γράφημα είναι πολύ σημαντικό να διακρίνουμε τον παράγοντα της εποχικότητας μιας και θέλω να ξέρω αν έχω να μελετήσω ένα μοντέλο χωρίς αυτή με χρονοσειρές ARIMA ή ένα αυτοπαλίνδρομο μοντέλο AR ή ένα μοντέλο κινούμενου μέσου MA. Αν τυχόν διαπιστώσω εποχικότητα θα πρέπει να χρησιμοποιήσω μοντέλο που τη συμπεριλαμβάνει όπως εποχικό ARIMA (SARIMA) είτε εποχικό αυτοπαλίνδρομο μοντέλο (SAR) ή ένα εποχικό MA. Η εποχικότητα βλέπω ότι δεν έχει το ίδιο μοτίβο σε όλη τη διάρκεια της χρονοσειράς. Μέχρι το 2004 η εποχικότητα κρίνεται αμελητέα, στη συνέχεια μέχρι το 2014 υπάρχουν ενδείξεις ασθενούς εποχικότητας Από το 2014 και έπειτα υπάρχουν η εποχικότητα είναι πιο έντονη από οποιαδήποτε άλλη περίοδο μετά το 1998. Αξίζει να σημειωθεί ότι όλες κατά προσέγγιση οι περισσότερες κορυφώσεις είναι τους μήνες Φεβρουάριο και Μάρτιο.

Έλαβα μία αμφιλεγόμενη εικόνα με ιστορικά μία αδύναμη εποχικότητα, η οποία υπάρχει σε μεγάλο βαθμό τα τελευταία χρόνια. Μία απλή μέθοδος για να πάρουμε μία σύντομη απάντηση είναι μέσω της εντολης nsdiffs του πακέτου {forecast}. Σε αυτή τη περίπτωση λάβαμε ως απόκριση μηδέν που με κάνει να υποθέτω πώς μάλλον η όποια εποχικότητα ήταν γενικά αδύναμη.

Κώδικας
grc_unemployment = unemployment %>% dplyr::filter(LOCATION == "GRC")
y = ts(grc_unemployment$Value, start = c(1998, 4), frequency = 12)
nsdiffs(y, test = "ch")
[1] 0
Κώδικας
data.frame(
  "Έλεγχος" = c("Canova-Hansen (CH)", 
                "OCSB", 
                "Εποχική Επιρροή (STL)"),
  "Τιμή" = c(NA, NA, 0.153),
  "Αποτέλεσμα" = c("Δεν απαιτείται εποχική διαφορά",
                   "Δεν απαιτείται εποχική διαφορά",
                   "Ασθενής εποχικότητα"),
  check.names = FALSE
) %>%
  gt_custom(use_labels = FALSE) %>%
  sub_missing(everything(), missing_text = "-")
Πίνακας 6: Αποτελέσματα διάφορων ελέγχων για αξιολόγηση εποχικότητας
Έλεγχος Τιμή Αποτέλεσμα
Canova-Hansen (CH) - Δεν απαιτείται εποχική διαφορά
OCSB - Δεν απαιτείται εποχική διαφορά
Εποχική Επιρροή (STL) 0.153 Ασθενής εποχικότητα

Έλεγχος για τομές (breaks)

Οι χρονoσειρές γενικότερα δεν είναι ένα μέτρο το οποίο μπορεί να ερμηνευτεί και συνεπώς να προβλεφθεί αξιόπιστα δίχως να λαμβάνουμε υπόψη μας διάφορους εξωγενείς παράγοντες. Στη δική μας περίπτωση μελετάμε και θέλουμε να προβλέψουμε την ανεργία στην χώρα μας τους επόμενους μήνες. Η αποστολή μας γίνεται ακόμα πιο δύσκολη αν αναλογιστούμε ότι δεν μπορούμε να το κάνουμε αυτό ικανοποιητικά, καθώς η χρονοσειρά δεν μπορεί να κατανοήσει τα μοτίβα των μεταβολών της και πώς αυτά προέκυψαν. Πολλές μεταβολές στη χρονοσειρά μπορεί να έχουν επέλθει από εξωτερικούς παράγοντες οι οποίοι να επηρεάζουν τον καθορισμό του μοντέλου μας. Έτσι είναι σημαντικό να καθορίσουμε αν υπάρχουν τέτοια διαρθρωτικά σημεία (structural breaks) - καθοριστικά γεγονότα που μπορεί να επηρέασαν την κίνηση της χρονοσειράς. Η περίπτωσή της Ελλάδας είναι μία τέτοια σύνθετη περίπτωση. Αυτά τα χρονικά σημεία θα μπορούσαν να είναι διάφορες ημερομηνίες όπου συνέβησαν σημαντικά γεγονότα που μπορεί να επηρέασαν τη συμπεριφορά της χρονοσειράς. Στην δική μας περίπτωση αναλύουμε την ανεργία της Ελλάδας η οποία εκτοξεύτηκε μετά την οικονομική κρίση του 2009 και στα μέσα αυτής είχαμε ιστορικό υψηλό. Επιπλέον, οι σειρές περιλαμβάνουν και τη περίοδο της πανδημίας που επηρέασε το συντελεστή ανεργίας.

Κώδικας
breakPoints  = summary(breakpoints(grc_unemployment$Value ~ 1, h = 0.15))

summaryBreakPoints = t(breakPoints[["RSS"]]) %>% as.data.frame() %>%
  mutate(across(everything()), round(., 2))

highchart() %>%
    hc_chart(type = "spline") %>%   # spline = smooth line
    hc_title(text = "Απόδοση ανά αριθμό διαρθρωτικών τομών") %>%
    hc_subtitle(text = "Το με βάση το Μπεύζιανό πληροφοριακό κριτήριο μας δηλώνει την ύπαρξη δύο διαρθρωτικών τομών. Όσο μικρότερος ο αριθμός, τόσο το καλύτερο.") %>%
    
    # custom colors (muted, professional palette)
    hc_colors(c("#0072B2", "#E69F00")) %>%
    
    # series
    hc_add_series(data = summaryBreakPoints$RSS, name = "RSS", lineWidth = 3) %>%
    hc_add_series(data = summaryBreakPoints$BIC, name = "BIC", lineWidth = 3) %>%
    
    # axes
    hc_xAxis(
        type = "integer",
        lineColor = "#e6e6e6",
        tickColor = "#e6e6e6",
        title = list(text = "(#) Αριθμός διαρθρωτικών τομών"),
        labels = list(style = list(color = "#333333", fontSize = "12px"))
    ) %>%
    hc_yAxis(
        title = list(text = "Τιμή"),
        gridLineColor = "#f0f0f0",
        labels = list(style = list(color = "#333333", fontSize = "12px"))
    ) %>%
    
    # tooltip
    hc_tooltip(
        shared = TRUE,
        crosshairs = TRUE,
        backgroundColor = "#ffffff",
        borderColor = "#cccccc",
        style = list(color = "#333333", fontSize = "12px"),
        xDateFormat = "%b %Y"
    ) %>%
    
    # plot options for styling
    hc_plotOptions(
        series = list(
            marker = list(enabled = FALSE, radius = 4, symbol = "circle"),
            states = list(hover = list(lineWidthPlus = 1))
        )
    ) %>%
    
    # legend
    hc_legend(
        align = "center",
        verticalAlign = "bottom",
        layout = "horizontal",
        itemStyle = list(fontSize = "13px", color = "#333333")
    )
Σχήμα 3: Διάγραμμα σφαλμάτων ανά αριθμό διαρθρωτικών τομών
Πίνακας 7: Πίνακας ένδειξης αριθμού τομών
Τομές RSS BIC
0 11913.47 1928.50
1 3255.88 1559.78
2 1356.96 1314.70
3 1243.73 1300.53
4 1207.46 1303.22
5 1146.21 1299.33

Υπάρχει αρκετά μεγάλη μείωση του Μπεϋζιανού κριτηρίου πληροφορίας (BIC) όταν μεταβαίνω από ένα μοντέλο με καμία διαρθρωτική τομή, σε ένα άλλο με δύο διαρθρωτικές τομές, με μικρότερη αυτή των τριών τομών. Αυτό είναι μία σημαντική ένδειξη ότι η ανεργία μου όντως επηρεάστηκε από ξαφνικούς παράγοντες. Φυσικά το υποψιαζόμασταν αυτό καθώς έχουμε τη περίοδο της κρίσης που συνετέλεσε σε υψηλά ποσοστά ανεργίας. Αφού καθορίσαμε τον αριθμό των τομών, είναι η στιγμή να καθορίσουμε ποια είναι τα κομμάτια που πρέπει να αναλυθούν, κοινώς να διαπιστώσουμε ποια είναι αυτά τα εύρη ημερομηνιών που εντοπίστηκε σημαντική διαφοροποίηση στη συμπεριφορά της χρονοσειράς. Σύμφωνα με τα αποτελέσματα έχω:

Κώδικας
bp <- breakPoints$breakpoints
max_breaks <- nrow(bp)

result <- matrix(NA, nrow = max_breaks, ncol = max_breaks)

for (i in 1:max_breaks) {
  
  # take non-NA values from row i
  valid_breaks <- bp[i, !is.na(bp[i, ])]
  
  # put them in first positions of row i
  result[i, 1:length(valid_breaks)] <- valid_breaks
}

cool_table <- as.data.frame(result)

colnames(cool_table) <- c("Τομή A", "Τομή B", "Τομή Γ",
                          "Τομή Δ", "Τομή Ε")[1:max_breaks]

cool_table <- cool_table %>%
  mutate("Αριθμός τομών" = 1:max_breaks) %>%
  select("Αριθμός τομών", everything())

cool_table %>%
    gt_custom(use_labels = FALSE) %>%
    sub_missing(everything(), missing_text = "-")
Πίνακας 8: Αποτελέσματα σημείων τομών, ανά αριθμό τομών (0 πίνακας διαβάζεται καλύτερα οριζόντια, ανά αριθμό τομών)
Αριθμός τομών Τομή A Τομή B Τομή Γ Τομή Δ Τομή Ε
1 155 - - - -
2 159 240 - - -
3 159 207 250 - -
4 45 159 207 250 -
5 48 119 162 207 250

και οι ημερομηνίες των αντίστοιχων τομών:

Κώδικας
start_date <- min(unemployment$TIME)

date_table <- cool_table %>%
    mutate(across(
        starts_with("Τομή"),
        function(x) {
            
            # create empty Date vector
            out <- as.Date(rep(NA, length(x)))
            
            # convert only non-NA entries
            idx <- which(!is.na(x))
            
            out[idx] <- start_date %m+% months(x[idx])
            
            return(out)
        }
    ))

date_table %>%
  gt_custom(use_labels = FALSE) %>%
  sub_missing(everything(), missing_text = "-")
Πίνακας 9: Αποτελέσματα ημερομηνιών των τομών, ανά αριθμό τομών (0 πίνακας διαβάζεται καλύτερα οριζόντια, ανά αριθμό τομών)
Αριθμός τομών Τομή A Τομή B Τομή Γ Τομή Δ Τομή Ε
1 2011-03-01 - - - -
2 2011-07-01 2018-04-01 - - -
3 2011-07-01 2015-07-01 2019-02-01 - -
4 2002-01-01 2011-07-01 2015-07-01 2019-02-01 -
5 2002-04-01 2008-03-01 2011-10-01 2015-07-01 2019-02-01

Γενικότερα, με βάση τα αποτελέσματα των σφαλμάτων θα επιλέξω είτε 2 ή 3 διαρθρωτικές τομές μιας και έχω σημαντική μείωση του κριτηρίου BIC σε αυτό τον αριθμό. Στη τρίτη τομή υπάρχει μία μικρή μείωση ενώ στην τέταρτη αυξάνεται Ας μελετήσουμε όμως τις προτεινόμενες τομές τους ξεχωριστά. Από τη μία το μοντέλο των 2 τομών προτείνει τομές τον Ιούνιο του 2011 και το Μάρτιο του 2018 και από την άλλη το μοντέλο των 3 τομών προτείνει τομές επίσης τον Ιούνιο του 2011, τον Ιούνιο του 2015 και τον Ιανουάριο του 2019. Γενικότερα δεν μπορούσα να αποφασίσω μόνος μου ποια ήταν μία καθοριστική στιγμή της κρίσης, καθώς αυτό είναι ενδεχομένως και λίγο υποκειμενική άποψη, για αυτό προτιμώ να το υπολογίσει το μοντέλο μου. Επιπλέον όλη η περίοδος ήταν αρκετά ταραχώδης και γεμάτη αρνητικές εξελίξεις που στη πραγματικότητα δεν μπορείς να καθορίσεις μία ξεκάθαρη τομή.

Κοιτώντας τις ημερομηνίες ενδεχομένως αυτή με τις τρεις τομές να είναι αυτή που βγάζει νόημα σε όσους το δουν. Το 2011 που είχαμε ήδη προβλήματα και τα οποία ήδη φαίνονται στο δείκτη της ανεργίας, το 2015 που είχαμε μία περίοδο αβεβαιότητας και τον Ιανουάριο του 2019, όπου η χώρα ανέκαμψε, με λίγους μήνες νωρίτερα να ανακοινώνει την έξοδο από τα μνημόνια, τον Αύγουστο του 2018.

Έλεγχος στασιμότητας

Ορισμός στασιμότητας

Μία σημαντική έννοια στις χρονοσειρές είναι η στασιμότητα. Μία χρονοσειρά καλείται στάσιμη (‘Applied Time Series Analysis’, χ.χ.) αν:

Εξέταση στασιμότητας γραφικά

Από αυτό το Σχήμα 1 είναι εμφανέστατο ότι η σειρά μας δεν κινείται γύρω από κάποια συγκεκριμένη τιμή, παραβιάζοντας την πρώτη προϋπόθεση για να θεωρηθεί μία χρονοσειρά στατική. Αυτό μας υποδεικνύει την ανάγκη χρήσης διαφορών πρώτης τάξης για την ανεργία της Ελλάδας. Από τη πρώτη διαφορά () παρατηρώ μεγάλη βελτίωση μιας και δεν έχουμε τις τεράστιες αποκλίσεις του προηγούμενου διαγράμματος. Οι τιμές ως επί το πλείστον δεν παρουσιάζουν κάποια τάση και κινούνται σε τιμές σχετικά κοντά στο μηδέν. Αυτό είναι ένα καλό στοιχείο, όμως έχω έναν ελαφρύ προβληματισμό καθώς υπάρχουν δύο σημεία στη χρονοσειρά με σχετικά μεγάλες αποκλίσεις από το μηδέν. Η πρώτη είναι μεταξύ των σημείων 120 και 170 καθώς η κύμανση γύρω από το μηδέν έχει ξεφύγει ελαφρώς, τα οποία αναφέρονται στη περίοδο μεταξύ 2008 και 2012 (κρίση & επιδείνωση οικονομικών δεικτών). Ένα άλλο ελαφρώς προβληματικό σημείο είναι το 266ο που αναφέρεται στο Μάρτιο - Απρίλιο του 2020 και στην θέσπιση περιορισμού μετακινήσεων για να περιοριστεί η μετάδοση του κορωνοϊού μιας και είχαν βρεθεί τα πρώτα κρούσματα στη χώρα μας.

Κώδικας
grc_unemployment = unemployment %>% dplyr::filter(LOCATION == "GRC")
grc_unemployment_diff1 <- diff(grc_unemployment$Value, differences = 1)

highchart() %>%
    hc_chart(type = "line") %>%
    hc_title(text = "Πρώτες διαφορές ανεργίας στην Ελλάδα") %>%
    hc_subtitle(text = "Οι διαφορές κυμάινονται στο 0, με εξάιρεση τα πρώτα χρόνια της ελληνικής κρίσης χρέους και με τον περιορισμό μετακινήσεων λόγω κορωνοϊού.") %>%
    hc_xAxis(title = list(text = "Χρονικό σημείο")) %>%
    hc_yAxis(title = list(text = "Διαφορά ανεργίας")) %>%
    hc_tooltip(shared = TRUE, valueDecimals = 2, valueSuffix = " %") %>%
    hc_add_series(
        data = grc_unemployment_diff1
    ) %>%
  hc_legend(enabled = FALSE)
Σχήμα 4: Χρονοσειρά διαφορών πρώτης τάξης της ανεργίας στην Ελλάδα

Λαμβάνοντας υπόψιν τους παραπάνω προβληματισμούς μου, έλαβα και τις δεύτερες διαφορές () και τις οπτικοποίησα. Το διάγραμμα είναι σχεδόν το ίδιο, με τις τιμές να κυμαίνονται στο μηδέν ακόμα και στο προβληματικό σημείο κοντά στο 150ο σημείο. Στις δεύτερες παρατηρήσεις παρατηρώ μία πιο συνεπή κύμανση γύρω από το μηδέν, αλλά ταυτόχρονα υπάρχει ακόμα μεγαλύτερη διαφορά απόκλιση στην έναρξη λήψης μέτρων κατά του κορωνοϊού στη χώρα μας (3.6% έναντι 2.6% των πρώτων διαφορών).

Κώδικας
grc_unemployment_diff2<- diff(grc_unemployment$Value, differences = 2)

highchart() %>%
    hc_chart(type = "line") %>%
    hc_title(text = "Δεύτερες διαφορές ανεργίας") %>%
    hc_subtitle(text = "Μία χρονοσειρά με πιο σταθερή κύμανση ως προς το μηδέν, αλλά αρκετά μεγάλη απόκλιση από αυτό σε ορισμένα σημεία.") %>%
    hc_xAxis(title = list(text = "Χρονικό σημείο")) %>%
    hc_yAxis(title = list(text = "Διαφορά (2) ανεργίας")) %>%
    hc_tooltip(shared = TRUE, valueDecimals = 2, valueSuffix = " %") %>%
    hc_add_series(
        data = grc_unemployment_diff2
    ) %>%
    hc_legend(enabled = FALSE)
Σχήμα 5: Χρονοσειρά διαφορών δεύτερης τάξης της ανεργίας στην Ελλάδα

Εξέταση στασιμότητας με στατιστικούς ελέγχους

Ο γραφικός έλεγχος της στασιμότητας είναι ένας αρκετά εύκολος τρόπος για να διαπιστώσουμε την ύπαρξη τάσεων ή αν η σειρά μας έχει γενικότερα σταθερή συμπεριφορά. Αν εξαιρέσουμε κάποιες αρκετά ξεκάθαρες περιπτώσεις, θα υπάρχουν φορές που πολλοί μπορεί να διαφωνήσουν ως προς τη στασιμότητα της σειράς απλώς από τη πορεία της. Αυτό είναι λογικό μιας και ως μέτρο είναι κατά κάποιο τρόπο υποκειμενικό μιας και βασίζεται στην άποψη / ερμηνεία του καθενός που θα δώσει στη κίνηση της χρονοσειράς. Έτσι λοιπόν η χρήση αυτού του τρόπου μπορεί να οδηγήσει σε μη συνεπείς ή σταθερές αποφάσεις μιας και ένα άτομο μπορεί να θεωρήσει μία ελαφριά αυξητική τάση που επανέρχεται ως στάσιμη σε και κάποιο άλλο άτομο να μεταφράσει το μοτίβο ως ισχνή αλλά υπαρκτή τάση. Σε αναλογία των ελέγχων κανονικότητας που έχουμε γραφικούς (quantile-quantile γράφημα) αλλά και στατιστικούς ελέγχους (έλεγχος Kolmogorov-Smirnov, έλεγχος Shapiro-Wilk), έτσι έχουμε ανάλογες εναλλακτικές και για τον έλεγχο στασιμότητας. Με αυτό το τρόπο μπορούμε να έχουμε ένα πιο αντικειμενικό κριτήριο για το αν οι σειρές μας είναι στάσιμες ή όχι. Κάποιοι από τους πιο γνωστούς ελέγχους στασιμότητας, οι οποίοι είναι γνωστοί και ως έλεγχοι μοναδιαίας ρίζας, είναι οι εξής:

  • Ο έλεγχος DF (Dickey - Fuller)
  • Ο έλεγχος ADF (Augmented Dickey - Fuller)
  • Ο έλεγχος ADF-GLS
  • Ο έλεγχος PP (Phillips - Perron)
  • Ο έλεγχος KPSS (Kwiatkowski - Phillips - Schmidt - Shin) και
  • Ο έλεγχος ZA (Zivot - Andrews)

Και κάπου εδώ ξεκινάει το χάος που άρχισα να συνειδητοποιώ όταν ξεκίνησα να μαθαίνω την R. Χρησιμοποιώντας μία γλώσσα προγραμματισμού δεν έχουμε ωραία μενού και κουτάκια με επιλογές για τον κάθε έλεγχο. Στην R αλλά και σε άλλες γλώσσες, όπως στη Python, υπάρχουν πακέτα που προσθέτουν λειτουργίες και δυνατότητες κάθε γλώσσας. Για τους ελέγχους στασιμότητας έχουν κατασκευαστεί αρκετά πακέτα της R, που επιτελούν παρόμοιο σκοπό. Κάποια αρκετά διάσημα πακέτα που προσφέρουν ελέγχους στασιμότητας είναι τα:

  • tseries
  • urca

Οκ. Ποιο από όλα όμως να διαλέξω; Έχουν διαφορά; Θα πρέπει να μελετήσουμε προσεκτικά τις επιλογές μας. Στα έτοιμα προγράμματα το λογισμικό λαμβάνει κάποιες λογικές αποφάσεις για εμάς ή μας δίνει τη δυνατότητα να διαλέξουμε κάποιες τιμές ή ελέγχους. Όταν κάνουμε αυτή τη μετάβαση σε μία γλώσσα προγραμματισμού έχουμε την ελευθερία να δούμε πώς προέκυψε αυτό το αποτέλεσμα (μελετώντας τον αντίστοιχο κώδικα του πακέτου). Αυτή η αυξημένη ελευθερία κινήσεων συνοδεύεται με αυξημένες ευθύνες από τη μεριά του αναλυτή αφού θα πρέπει να ελέγξει τι υπολογίζει το κάθε πακέτο, ποιες είναι οι δυνατότητές του και οι περιορισμοί του. Σε αυτή τη περίπτωση και τα τρία πακέτα και ειδικά τα δύο πρώτα, το tseries και το urca προωθούνται ως πακέτα που παρέχουν ελέγχους στασιμότητας, δηλαδή παρόμοια λειτουργικότητα . Εν συντομία, το πακέτο tseries με το οποίο έχω τη μεγαλύτερη εξοικείωση είναι αυτό που είναι αρκετά περιοριστικό. Παρά το γεγονός ότι πολλοί οδηγοί χρησιμοποιούν αυτό το πακέτο, συνειδητοποίησα ότι δεν μπορούσα να θέσω τα lags για τους ελέγχους ή να θέσω χαρακτηριστικά της χρονοσειράς, όπως αν έχει (αυξητική ή μειούμενη) τάση. Από την άλλη μεριά έχουμε το πακέτο urca, το οποίο απαντάει σε αυτούς τους περιορισμούς επιτρέποντας στους χρήστες να θέτουν τον αριθμό των lags καθώς και στοιχεία της χρονοσειράς. Το μοναδικό μειονέκτημα του urca πακέτου είναι η μη παροχή ενός p-value στα αποτελέσματα των ελέγχων του, το οποίο είναι και το πιο γνωστό μέτρο ερμηνείας των ελέγχων. Για τον έλεγχο της υπόθεσης υπολογίζεται η στατιστική τιμή και ελέγχεται με την αντίστοιχη κριτική τιμή και αν η στατιστική τιμή είναι μεγαλύτερη της τελευταίας τότε ο έλεγχος απορρίπτεται στο αντίστοιχο επίπεδο σημαντικότητας.

Σύνοψη αποτελεσμάτων

Συνοψίζοντας τα αποτελέσματα των στατιστικών ελέγχων στασιμότητας συμπεραίνω ότι οι παρατηρήσεις της ανεργίας στην Ελλάδα δεν μπορούν να χαρακτηριστούν ως στάσιμες. Επιπλέον, όλοι οι κλασσικοί έλεγχοι συμφωνούν στη ύπαρξη στασιμότητας στις διαφορές πρώτης και δεύτερης τάξης.

Πίνακας 10: Σύνοψη αποτελεσμάτων ελέγχων στασιμότητας
Έλεγχος Αποτέλεσμα Στασιμότητα έχω...
ADF I(1) πρώτη διαφορά
PP I(1) πρώτη διαφορά
KPSS I(1) πρώτη διαφορά
ZA I(1) πρώτη διαφορά
LS I(1) πρώτη διαφορά

Έλεγχος DF

Ο έλεγχος Dickey - Fuller είναι ένας από τους πιο απλούς ελέγχους μοναδιαίας ρίζας για να διαπιστώσουμε τη στασιμότητα ή μη μίας χρονοσειράς. Αυτός ο έλεγχος βασίζεται στο αυτοπαλίνδρομο μοντέλο πρώτης τάξης, :

Φωτογραφία του φυσικού - στατιστικού (Sir) Gilbert Walker

Ο (Sir) Gilbert Thomas Walker (Ηνωμένο Βασίλειο, 1868 - 1958) είναι φυσικός και στατιστικός, με σπουδές στο Trinity College του Πανεπιστημίου του Cambridge όπου αναδείχτηκε κορυφαίος προπτυχιακός φοιτητής το 1889. Κατά τη θητεία του στην Ινδική Μετεωρολογική Υπηρεσία ανέπτυξε τις εξισώσεις Yule-Walker (μαζί με τον George Udny Yule) που σήμερα αποτελούν βασικό εργαλείο για τα αυτοπαλίνδρομα (AR) μοντέλα. Με αυτές τις μεθόδους κατάφερε να προβλέψει σωστά τα μοτίβα των μουσώνων.

Πηγή φωτογραφίας: Wikimedia Commons, 2021 - Άδεια χρήσης: Public Domain (δημοσιεύτηκε το 1925). Για τη πρωτότυπη φωτογραφία μπορείτε να πατήσετε τον σύνδεσμο

Όπου είναι η τιμή της χρονοσειράς και το ο όρος του σφάλματος. Δηλαδή είναι μία χρονοσειρά που η τιμές της επηρεάζονται - εξαρτώνται από τις προηγούμενες τιμές της.

Ο έλεγχος έχει συγκεκριμένες παραλλαγές οι οποίες βασίζονται στη συμπεριφορά της εκάστοτε χρονοσειράς. Πιο συγκεκριμένα υπάρχουν τρεις παραλλαγές:

  • Χωρίς σταθερό όρο και χωρίς τάση, όπου η χρονοσειρά κινείται γύρω από το μηδέν και έχει τη μορφή που γράψαμε παραπάνω:

  • Με σταθερό όρο, όταν η χρονοσειρά κινείται γύρω από μία σταθερή τιμή (διάφορη του μηδενός) : και

  • Με σταθερό όρο και τάση, όταν η χρονοσειρά φαίνεται με το πέρασμα του χρόνου να έχει πτωτική ή αυξανώμενη πορεία: Ο συγκεκριμένος έλεγχος έχει κάποια προβλήματα στην εφαρμογή μιας και κάνει υποθέσεις:

  • η σειρά μας βασίζεται σε ένα αυτοπαλίνδρομο μοντέλος

  • τα σφάλματα είναι ομοσκεδαστικά και

  • τα σφάλματα είναι ασυσχέτιστα

Η σειρά είναι καταφανώς μη στάσιμη στις πρωτότυπες παρατηρήσεις, ενώ παρατηρείται εξάλειψη της τάσης στις διαφορές πρώτης τάξης. Για αυτό το λόγο θα ελέγξω και τις υποθέσεις που κάνει ο έλεγχος Dickey - Fuller απλώς για να διαπιστώσουμε και στην πράξη ότι αυτός ο έλεγχος έχει κάποιες σημαντικές αδυναμίες. Αρχικά θα ελέγξω την υπόθεση των αυτοσυσχέτιστων σφαλμάτων. Αρχικά θα κατασκευάσω ένα μοντέλο παλινδρόμησης με βάση τους τύπους του DF. Στη περίπτωση των πρώτων διαφορών έχω εξαλείψει την τάση, ενώ και ο σταθερός όρος είναι γύρω από το μηδέν. Συνεπώς, θα κατασκευάσω ένα μοντέλο της πρώτης περίπτωσης:

Κώδικας
y = grc_unemployment$Value
dy <- diff(y)

# DF regression without intercept (because Δy ~ 0)
y_lag <- y[-length(y)]       # y_{t-1} aligned with dy
mod <- lm(dy ~ y_lag + 0)    # 0 = no intercept
#summary(mod)

Tdy <- length(dy)
h <- floor(sqrt(Tdy))
res_ljung = Box.test(residuals(mod), type="Ljung-Box", lag=h)
dwtest_res = dwtest(mod)
arch_res = ArchTest(residuals(mod), lags = 12)  

result_table <- data.frame(
    "Έλεγχος" = c("Ljung-Βοχ","Durbin-Watson", "Έλεγχος ARCH"),
    "Στατιστική Τιμή" = c(round(res_ljung[["statistic"]][[1]], 3),
                          round(dwtest_res[["statistic"]][[1]], 3),
                          round(arch_res[["statistic"]][[1]], 3)),
    "Βαθμοί ελευθερίας" = c(res_ljung$parameter, 
                            "-",
                            arch_res$parameter),
    "p value" = c("<0.0001",
                  round(dwtest_res$p.value, 4),
                  round(arch_res$p.value, 6)),
    check.names = FALSE
)

result_table %>% gt_custom(use_labels = FALSE)
Πίνακας 11: Έλεγχος υποθέσεων σφαλμάτων (αυτοσυσχέτισης & ομοσκεδαστικότητας)
Έλεγχος Στατιστική Τιμή Βαθμοί ελευθερίας p value
Ljung-Βοχ 158.036 17 <0.0001
Durbin-Watson 1.655 - 0.0015
Έλεγχος ARCH 39.874 12 7.5e-05

Από τους ελέγχους Ljung-Box και Durbin-Watson, απορρίπτω την υπόθεση ότι τα σφάλματα είναι ασυσχέτιστα. Τέλος, από τον έλεγχο ARCH προκύπτει ότι τα σφάλματα δεν είναι ομοσκεδαστικά (διαφορετική διακύμανση). Από αυτά είναι εμφανές ότι ο έλεγχος DF δεν είναι καλός και συνήθως δεν χρησιμοποιείται, καθώς οι υποθέσεις του είναι αρκετά περιοριστικές και συνήθως παραβιάζονται. Οι έλεγχοι όπως ο ADF και ο PP αντιμετωπίζουν με διάφορους τρόπους αυτή τη συμπεριφορά των σφαλμάτων, προκειμένου να λάβουμε έγκυρα αποτελέσματα κατά τη κρίση της στασιμότητας μίας σειράς.

Έλεγχος ADF

Ένας απο τους πιο χρησιμοποιούμενους ελέγχους μοναδιαίας ρίζας - στασιμότητας είναι ο επαυξημένος έλεγχος ADF (Augmented Dickey - Fuller) και αποτελεί γενίκευση του απλού ελέγχου Dickey - Fuller, μιας και εξαρτάται από ένα αυτοπαλίνδρομο μοντέλο μεγαλύτερης τάξης (). Δηλαδή εννοούμε ότι η τιμή της χρονοσειράς δεν εξαρτάται μόνο από τη προηγούμενη τιμή της αλλά και από άλλες προηγούμενες. Ένα αυτοπαλίνδρομο μοντέλο τάξης έχει την εξής μορφή:

Αντίστοιχα με τον απλό έλεγχο Dickey-Fuller υπάρχουν ορίζονται παραλλαγές οι οποίες βασίζονται στη συμπεριφορά της εκάστοτε χρονοσειράς:

  • Χωρίς σταθερό όρο και χωρίς τάση, όπου η χρονοσειρά κινείται γύρω από το μηδέν και έχει τη μορφή που γράψαμε παραπάνω:
  • Με σταθερό όρο, όταν η χρονοσειρά κινείται γύρω από μία σταθερή τιμή (διάφορη του μηδενός) :

και - Με σταθερό όρο και τάση, όταν η χρονοσειρά φαίνεται με το πέρασμα του χρόνου να έχει πτωτική ή αυξανώμενη πορεία: Ο έλεγχος ADF έχει την εξής μορφή υποθέσεων: Δηλαδή, αν τα αποτελέσματά μου απορρίψουν τη μηδενική υπόθεση τότε αυτό μας υποδεικνύει ότι η χρονοσειρά είναι στάσιμη. Ας εφαρμόσουμε τον παραπάνω έλεγχο για την ανεργία της Ελλάδας και της Ευρώπης. Όμως πριν το κάνω αυτό θα πρέπει να διαπιστώσω πόσες χρονικές υστερήσεις (lags) πρέπει να λάβω υπόψη μου. Αρχικά, θα πρέπει να θέσω το μέγιστο αριθμό τον οποίο μπορούν να λάβουν οι υστερήσεις μου, . Αυτό μπορεί να προκύψει εμπειρικά από τη μορφή των δεδομένων μου, αν είναι ανά τετράμηνο θα θέσω ή αν είναι μηνιαία ενδείκνυται να θέσω . Ένας πιο διαδεδομένος τρόπος είναι ο κανόνας του Schwert, ο οποίος βασίζεται στο πλήθος των παρατηρήσεων:

Στη βιβλιογραφία υπάρχει και μία πιο συντηρητική μέθοδος καθορισμού μέγιστων υστερήσεων με παράγοντα 4 αντί για 12,

Προς αποφυγή οποιασδήποτε σύμπτωσης, αυτή τη στιγμή δεν βρήκα τις υστερήσεις που ενδείκνυται να λάβω για τον επαυξημένο έλεγχο Dickey-Fuller. Έθεσα το άνω όριο αυτών που με βάση τον κανόνα του Schwerz είναι . Δηλαδή ο αριθμός των υστερήσεων είναι ένας ακέραιας αριθμός ανάμεσα μεταξύ του 1 και του 15, το οποίο μπορεί να εκφραστεί ως εξής:

Αρκετά όμως με αυτά. Ώρα να βρούμε τις ιδανικές υστερήσεις. Υπάρχουν δύο τρόποι για να διευκρινίσω τις υστερήσεις μου:

  • Ο διαδοχικός έλεγχος t, όπου
  • ή κάνοντας χρήση διάφορων κριτηρίων πληροφορίας, όπως το AIC και το BIC

Πλέον είμαι σε θέση να εκτελέσω τον επαυξημένο έλεγχο Dickey - Fuller μέσω του πακέτου urca με την εντολή ur.df(), θέτοντας τη παράμετρο lags ίσης με τη μέγιστη τιμή των υστερήσεων . Μη ξεγελιέσται από το όνομα της παραμέτρου, δεν θέτετε τις υστερήσεις, αλλά μέγιστο αριθμό αυτών.

Κώδικας
types <- c("none", "drift", "trend")

# run ur.df for each case
results <- lapply(types, function(t) {
    ur.df(grc_unemployment$Value, type = t, lags = 15, selectlags = "AIC")
})

result_table <- data.frame(
    "Έλεγχος" = c("ADF (none)", "ADF (drift)", "ADF (trend)"),
    "Στατιστική Τιμή" = c(round(results[[1]]@teststat[1], 3),
                          round(results[[2]]@teststat[1], 3),
                          round(results[[3]]@teststat[1], 3)),
    "Υστέρηση" = c(results[[1]]@testreg$coefficients[,1] %>% length() - 1, 
                   results[[2]]@testreg$coefficients[,1] %>% length() - 2,
                   results[[3]]@testreg$coefficients[,1] %>% length() - 3),
    "Κρίσιμη Τιμή (1%)" = c(results[[1]]@cval[1,1],
                            results[[2]]@cval[1,1],
                            results[[3]]@cval[1,1]),
    "Κρίσιμη Τιμή (5%)" = c(results[[1]]@cval[1,2],
                            results[[2]]@cval[1,2],
                            results[[3]]@cval[1,2]),
    check.names = FALSE
)

result_table %>% gt_custom(use_labels = FALSE)
Πίνακας 12: Αποτελέσματα επαυξημένου ελέγχου Dickey - Fuller (ADF)
Έλεγχος Στατιστική Τιμή Υστέρηση Κρίσιμη Τιμή (1%) Κρίσιμη Τιμή (5%)
ADF (none) -0.870 10 -2.58 -1.95
ADF (drift) -1.889 10 -3.44 -2.87
ADF (trend) -2.039 10 -3.98 -3.42

Δεδομένου ότι τα αποτελέσματα του πίνακα Πίνακας 12 δεν είναι στατιστικά σημαντικά μπορώ να συμπεράνω ότι η χρονοσειρά μου δεν είναι στάσιμη. Συνεπώς η χρήση των διαφορών των παρατηρήσεων έχει νόημα και ο επανέλεγχος αυτών ως προς τη στασιμότητα. Αξίζει να υπενθυμίσουμε ότι αυτές τις διαφορές τις έχουμε στο Σχήμα [].. και σε αυτό το σχήμα παρατηρούμε ότι εξαλείφθηκε τόσο η τάση όσο και η κύμανση της σειράς σε παρατηρήσεις με τιμές διάφορες του μηδενός. Έτσι το πιο ακριβές σε αυτή τη περίπτωση είναι να κρίνουμε τον έλεγχο ως προς το πιο απλό μοντέλο του όπου δεν έχει ούτε σταθερό όρο (drift), ούτε και κάποιου είδους τάση. Στα αποτελέσματα για λόγους πληρότητας θα συμπεριλάβουν όλες τις περιπτώσεις.

Κώδικας
types <- c("none", "drift", "trend")

# run ur.df for each case
results <- lapply(types, function(t) {
    ur.df(diff(grc_unemployment$Value, 1), type = t, lags = 10, selectlags = "Fixed")
})

result_table <- data.frame(
    "Έλεγχος" = c("ADF (none)", "ADF (drift)", "ADF (trend)"),
    "Στατιστική Τιμή" = c(glue(round(results[[1]]@teststat[1], 3), "*"),
                          round(results[[2]]@teststat[1], 3),
                          round(results[[3]]@teststat[1], 3)),
    "Υστέρηση" = c(results[[1]]@testreg$coefficients[,1] %>% length() - 1, 
                   results[[2]]@testreg$coefficients[,1] %>% length() - 2,
                   results[[3]]@testreg$coefficients[,1] %>% length() - 3),
    "Κρίσιμη Τιμή (1%)" = c(results[[1]]@cval[1,1],
                            results[[2]]@cval[1,1],
                            results[[3]]@cval[1,1]),
    "Κρίσιμη Τιμή (5%)" = c(results[[1]]@cval[1,2],
                            results[[2]]@cval[1,2],
                            results[[3]]@cval[1,2]),
    check.names = FALSE
)

result_table %>% gt_custom(use_labels = FALSE)
Πίνακας 13: Αποτελέσματα επαυξημένου ελέγχου Dickey - Fuller (ADF) στις διαφορές των αρχικών παρατηρήσεων
Έλεγχος Στατιστική Τιμή Υστέρηση Κρίσιμη Τιμή (1%) Κρίσιμη Τιμή (5%)
ADF (none) -2.119* 10 -2.58 -1.95
ADF (drift) -2.111 10 -3.44 -2.87
ADF (trend) -2.194 10 -3.98 -3.42

Αφού η στατιστική τιμή (-2.119) είναι μικρότερη της αντίστοιχης κρίσιμης τιμής (-1.95), τότε μπορούμε να απορρίψουμε την μηδενική υπόθεση μη στασιμότητας για τις διαφορές των αρχικών παρατηρήσεων της ανεργίας στην Ελλάδα, σε επίπεδο σημαντικότητας 5%.

Κώδικας
types <- c("none", "drift", "trend")

results_diff <- lapply(types, function(t) {
  ur.df(diff(grc_unemployment$Value,1), type = t, lags = 10, selectlags = "Fixed")
})


results_level <- lapply(types, function(t) {
  ur.df(grc_unemployment$Value, type = t, lags = 15, selectlags = "AIC")
})


result_table <- data.frame(
  
  "Μορφή της σειράς" = c(
    rep("Σε επίπεδα", length(types)),
    rep("Πρώτες διαφορές", length(types))
  ),
  
  "Υπόδειγμα" = c(
    "None", "Drift", "Trend",
    "None", "Drift", "Trend"
  ),
  
  "Στατιστική ADF" = c(
    round(results_level[[1]]@teststat[1], 3),
    round(results_level[[2]]@teststat[1], 3),
    round(results_level[[3]]@teststat[1], 3),
    round(results_diff[[1]]@teststat[1], 3),
    round(results_diff[[2]]@teststat[1], 3),
    round(results_diff[[3]]@teststat[1], 3)
  ),
  
  "Υστέρηση (lag στο regression)" = c(
    length(results_level[[1]]@testreg$coefficients)-1,
    length(results_level[[2]]@testreg$coefficients)-2,
    length(results_level[[3]]@testreg$coefficients)-3,
    length(results_diff[[1]]@testreg$coefficients)-1,
    length(results_diff[[2]]@testreg$coefficients)-2,
    length(results_diff[[3]]@testreg$coefficients)-3
  ),
  
  "Κρίσιμη Τιμή (1%)" = c(
    results_level[[1]]@cval[1,1],
    results_level[[2]]@cval[1,1],
    results_level[[3]]@cval[1,1],
    results_diff[[1]]@cval[1,1],
    results_diff[[2]]@cval[1,1],
    results_diff[[3]]@cval[1,1]
  ),
  
  "Κρίσιμη Τιμή (5%)" = c(
    results_level[[1]]@cval[1,2],
    results_level[[2]]@cval[1,2],
    results_level[[3]]@cval[1,2],
    results_diff[[1]]@cval[1,2],
    results_diff[[2]]@cval[1,2],
    results_diff[[3]]@cval[1,2]
  ),
  
  check.names = FALSE
)

# render με gt_custom και υποσημείωση
result_table %>%
  gt_custom(use_labels = FALSE) %>%
  tab_source_note(
    source_note = "Σημείωση: Η μηδενική υπόθεση του ADF είναι η ύπαρξη μοναδιαίας ρίζας. Η υστέρηση αναφέρεται στον αριθμό lag που χρησιμοποιήθηκε στο regression."
  )
Πίνακας 14: Αποτελέσματα επαυξημένου ελέγχου Dickey - Fuller (ADF) στις διαφορές των αρχικών παρατηρήσεων
Μορφή της σειράς Υπόδειγμα Στατιστική ADF Υστέρηση (lag στο regression) Κρίσιμη Τιμή (1%) Κρίσιμη Τιμή (5%)
Σε επίπεδα None -0.870 43 -2.58 -1.95
Σε επίπεδα Drift -1.889 46 -3.44 -2.87
Σε επίπεδα Trend -2.039 49 -3.98 -3.42
Πρώτες διαφορές None -2.119 43 -2.58 -1.95
Πρώτες διαφορές Drift -2.111 46 -3.44 -2.87
Σημείωση: Η μηδενική υπόθεση του ADF είναι η ύπαρξη μοναδιαίας ρίζας. Η υστέρηση αναφέρεται στον αριθμό lag που χρησιμοποιήθηκε στο regression.

Έλεγχος PP

Άλλος ένας έλεγχος στασιμότητας είναι ο έλεγχος Phillips - Perron, ο οποίος βασίζεται στον απλό Dickey Fuller. Η λογική είναι ίδια με τον ADF, μιας και η υπόθεση έχει την ίδια μορφή, αλλά διαφέρουν σημαντικά ως προς τον τρόπο που αντιμετωπίζει την αυτοσυσχέτιση των σφαλμάτων. O έλεγχος δεν προσθέτει lags για να περιορίσει την αυτοσυσχέτιση των σφαλμάτων (όπως ο ADF), αντιθέτως προσπαθεί να τροποποιήσει τη στατιστική τιμή εκτιμώντας τη μακροχρόνια διακύμανση .

Ο μοναδικός όρος´που δεν μπορεί να διευκρινιστεί εκ των προτέρων είναι η μακροχρόνια διακύμανση, καθώς το άθροισμά της εξαρτάται από έναν παράγοντα . Δηλαδή δεν έχουμε αποφασίσει πόσα αθροίσματα θα λάβουμε υπόψη μας στον υπολογισμό - εκτίμηση της μακροχρόνιας διακύμανσης . Για τον παράγοντα εύρους της μακροχρόνιας διακύμανσης υπάρχουν κάποιοι απλοί κανόνες υπολογισμού που συμπίπτουν με αυτούς των μέγιστων αριθμών υστερήσεων του ελέγχου ADF. Για μικρά δείγματα,

ενώ για μεγαλύτερα δείγματα:

Ο έλεγχος υποθέσεων έχει την ίδια μορφή με τους προαναφερόμενους ελέγχους, με τη μηδενική υπόθεση να υποθέτει τη μη στασιμότητα της χρονοσειράς μας.

Ο έλεγχος Phillips-Perron μπορεί να εκτελεστεί μέσω του urca πακέτου με την εντολή ur.pp. Ως παραμέτρους δέχεται την χρονοσειρά μας, τη στατιστική τιμή που μας ενδιαφέρει να υπολογίσουμε, το είδος της χρονοσειράς (τάση, χωρίς τάση). Τέλος, ένας παράγοντας που μπορεί να καθοριστεί από την εντολή μας είναι ο μέγιστος αριθμός αθροισμάτων που θα χρησιμοποιήσω για την εκτίμηση της μακροχρόνιας διασποράς όπου στο πακέτο αυτή η εντολή ονομάζεται lags. Αυτό δεν είναι άλλο από το μέγεθος στο οποίο αναφερθήκαμε προηγουμένως. Το πακέτο μας δίνει δύο επιλογές, είτε να θέσουμε εμείς τη δική μας τιμή στη παράμετρο use.lag, είτε να χρησιμοποιήσουμε μία εκ των δύο επιλογών (short ή long) στη παράμετρο lags. Αν διαβάσουμε τον κώδικα της εντολής ur.pp θα διαπιστώσουμε ότι αν επιλέξουμε τον αυτόματο τρόπο προσδιορισμό του q, μέσω των δύο επιλογών που δίνονται, οι τύποι είναι ίδιοι με αυτούς που προσδιορίστηκαν παραπάνω για τα και .

Κώδικας
types <- c("constant", "trend")
results_level <- lapply(types, function(t) {
  ur.pp(grc_unemployment$Value,
        type = "Z-tau",
        model = t,
        lags = "long")
})

results_diff <- lapply(types, function(t) {
  ur.pp(diff(grc_unemployment$Value,1),
        type = "Z-tau",
        model = t,
        lags = "long")
})

result_table <- data.frame(
  "Μεταβλητή" = c("Επίπεδα", "Επίπεδα",
                  "Πρώτες Διαφορές", "Πρώτες Διαφορές"),
  
  "Υπόδειγμα" = c("Constant", "Trend",
                  "Constant", "Trend"),
  
  "Στατιστική Τιμή" = c(
    round(results_level[[1]]@teststat[1], 3),
    round(results_level[[2]]@teststat[1], 3),
    round(results_diff[[1]]@teststat[1], 3),
    round(results_diff[[2]]@teststat[1], 3)
  ),
  
  "Υστέρηση (Newey-West)" = c(
    results_level[[1]]@lag,
    results_level[[2]]@lag,
    results_diff[[1]]@lag,
    results_diff[[2]]@lag
  ),
  
  "Κρίσιμη Τιμή (1%)" = c(
    round(results_level[[1]]@cval[1,1], 3),
    round(results_level[[2]]@cval[1,1], 3),
    round(results_diff[[1]]@cval[1,1], 3),
    round(results_diff[[2]]@cval[1,1], 3)
  ),
  
  "Κρίσιμη Τιμή (5%)" = c(
    round(results_level[[1]]@cval[1,2], 3),
    round(results_level[[2]]@cval[1,2], 3),
    round(results_diff[[1]]@cval[1,2], 3),
    round(results_diff[[2]]@cval[1,2], 3)
  ),
  
  check.names = FALSE
)

result_table %>% gt_custom(use_labels = FALSE)
Πίνακας 15: Αποτελέσματα ελέγχου Phillips-Perron στις αρχικές παρατηρήσεις και στις πρώτες διαφορές
Μεταβλητή Υπόδειγμα Στατιστική Τιμή Υστέρηση (Newey-West) Κρίσιμη Τιμή (1%) Κρίσιμη Τιμή (5%)
Επίπεδα Constant -1.110 15 -3.454 -2.872
Επίπεδα Trend -0.552 15 -3.993 -3.427
Πρώτες Διαφορές Constant -16.959 15 -3.454 -2.872
Πρώτες Διαφορές Trend -16.957 15 -3.993 -3.427

Συνεπώς, έχουμε απόρριψη της μηδενικής () υπόθεσης, στις διαφορές των αρχικών δεδομένων μου, αλλά μη απόρριψη στις πρώτες διαφορές των παραρτηρήσεων. Αυτό σημαίνει ότι οι παρατηρήσεις τις ανεργίας στην Ελλάδα δεν ήταν στάσιμες, όμως οι διαφορές αυτών ήταν. Συνεπώς, ο έλεγχος PP επιβεβαίωσε τα ευρήματα του ελέγχου ADF.

Έλεγχος KPSS

Ένας ακόμα έλεγχος μαναδιαίας ρίζας, είναι ο έλεγχος KPSS. Αν και ο στόχος του ελέγχου είναι ο ίδιος, έχει αντίθετη λογική σε σχέση με τους προηγούμενους ελέγχους αφού η μηδενική του υπόθεση είναι η στασιμότητα, έναντι της μη στασιμότητας.

Κώδικας
kpss_level  <- ur.kpss(grc_unemployment$Value, type = "mu", lags = "long")
kpss_diff1  <- ur.kpss(diff(grc_unemployment$Value,1), type = "mu", lags = "long")
kpss_diff2  <- ur.kpss(diff(grc_unemployment$Value,2), type = "mu", lags = "long")

result_table <- data.frame(
  
  "Μορφή της σειράς" = c("Σε επίπεδα",
                        "Πρώτες διαφορές",
                        "Δεύτερες διαφορές"),
  
  "Στατιστική KPSS" = c(
    round(kpss_level@teststat[1], 3),
    round(kpss_diff1@teststat[1], 3),
    round(kpss_diff2@teststat[1], 3)
  ),
  
  "Υστέρηση" = c(
    kpss_level@lag,
    kpss_diff1@lag,
    kpss_diff2@lag
  ),
  
  "Κρίσιμη Τιμή (1%)" = c(
    round(kpss_level@cval[1,4], 3),
    round(kpss_diff1@cval[1,4], 3),
    round(kpss_diff2@cval[1,4], 3)
  ),
  
  "Κρίσιμη Τιμή (5%)" = c(
    round(kpss_level@cval[1,2], 3),
    round(kpss_diff1@cval[1,2], 3),
    round(kpss_diff2@cval[1,2], 3)
  ),
  
  check.names = FALSE
)

result_table %>%
  gt_custom(use_labels = FALSE) %>%
  tab_source_note(
    source_note = "Σημείωση: Η μηδενική υπόθεση του KPSS είναι η στασιμότητα. Η υστέρηση χρησιμοποιείται για την εκτίμηση της μακροχρόνιας διακύμανσης."
  )
Πίνακας 16: Αποτελέσματα ελέγχου KPSS στις παρατηρήσεις και στις πρώτες διαφορές
Μορφή της σειράς Στατιστική KPSS Υστέρηση Κρίσιμη Τιμή (1%) Κρίσιμη Τιμή (5%)
Σε επίπεδα 0.973 15 0.739 0.463
Πρώτες διαφορές 0.297 15 0.739 0.463
Δεύτερες διαφορές 0.298 15 0.739 0.463
Σημείωση: Η μηδενική υπόθεση του KPSS είναι η στασιμότητα. Η υστέρηση χρησιμοποιείται για την εκτίμηση της μακροχρόνιας διακύμανσης.

Η μηδενική μου υπόθεση υπέθεσε στασιμότητα η οποία απορρίπτεται με βάση τον έλεγχο KPSS σε επίπεδο σημαντικότητας 1%. Eπιπλέον ο έλεγχος δεν είναι σε θέση να απορρίψει τη στασιμότητα στις διαφορές των παρατηρήσεων. Αυτά τα αποτελέσματα επιβεβαιώνουν και τους ελέγχους PP καθώς και τον έλεγχο ADF.

Έλεγχος ZA και LS

Τέλος, ένας άλλος έλεγχος για τη στασιμότητα είναι ο έλεγχος Zivott - Andrews (έλεγχος ZA). Η συγκεκριμένη στατιστική συνάρτηση διαφέρει από τις προηγούμενες μιας και συμπεριλαμβάνει ορισμένα σημεία (structural breaks) από τα οποία η χρονοσειρά αλλάζει συμπεριφορά. Αυτά τα χρονικά σημεία θα μπορούσαν να είναι διάφορες ημερομηνίες όπου συνέβησαν σημαντικά γεγονότα που μπορεί να επηρέασαν τη συμπεριφορά της χρονοσειράς. Στην δική μας περίπτωση αναλύουμε την ανεργία της Ελλάδας η οποία εκτοξεύτηκε μετά την οικονομική κρίση του 2009 και στα μέσα αυτής είχαμε ιστορικό υψηλό. Είναι εμφανές ότι η κρίση χρέους αποτελεί ένα χρονικό σημείο από το οποίο επηρεάστηκε η συμπεριφορά της χρονοσειράς. Η χρήση ενός εξειδικευμένων ελέγχων με διαρθρωτικές τομές (structural breaks) κρίνεται απαραίτητη για τη περίπτωσή μας.

Οι πιο γνωστοί έλεγχοι για τη στασιμότητα σε χρονοσειρές με διαρθρωτικές τομές είναι οι:

  • έλεγχος Zivot - Andrews (ZA), αν έχω μόνο μία διαρθρωτική τομή (structural break)
  • έλεγχος Lee - Strazicich (LS), αν έχω δύο διαρθρωτικές τομές

Πόσες όμως είναι οι τομές (breaks) σε μία χρονοσειρά;

Για λόγους πληρότητας θα συμπεριλάβω τον έλεγχο Zivot-Andrews ο οποίος όμως δεν είναι ο καλύτερος μιας και υποθέτει μόνο μία διαρθωτική τομή. Παραπάνω βρέθηκαν δύο. Εδώ όμως προκύπτει ένα άλλο πρόβλημα. Παρόλο που για τους κλασσικούς ελέγχους, αλλά και ελέγχους με τομές όπως ο Zivot-Andrews υπάρχουν πακέτα και αντίστοιχες εντολές που υπολογίζουν τη στατιστική τιμή, δεν υπάρχουν ανάλογες εντολές για τον έλεγχο Lee-Strazicich. Ευτυχώς, αντί να στηριχτούμε σε κάποιο στατιστικό πακέτο (π.χ. EViews) βρήκα στο GitHub διαθέσιμο ένα σχετικό αποθετήριο, όπου ο χρήστης hannes101 έχει γράψει μία σειρά από συναρτήσεις για τον συγκεκριμένο έλεγχο που θυμίζουν σε λογική αυτές του πακέτου urca. Σε αυτό το σημείο να σημειώσω ότι ο απλός έλεγχος κρατάει αρκετά λεπτά, στη δική μου συσκευή πήρε 5 λεπτά για να εκτελεστεί. Το μοναδικό πρόβλημα που υπάρχει με αυτή τη διαδικασία είναι ότι στο αντικείμενο που επιστρέφει η συνάρτηση δεν συμπεριλαμβάνονται οι κρίσιμες τιμές. Αυτό σημαίνει ότι θα πρέπει να κοιτάξω τους πίνακες κρίσιμων τιμών για τη περίπτωσή μου από τη πρωτότυπη εργασία των Lee-Strazicich.

Κώδικας
source("https://raw.githubusercontent.com/hannes101/LeeStrazicichUnitRoot/refs/heads/master/LeeStrazicichUnitRootTest.R")
g = summary(ur.za(grc_unemployment$Value, model = "both"))
g1 = summary(ur.za(diff(grc_unemployment$Value, differences = 1), model = "both"))
# h = ur.ls(grc_unemployment$Value, model = "break", breaks = 2, method = "GTOS", print.results = "silent")
# h1 = ur.ls(diff(grc_unemployment$Value,1), model = "break", breaks = 2, method = "GTOS", print.results = "silent")


data.frame("Έλεγχος" = c("Zivot-Andrews", "Zivot-Andrews", "Lee-Strazicich", "Lee-Strazicich"), 
           "Μεταβλητή" = c("Unempl", "Δ Unempl", "Unempl", "Δ Unempl"), 
           "Στατιστική τιμή" = c(g@teststat, g1@teststat, -4.71, -7.72), 
           "Κρίσιμη τιμή (5%)" = c(g@cval[2], g1@cval[2], -5.65 , -5.65),
           check.names = FALSE) %>% 
  mutate(across(c(3:4), ~ round(., 2))) %>%
  gt_custom(use_labels = FALSE)
Πίνακας 17: Αποτελέσματα στασιμότητας ελέγχων με διαρθωτικές τομές
Έλεγχος Μεταβλητή Στατιστική τιμή Κρίσιμη τιμή (5%)
Zivot-Andrews Unempl -4.39 -5.08
Zivot-Andrews Δ Unempl -16.42 -5.08
Lee-Strazicich Unempl -4.71 -5.65
Lee-Strazicich Δ Unempl -7.72 -5.65

Αναγνώριση μοντέλου

Παραπάνω κατέληξα ότι οι παρατηρήσεις τις ανεργίας δεν είναι στάσιμες, ωστόσο οι πρώτες διαφορές τους αποτελούν στάσιμη χρονοσειρά. Αυτή τη στιγμή θα ήθελα να μελετήσω ποιο μοντέλο (S)ARIMA(p, d, q) ενδείκνυται στη περίπτωσή μου. Για αυτό το λόγο θα κατασκευάσω τα διαγράμματα αυτοσυσχέτισης και μερικής αυτοσυσχέτισης για να αναγνωρίσω τις ιδανικές τιμές , . Τέλος, υπενθυμίζω ότι σε μοντέλο ARIMA, το συμβολίζει την τάξη της διαφοράς, όπου στη περίπτωσή μας είναι 1.

Αρχικές παρατηρήσεις

Πίνακας 18: Αποτελέσματα αυτοσυσχετίσεων στις αρχικές παρατηρήσεις για τις πρώτες 12 υστερήσεις
Υστέρηση ACF pACF
0 1 1
1 0.997 0.997
2 0.992 −0.1
3 0.988 −0.068
4 0.982 −0.064
5 0.977 −0.048
6 0.97 −0.112
7 0.963 −0.144
8 0.955 −0.04
9 0.946 0.005
10 0.937 −0.117
11 0.926 −0.166

Για τυπικούς λόγους θα ξεκινήσουμε από τις δοσμένες παρατηρήσεις τις ανεργίας. Τυπικά ήδη γνωρίζουμε ότι δεν είναι στάσιμες, αλλά υπάρχουν συγκεκριμένα μοτίβα που πρέπει να παρατηρήσουμε στα διαγράμματα αυτοσυσχέτισης προκειμένου να το επιβεβαιώσουμε. Το διάγραμμα αυτοσυσχέτισης πέφτει με έναν εξαιρετικά αργό ρυθμό που είναι ισχυρή ένδειξη μη στασιμότητας της σειράς.

Κώδικας
acf_plot_function(grc_unemployment$Value, min= - 0.25, max = 1)
Σχήμα 6: Διαγραμμα αυτοσυσχέτισης
Κώδικας
pacf_plot_function(grc_unemployment$Value, min=-0.25, max=1)
Σχήμα 7: Διαγραμμα μερικής αυτοσυσχέτισης

Πρώτη διαφορά

Πίνακας 19: Αποτελέσματα αυτοσυσχετίσεων στις πρώτες διαφορές για τις πρώτες 12 υστερήσεις
Υστέρηση ACF pACF
0 1 1
1 0.172 0.172
2 0.118 0.091
3 0.145 0.116
4 0.122 0.076
5 0.191 0.148
6 0.284 0.225
7 0.178 0.087
8 0.003 −0.107
9 0.223 0.166
10 0.338 0.271
11 0.18 0.048

Η μη στασιμότητα των δεδομένων μου που έχει χιλιοεπιβεβαιωθεί μας υποχρεώνει να λάβουμε τις πρώτες διαφορές και να λάβουμε τα αντίστοιχα διαγράμματα αυτοσυσχέτισης. Παρατηρώ μία αρκετά δυσνόητη θα έλεγα κατάσταση από τα διαγράμματα καθώς υπάρχουν σημαντικές αυξομειώσεις και στα δύο διαγράμματα που κάνουν δύσκολη την απόφαση για το κατάλληλο μοντέλο ARIMA. Συνήθως για να λάβω τα κατάλληλα μέτρα βλέπω που έχω απότομη μείωση εντός της κόκκινης περιοχής, αλλά έχω αρκετές στατιστικά σημαντικές υπερβάσεις. Μετά τη 10η υστέρηση αυτή η τάση μειώνεται ή εξαλείφεται σημαντικά, επομένως το μοντέλο μου έχει μάλλον παραμέτρους και κάπου ανάμεσα στο 1 και στο 10.

Κώδικας
acf_plot_function(grc_unemployment_diff1, min=-0.2, max = 0.5)
Σχήμα 8: Διαγραμμα αυτοσυσχέτισης διαφορών πρώτης τάξης
Κώδικας
pacf_plot_function(grc_unemployment_diff1, min=-0.2, max=0.5)
Σχήμα 9: Διαγραμμα μερικής αυτοσυσχέτισης διαφορών πρώτης τάξης

Κατασκευή μοντέλων

Διαχωρισμός χρονοσειράς

Η πρόβλεψη της μελλοντικής ανεργίας απαιτεί από μεριάς μας τη κατασκευή ενός μοντέλου. Μερικές κλασσικές μέθοδοι είναι τα μοντέλα ARIMA και τα μοντέλα εκθετικής εξομάλυνσης (ETS). Το να εκτελέσω απλώς ένα μοντέλο δεν λέει πολλά αν δεν αξιολογήσω τους παράγοντες του. Γενικότερα σε εργασίες που προσπαθούμε να φτιάξουμε προβλεπτικά υποδείγματα θέλουμε να αξιολογούμε την δύναμη του μοντέλου και για αυτό το λόγο συνήθως χωρίζουμε τα δεδομένα μας σε δύο μέρη. Ένα μέρος αξιοποιείται για την εκπαίδευση (train set) του μοντέλου και το υπόλοιπο για την αξιολόγησή του (test set). Η συνηθισμένη αναλογία είναι 70/30 ή 80/20 αντίστοιχα. Αυτή η τακτική συνήθως λειτουργεί καλά για κλασσικά προβλήματα μηχανικής μάθησης, όπως ταξινόμησης και παλινδρόμησης.

flowchart LR
    A[Σύνολο δεδομένων <br> <small>1998-2022 <br> 293 παρατηρήσεις</small>]

    A --> B[Εκπαίδευση <br> 1998-2015]
    A --> C[Αξιολόγηση <br> 2015-2022]
Σχήμα 10: Διάγραμμα διαχωρισμού δεδομένων σε δεδομένα εκπαίδευσης και αξιολόγησης (train / test split)

Όμως αν έχουμε προβλήματα χρονοσειρών τα πράγματα δεν είναι τόσο απλά. Αρχικά ας υποθέσουμε ότι θέλουμε να εφαρμόσουμε την ίδια λογική και σε αυτές. Τότε θα έρθουμε αντιμέτωποι με ένα μοντέλο το οποίο θα αγνοεί το 1/5 των παρατηρήσεων και μάλιστα των πιο πρόσφατων που ενδεχομένως να επηρεάζουν τη μεατβλητότητα της χρονοσειράς. Για αυτό το λόγο έχουν προταθεί άλλες μέθοδοι για τις χρονοσειρές.

flowchart LR
   C[Σύνολο χρονοσειράς <br> <small>293 παρατηρήσεις</small>]

    C --> F[1ο πλαίσιο <br> <small>Εκπαίδευση: 1998-2010 <br> Πρόβλεψη: 2011</small>]
    C --> G[2ο πλαίσιο <br> <small>Εκπαίδευση: 1998-2011 <br> Πρόβλεψη: 2012</small>]
    C --> H[3ο πλαίσιο <br> <small>Εκπαίδευση: 1998-2012 <br> Πρόβλεψη: 2013</small>]
    C --> I[k-οστό πλαίσιο]
    C --> J[Ν-πλαίσιο <br> <small>Εκπαίδευση: 1998-2021 <br> Πρόβλεψη: 2022</small>]
Σχήμα 11: Διάγραμμα διαχωρισμού δεδομένων για χρονοσειρές
Κώδικας
unemployment_ts = read_csv("data/unemployment.csv") |>
  select(LOCATION, TIME, Value) |>
  mutate(TIME = yearmonth(TIME)) |>
  dplyr::filter(LOCATION == "GRC") |>
  as_tsibble(index = TIME)


break1 = breakPoints$breakdates[2,][3]
break2 = breakPoints$breakdates[2,][5]

n_obs <- nrow(unemployment_ts)
break_position_1 <- round(n_obs * break1)
break_position_2 <- round(n_obs * break2)

break_date_1 <- unemployment_ts$TIME[break_position_1]
break_date_2 <- unemployment_ts$TIME[break_position_2]

unemployment_ts <- unemployment_ts %>%
  mutate(
    break1 = if_else(TIME >= break_date_1, 1L, 0L),
    break2 = if_else(TIME >= break_date_2, 1L, 0L)
  ) |>
   mutate(lockdown = if_else(
    (TIME >= yearmonth("2020 Mar") & TIME <= yearmonth("2020 May")) |
    (TIME >= yearmonth("2020 Nov") & TIME <= yearmonth("2021 Feb")),
    1L, 0L)
  ) 


cv <- unemployment_ts %>%
  stretch_tsibble(.init = 200, .step = 5)

ΌΛο αυτό ίσως να ακούγεται κάποως περίπλοκο. Δεν είμαι εντελώς σίγουρος αν το παραπάνω διάγραμμα μπορεί να αποδόσει τη πλήρη έννοια της επικύρωσης στις χρονοσειρές. Έχω συμπεριλάβει και μία διαδραστική εφαρμογή για να τη δοκιμάσετε και μόνοι σας, ώστε να γίνει κατανοητή η διαφορά και πώς επηρρεάζουν οι διάφορες επιλογές.

5
2
Χρόνος
Σήμερα
Διαθέσιμα ιστορικά δεδομένα
Εκπαίδευση μοντέλου
Πρόβλεψη

Καθορισμός μοντέλων ARIMA

Για το απλό ARIMA μοντέλο θα πρέπει να καθορίσω τις τρεις παραμέτρους μου. Γνωρίζω ότι το , μιας και στις πρώτες διαφορές πέτυχα τη στασιμότητα. Για τον καθορισμό του υποψιάζομαι το 1, το 6 και το 10 καθώς μετά από αυτές τις τιμές είχα μεγάλη απότομη μείωση στο διάγραμμα μερικής αυτοσυσχέτισης των πρώτων διαφορών. Τέλος, για το υποψιάζομαι το 1, το 3, το 6 και το 10. Γενικότερα από το σχήμα δεν μπορώ να βγάλω κάποιο ξεκάθαρο συμπέρασμα για τις τιμές τους μιας και υπάρχουν αρκετά σημαντικές αυτοσυσχετίσεις τουλάχιστον μέχρι τη 10η υστέρηση. Ο γραφικός προσδιορισμός των , είναι ακρετά υποκειμενίκός και παρέχει επισφαλή συμπεράσματα. Για αυτό το λόγο καλό θα ήταν να αξιολογήσω μία σειρά από συνδυασμούς παραμέτρων για τις χρονοσειρές ARIMA προκειμένου να βρω το μοντέλο με τις βέλτιστες παραμέτρους.

Φωτογραφία του στατιστικού George Box

Ο George E.P. Box (Ηνωμένο Βασίλειο, 1919 - 2013) είναι στατιστικός με πολύ σημαντική συνεισφορά στο πεδίο των χρονοσειρών. Ο George Box σε συνεργασία με τον Gwylim Jenkins (Ηνωμένο Βασίλειο, 1932 - 1982) δημιούργησαν τη μεθοδολογία για τις χρονοσειρές ARIMA. Σε πολλά βιβλία αυτή η μεθοδολογία αναφέρεται ως Box-Jenkins. Επιπλέον σε συνεργασία με την φινλανδο-αμερικανίδα στατιστικό Greta M. Ljung (Φινλανδία, 1941 - 2014) δημιούργησαν τον έλεγχο αυτοσυσχετίσεων των σφαλμάτων που είναι γνωστός και ως έλεγχος Ljung-Box και θα μας χρειαστεί παρακάτω.

Πηγή φωτογραφίας: Wikimedia Commons, 2011 - Άδεια χρήσης: CC BY-SA 3.0. Για τη πρωτότυπη φωτογραφία μπορείτε να πατήσετε τον σύνδεσμο

Κώδικας
models <- unemployment_ts %>%
    model(
        "ARIMA (1,1,0)" = fable::ARIMA(Value ~ pdq(1,1,0)),
        "ARIMA (0,1,1)" = fable::ARIMA(Value ~ pdq(0,1,1)),
        "ARIMA (1,1,1)" = fable::ARIMA(Value ~ pdq(1,1,1)),
        "ARIMA (2,1,0)" = fable::ARIMA(Value ~ pdq(2,1,0)),
        "ARIMA (2,1,1)" = fable::ARIMA(Value ~ pdq(2,1,1)),
        "ARIMA (0,1,2)" = fable::ARIMA(Value ~ pdq(0,1,2)),
        "ARIMA (1,1,2)" = fable::ARIMA(Value ~ pdq(1,1,2)),
        "ARIMA (2,1,2)" = fable::ARIMA(Value ~ pdq(2,1,2)),
        "ARIMA (3,1,0)" = fable::ARIMA(Value ~ pdq(3,1,0)),
        "ARIMA (3,1,1)" = fable::ARIMA(Value ~ pdq(3,1,1)),
        "ARIMA (3,1,2)" = fable::ARIMA(Value ~ pdq(3,1,2)),
        "ARIMA (0,1,3)" = fable::ARIMA(Value ~ pdq(0,1,3)),
        "ARIMA (1,1,3)" = fable::ARIMA(Value ~ pdq(1,1,3)),
        "ARIMA (2,1,3)" = fable::ARIMA(Value ~ pdq(2,1,3)),
        "ARIMA (3,1,3)" = fable::ARIMA(Value ~ pdq(3,1,3))
    )

glance(models) %>%
  dplyr::select(.model, AIC, AICc, BIC) %>%
  dplyr::arrange(BIC) %>%
  dplyr::rename("Μοντέλο" = .model) %>%
  dplyr::relocate(BIC, .before = "AIC") %>%
  gt_custom(head_max = 20, use_labels = FALSE) %>%
  fmt_number(decimals = 1)
Πίνακας 20: Αποτελέσματα μοντέλων ARIMA με βάση το κριτήριο πληροφορία του Akaike
Μοντέλο BIC AIC AICc
ARIMA (1,1,1) 305.5 294.4 294.5
ARIMA (1,1,2) 311.1 296.4 296.5
ARIMA (2,1,1) 311.1 296.4 296.5
ARIMA (1,1,3) 313.8 295.4 295.6
ARIMA (3,1,1) 314.7 296.3 296.5
ARIMA (3,1,2) 314.9 292.9 293.1
ARIMA (2,1,3) 315.1 293.0 293.3
ARIMA (2,1,2) 319.1 293.4 293.8
ARIMA (1,1,0) 325.5 318.2 318.2
ARIMA (0,1,1) 326.8 319.5 319.5
ARIMA (2,1,0) 328.8 317.8 317.9
ARIMA (3,1,0) 330.6 315.9 316.0
ARIMA (0,1,2) 330.7 319.7 319.8
ARIMA (0,1,3) 333.8 319.1 319.3

Παλαιότεροι οδηγοί ή άρθρα πιθανότητα να πρότειναν τη χρήση του auto.arima για την εύρεση του καλύτερου ARIMA. Λοιπόν, και αυτό το άρθρο έκανε αυτό ακριβώς μέχρι που συνειδητοποίησα ότι η βιβλιοθήκη fable μας δίνει τις απαραίτητες πληροφορίες οργανωμένες πιο εύκολα, επομένως η χρήση χρήση της εντολής model εσωκλειόμενη από διάφορους συνδυασμούς παραμέτρων για μοντέλα ARIMA μας δίνει έναν έτοιμο πίνακα με:

  • τα πληροφοριακά κριτήρια Akaike (AIC), το
  • το διορθωμένο πληροφοριακό κριτήριο Akaike (AICc) και
  • το πληρoφοριακό κριτήριο Bayes (BIC)

Εμείς όμως τι πρέπει να αναζητήσουμε; Αυτό είναι πολύ σημαντικό καθώς όπως μπορείτε να διαπιστώσετε το κάθε κριτήριο δίνει διαφορετικό μοντέλο ως το καλύτερο. Για παράδειγμα, με βάση τα κριτήρια AIC και AICc πρέπει να επιλέξω το μοντέλο ARIMA(3,1,2), ενώ το μοντέλο BIC προτείνει το μοντέλο ARIMA(1,1,1). Γενικότερα ψάχνουμε το μοντέλο που θα δίνει τους μικρότερους αριθμούς σε αυτά τα κριτήρια. Έτσι έχω ξεχωρίσει κάποια μοντέλα που είναι ξεκάθαρα ακατάλληλα για τη συγκεκριμένη χρονοσειρά, όπως το ARIMA(0,1,2) που έχει κακή απόδοση σε όλα τα κριτήρια. Το μοντέλο που είναι ιδανικό είναι το ARIMA(1,1,1) καθώς είναι το μοντέλο με τη καλύτερη απόδοση στο κριτήριο BIC, έχει καλή απόδοση στα κριτήρια AIC και AICc με μικρή διαφορά από τη βέλτιστη πρόταση σε αυτά. Τέλος, τα AIC κριτήρια πρότειναν μοντέλα με μικρή βελτίωση αλλά με 5 παραμέτρους, έναντι υποδειγμάτων 2 παραμέτρων που ενδεχομένως να γενικεύουν καλύτερα τα δεδομένα και τη συμπεριφορά της χρονοσειράς.

Καθορισμός μοντέλου ETS

Η μέθοδος εκθετικής εξομάλυνσης είναι μία εξίσου δημοφιλής μέθοδος για τη πρόβλεψη χρονοσειρών. Το μεγάλο της πλεονέκτημα είναι ότι δεν χρειάζεται να κάνουμε τους αντίστοιχους ελέγχους που κάναμε για τα μοντέλα ARIMA. Παρά την ευέλικτη μεθοδολογία του χρειάζεται να ελέγξουμε τη χρονοσειρά γραφικά για να παρατηρήσουμε τις ιδιότητες της (τάση, εποχικότητα, κυκλικότητα), ώστε να καθορίσω το υπόδειγμα ETS που ταιριάζει στη περίπτωσή μας.

Το μοντέλο εξομάλυνσης που θα χρησιμοποιήσω βασίζεται σε αυτά τα χαρακτηριστικά.

Κώδικας
models <- unemployment_ts %>%
    model(
        "A-N-N" = fable::ETS(Value ~ error("A") + trend("N") + season("N")),
        "A-A-N" = fable::ETS(Value ~ error("A") + trend("A") + season("N")),
        "A-Ad-N" = fable::ETS(Value ~ error("A") + trend("Ad") + season("N")),
        "A-A-A" = fable::ETS(Value ~ error("A") + trend("A") + season("A")),
        "A-A-M" = fable::ETS(Value ~ error("A") + trend("A") + season("M")),
        "M-A-N" = fable::ETS(Value ~ error("M") + trend("A") + season("N")),
        "M-Ad-N" = fable::ETS(Value ~ error("M") + trend("Ad") + season("N")),
        "M-N-N" = fable::ETS(Value ~ error("M") + trend("N") + season("N")),
        "M-Ad-M" = fable::ETS(Value ~ error("M") + trend("Ad") + season("M")),
    )

glance(models) %>%
  dplyr::select(.model, AIC, AICc, BIC) %>%
  dplyr::arrange(BIC) %>%
  dplyr::rename("Μοντέλο" = .model) %>%
  dplyr::relocate(BIC, .before = "AIC") %>%
  gt_custom(head_max = 20, use_labels = FALSE) %>%
  fmt_number(decimals = 1)
Πίνακας 21: Αποτελέσματα μοντέλων ETS με βάση το κριτήρια πληροφορίας BIC, AIC, AICc
Μοντέλο BIC AIC AICc
M-A-N 1,112.2 1,093.8 1,094.0
M-Ad-N 1,115.9 1,093.8 1,094.1
M-N-N 1,126.7 1,115.7 1,115.8
A-A-N 1,152.1 1,133.7 1,133.9
A-Ad-N 1,154.7 1,132.6 1,132.9
A-N-N 1,172.9 1,161.9 1,161.9
A-A-A 1,221.4 1,158.9 1,161.1
M-Ad-M 1,224.0 1,157.7 1,160.2
A-A-M 1,260.1 1,197.6 1,199.8

Μοντέλο Prophet

Οι παραπάνω λύσεις είναι ενδεχομένως αρκετά περίπλοκες και προϋποθέτουν βαθιά γνώση της θεωρίας και βασικές γνώσεις στατιστικού προγραμματισμού. Μία εύκολη εναλλακτική για γρήγορη πρόβλεψη χρονοσειρών είναι ο αλγόριθμος Prophet. Δημιουργήθηκε από τη Facebook το 2019 και είναι μία αρκετά δημοφηλής μέθοδος πρόβλεψης. Το ομώνυμο πακέτο της R, με την εντολή prophet() μας δίνει εκτίμηση με μία γραμμή κώδικα. Ένα σημείο που αξίζει προσοχής είναι ότι απαιτεί δεδομένα μορφής data frame. Για τη απρόσκοπτη εφαρμογή του θα πρέπει να μετονομάσετε κατάλληλα τις στήλες σας προκειμένου να κατανοήσει ποιες στήλες είναι αυτές που πρέπει να αναλύσει.

Κώδικας
prophet_df = grc_unemployment %>%
  rename(ds = TIME,
         y = Value)

prophet_res = prophet::prophet(df = prophet_df)

Σύγκριση μοντέλων

Προηγουμένως ανέφερα κάποιες κλασσικές μεθόδους πρόβλεψης των χρονοσειρών. Επιπλέον, χρησιμοποίησα το κριτήριο AIC για να λάβω το πιο κατάλληλο μοντέλο από

: πραγματική τιμή, δηλαδή η τιμή της ανεργίας το συγκεκριμένο μήνα
: εκτιμώμενη τιμή, δηλάδή η τμή της ανεργίας που προβλέπω μέσω του μοντέλου μου

Κώδικας
fit <- cv %>%
  model(
    "Auto ARIMA"   = fable::ARIMA(Value),  # ← Force d=1!
    "ARIMAX (1,1,1) - 2 breaks" = fable::ARIMA(Value ~ pdq(1,1,1) + break1 + break2),
    "ARIMAX (1,1,1) - 1 break" = fable::ARIMA(Value ~ pdq(1,1,1) + break1),
    "ARIMA (1,1,1)" = fable::ARIMA(Value ~ pdq(1,1,1)),
    "ARIMA (2,1,1)" = fable::ARIMA(Value ~ pdq(2,1,1)),
    "ARIMA (1,1,2)" = fable::ARIMA(Value ~ pdq(1,1,2)),
    "ETS (M-Ad-N)" = fable::ETS(Value ~ error("M") + trend("Ad") + season("N")),
    "ETS (M-A-N)" = fable::ETS(Value ~ error("M") + trend("A") + season("N")),
    Prophet = prophet(Value),
    Naive = fable::NAIVE(Value),
    SNaive = fable::SNAIVE(Value)
  )

# Forecast h months ahead
fc <- fit %>%
  forecast(h = 2)

# Compute accuracy
acc <- accuracy(fc, unemployment_ts)

acc %>%
  select(.model, RMSE, MAE) %>%
  rename("Μοντέλο" = ".model") %>%
  arrange(RMSE) %>%
  gt_custom(head_max = 10, use_labels = FALSE) %>%
  fmt_number(decimals = 4)
Πίνακας 22: Σύγκριση σφαλμάτων διαφορετικών μοντέλων για 2μηνη πρόβλεψη
Μοντέλο RMSE MAE
ARIMAX (1,1,1) - 2 breaks 0.6278 0.5006
ARIMA (1,1,1) 0.6430 0.4942
ARIMAX (1,1,1) - 1 break 0.6503 0.4928
Naive 0.6702 0.5132
ARIMA (2,1,1) 0.6753 0.5265
ETS (M-Ad-N) 0.6791 0.5232
ETS (M-A-N) 0.6857 0.5215
Auto ARIMA 0.6863 0.5267
ARIMA (1,1,2) 0.6891 0.5344
SNaive 2.0796 1.9158
Κώδικας
# Forecast h months ahead
fc <- fit %>%
  forecast(h = 6)

# Compute accuracy
acc <- accuracy(fc, unemployment_ts)

acc %>%
  select(.model, RMSE, MAE) %>%
  rename("Μοντέλο" = ".model") %>%
  arrange(RMSE) %>%
  gt_custom(head_max = 10, use_labels = FALSE) %>%
  fmt_number(decimals = 4)
Πίνακας 23: Σύγκριση σφαλμάτων διαφορετικών μοντέλων για 6μηνη πρόβλεψη
Μοντέλο RMSE MAE
ARIMAX (1,1,1) - 1 break 0.8504 0.6243
ARIMA (1,1,1) 0.8510 0.6252
ARIMAX (1,1,1) - 2 breaks 0.8879 0.6449
ETS (M-Ad-N) 0.8913 0.6703
ARIMA (2,1,1) 0.8920 0.6682
ETS (M-A-N) 0.8996 0.6776
Naive 0.9007 0.6946
ARIMA (1,1,2) 0.9165 0.6941
Auto ARIMA 0.9411 0.7101
SNaive 2.1633 1.9108

Από τους παραπάνω πίνακες προκύπτει ότι για μικρά βραχυπρόθεσμες προβλέψεις () μήνες το μοντέλο ARIMAX όπου ως εξωγενείς μεταβλητές έχω συμπεριλάβει δύο μεταβλητές που αναπαριστούν τις δομικές αλλαγές (breaks). Επιπλέον, καλή απόδοση έχει και το μοντέλο ARIMA(1,1,1) και για 2μηνη και για 6μηνη πρόβλεψη. Αυτό που ξεχωρίζει στα αποτελέσματα μας είναι η σημαντική διαφορά στα σφάλματα μεταξύ των μοντέλων ARIMA και του μοντέλου NAIVE. Αυτό ενδεχομένως να δηλώνει ότι τα μοντέλα μου εντπίζουν τα διάφορα μοτίβα της χρονοσειράς καλύτερα και άρα έχουν λόγο ύπαρξης. Ένα σημείο που απαιτεί ιδιαίτερη προσοχή είναι οι διαφορές στα σφάλματα, καθώς είναι εμφανές ότι παρόλο που υπάρχουν διαφορές θα πρέπει να διερευνηθεί αν αυτές είναι στατιστικά σημαντικές. Για να μελετηθεί αυτό θα χρησιμοποιηθεί ο έλεγχος Diebold-Mariano, ο οποίος ελέγχει αν τα σφάλματα των συγκρινόμενων μοντέλων είναι στατιστικά σημαντικά:

Κώδικας
fit <- unemployment_ts %>%
    model(
        "ARIMAX (1,1,1) - 2 breaks" = fable::ARIMA(Value ~ pdq(1,1,1) + break1 + break2),
        "ARIMAX (1,1,1) - 1 break" = fable::ARIMA(Value ~ pdq(1,1,1) + break1),
        "ARIMA (1,1,1)" = fable::ARIMA(Value ~ pdq(1,1,1)),
        Naive = fable::NAIVE(Value),
    )

aug = fit %>%
  augment()

e1 <- aug %>% filter(.model == "ARIMAX (1,1,1) - 2 breaks") %>% arrange(TIME) %>% pull(.resid)
e2 <- aug %>% filter(.model == "ARIMAX (1,1,1) - 1 break") %>% arrange(TIME) %>% pull(.resid)
e3 <- aug %>% filter(.model == "ARIMA (1,1,1)") %>% arrange(TIME) %>% pull(.resid)
e4 <- aug %>% filter(.model == "Naive") %>% arrange(TIME) %>% pull(.resid)


t12 <- dm.test(e1, e2, alternative = "two.sided", h = 2, power = 2)
t13 <- dm.test(e1, e3, alternative = "two.sided", h = 2, power = 2)
t14 <- dm.test(e1, e4, alternative = "two.sided", h = 2, power = 2)
t23 <- dm.test(e2, e3, alternative = "two.sided", h = 2, power = 2)
t24 <- dm.test(e2, e4, alternative = "two.sided", h = 2, power = 2)
t34 <- dm.test(e3, e4, alternative = "two.sided", h = 2, power = 2)

dm_results <- tribble(
  ~"Μοντέλο 1",       ~"Μοντέλο 2",       ~"Τιμή DM",      ~"p-value",
  "ARIMAΧ(1,1,1) 2br.",  "ARIMAΧ(1,1,1) 1br.",         t12$statistic,        t12$p.value,
  "ARIMAΧ(1,1,1) 2br.",  "ARIMA (1,1,1)",  t13$statistic,        t13$p.value,
  "ARIMAΧ(1,1,1) 2br.",  "Naive",     t14$statistic,        t14$p.value,
  "ARIMAΧ(1,1,1) 1br.",  "ARIMA (1,1,1)",  t23$statistic,        t23$p.value,
  "ARIMAΧ(1,1,1) 1br.",  "Naive",     t24$statistic,        t24$p.value,
  "ARIMA (1,1,1)",  "Naive",     t34$statistic,        t34$p.value
) %>%
  mutate(
    "Τιμή DM" = round(`Τιμή DM`, 4),
    "p-value"      = round(`p-value`, 4),
    "Συμπέρασμα"     = ifelse(`p-value` < 0.05, "Στατ. Σημαντικό", "Καμία διαφορά")
  )

dm_results %>%
  gt_custom(head_max = 10, use_labels = FALSE) %>%
  tab_header(
    title    = "Έλεγχος Diebold - Mariano",
    subtitle = "Σύγκριση προβλεπτικής ακρίβειας μοντέλων"
  ) %>%
  tab_style(
    style     = cell_fill(color = "#e8f5e9"),
    locations = cells_body(rows = `p-value` >= 0.05, columns = "Συμπέρασμα")
  ) %>%
  tab_style(
    style     = cell_fill(color = "#fde8e8"),
    locations = cells_body(rows = `p-value` < 0.05,  columns = "Συμπέρασμα")
  ) %>%
  fmt_number(columns = c("Τιμή DM", "p-value"), decimals = 4)
Πίνακας 24: Έλεγχοι Diebold-Mariano στα μοντέλα με τη καλύτερη απόδοση για 2μηνη πρόβλεψη
Έλεγχος Diebold - Mariano
Σύγκριση προβλεπτικής ακρίβειας μοντέλων
Μοντέλο 1 Μοντέλο 2 Τιμή DM p-value Συμπέρασμα
ARIMAΧ(1,1,1) 2br. ARIMAΧ(1,1,1) 1br. −0.9218 0.3574 Καμία διαφορά
ARIMAΧ(1,1,1) 2br. ARIMA (1,1,1) −0.9349 0.3506 Καμία διαφορά
ARIMAΧ(1,1,1) 2br. Naive −2.6630 0.0082 Στατ. Σημαντικό
ARIMAΧ(1,1,1) 1br. ARIMA (1,1,1) −0.2242 0.8228 Καμία διαφορά
ARIMAΧ(1,1,1) 1br. Naive −2.5129 0.0125 Στατ. Σημαντικό
ARIMA (1,1,1) Naive −2.5001 0.0130 Στατ. Σημαντικό

Σύμφωνα με τον έλεγχο βρήκα ότι τα επιλεγμένα μοντέλα ARIMA έχουν στατιστικά σημαντικές διαφορές από το μοντέλο NAIVE που καταδεικνύουν τη σημαντικότητά τους για τη πρόβλεψη της μελλοντικής ανεργίας, τουλάχιστον σε βραχυπρόθεσμο επίπεδο. Ένα ακόμα στοιχείο μέσω των συνδυασμών ελέγχων είναι ότι τα επιλεγμένα μοντέλα ARIMA δεν έχουν στατιστικά σημαντικές διαφορές μεταξύ τους. Δηλαδή το μοντέλο ARIMAX που χρησιμοποιεί ένα ή δύο breaks δεν έχουν σημαντικές διαφορές σε ε.σ. 5% με ένα απλό μοντέλο ARIMA(1,1,1).

Καλέ, πού είναι οι υποθέσεις;

Ρε απατεώνα που είναι οι έλεγχοι των υποθέσεων. Τα λεφτά μας πίσω.

Λοιπόν, έχω κάποια καλά νέα και κάποια κακά νέα. Τα καλά νέα είναι ότι όχι μόνο δεν τελείωσε το άρθρο, αλλά θα πρέπει να ελέγξω τα καλύτερα μοντέλα κατά πόσο πληρούν τις υποθέσεις που αναλύσαμε, δηλαδή τα σφάλματα να είναι:

  • ασυσχέτιστα (),
  • ομοσκεδασικά () και
  • να ακολουθούν τη κανονική κατανομή
Κώδικας
jb_test <- function(x) {
  test <- tseries::jarque.bera.test(x)
  tibble(
    jb_stat   = as.numeric(test$statistic),
    jb_pvalue = test$p.value
  )
}
res = fit %>%
  augment()

res %>%
  features(.innov, ljung_box, lag = 20, dof = 2) %>%
    left_join(
        res %>%
            features(.innov^2, ljung_box, lag = 20) %>%
            rename(arch_stat = lb_stat, arch_pvalue = lb_pvalue),
        by = ".model"
    ) %>%
    left_join(
        res %>%
            features(.innov, jb_test),
        by = ".model"
    ) %>%
    left_join(
        glance(fit) %>%
            select(.model, AIC, BIC),
        by = ".model"
    ) %>%
  gt_custom(use_labels = TRUE) %>%
    cols_align(align = "center", columns = everything()) %>%
    tab_style(
        style = cell_text(weight = "bold"),
        locations = cells_column_labels()
    ) %>%
  fmt_number()
Μοντέλο
.model 		Στατιστική Ljung-Box
lb_stat 		p-value Ljung-Box
lb_pvalue 		Στατιστική ARCH
arch_stat 		p-value ARCH
arch_pvalue 		Στατιστική Jarque-Bera
jb_stat 		p-value Jarque-Bera
jb_pvalue 		AIC
AIC 		BIC
BIC
ARIMA (1,1,1) 48.25 0.00 45.33 0.00 2,346.67 0.00 294.44 305.47
ARIMAX (1,1,1) - 1 break 48.46 0.00 45.38 0.00 2,341.21 0.00 296.39 311.10
ARIMAX (1,1,1) - 2 breaks 51.47 0.00 45.39 0.00 2,463.18 0.00 295.35 313.74
Naive 170.81 0.00 54.96 0.00 NA NA NA NA

Πρόβλεψη μελλοντικής ανεργίας

Όλο αυτό ήταν κάπως κουραστικό, αλλά επιτέλους έφτασε η στιγμή όλα αυτά να βγάζουν κάποιο νόημα. Βρήκα ποιο είναι το καλύτερο μοντέλο, χρησιμοποιωντας το θα προβλέψω το ύψος της ανεργίας στην Ελλάδα για τους επόμενους 12 μήνες. Τα δεδομένα μου σταματάνε στον Αύγουστο του 2022 (ανεργία 12.2%), άρα η όποια εκτίμηση θα γίνει για τους μήνες Σεπτέμβριο του 2022 μέχρι και τον Αύγουστο του 2023.

Κώδικας
best_fit <- unemployment_ts %>%
  model(
    "Best Model" = fable::ARIMA(Value ~ pdq(1,1,1) + break1 + break2)
  )

fc_final <- best_fit %>%
  forecast(h = 6)

# Prepare historical data
historical <- unemployment_ts %>%
    as_tibble() %>%
    mutate(TIME = as.Date(TIME))

# Prepare forecast data
forecast_tbl <- fc_final %>%
    hilo(level = c(80, 95)) %>%
    unpack_hilo(c("80%", "95%")) %>%
    as_tibble() %>%
    mutate(TIME = as.Date(TIME)) %>%
    select(TIME, .mean, `80%_lower`, `80%_upper`, `95%_lower`, `95%_upper`)

highchart(type = "stock") %>%
    hc_title(text = "Πρόεβλεψη ανεργίας στην Ελλάδα - 6 μήνες") %>%
    hc_xAxis(type = "datetime") %>%
    hc_yAxis(title = list(text = "Ποσοστό ανεργίας (%)")) %>%
    
    # Historical line
    hc_add_series(
        data = historical,
        type = "line",
        hcaes(x = datetime_to_timestamp(TIME), y = Value),
        name = "Ιστορικά δεδομένα",
        color = "#2c3e50",
        lineWidth = 2,
        marker = list(enabled = FALSE)
    ) %>%
    
    # Point forecast line
    hc_add_series(
        data = forecast_tbl,
        type = "line",
        hcaes(x = datetime_to_timestamp(TIME), y = round(.mean, 2)),
        name = "Πρόβλεψη",
        color = "#e74c3c",
        lineWidth = 2,
        dashStyle = "Dash",
        marker = list(enabled = FALSE)
    ) %>%
    
    # 95% interval (arearange)
    hc_add_series(
        data = forecast_tbl,
        type = "arearange",
        hcaes(x = datetime_to_timestamp(TIME),
              low = round(`95%_lower`, 2),
              high = round(`95%_upper`, 2)),
        name = "95% δε",
        color = "#e74c3c",
        fillOpacity = 0.15,
        lineWidth = 0,
        linkedTo = ":previous"
    ) %>%
    
    # 80% interval (arearange)
    hc_add_series(
        data = forecast_tbl,
        type = "arearange",
        hcaes(x = datetime_to_timestamp(TIME),
              low = round(`80%_lower`, 2),
              high = round(`80%_upper`, 2)),
        name = "80% δε",
        color = "#e74c3c",
        fillOpacity = 0.25,
        lineWidth = 0,
        linkedTo = ":previous"
    ) %>%
    
    hc_tooltip(shared = TRUE, valueDecimals = 2) %>%hc_navigator(enabled = FALSE) %>%
    hc_scrollbar(enabled = FALSE) %>% hc_rangeSelector(
  enabled = TRUE,
  selected = 2,  # highlight the "1y" button visually
  buttons = list(
    list(type = "month", count = 6,  text = "6 μήνες"),
    list(type = "year",  count = 1,  text = "1 έτος"),
    list(type = "year",  count = 2,  text = "2 έτη"),
    list(type = "all",               text = "Όλα")
  )
)
Σχήμα 12: Χρονοσειρά ανεργίας με πρόβλεψη μελλοντικής ανεργίας

Και ο αντίστοιχος πίνακας με τις προβλέψεις:

Κώδικας
fc_final %>%
  hilo(level = c(80, 95)) %>%
  unpack_hilo(c("80%", "95%")) %>%
  select(TIME, .mean, `80%_lower`, `80%_upper`, `95%_lower`, `95%_upper`) %>%
  mutate(across(where(is.numeric), ~ round(., 2))) %>%
  mutate("80% ΔΕ" = glue("[{`80%_lower`}, {`80%_upper`}]")) %>%
  mutate("95% ΔΕ" = glue("[{`95%_lower`}, {`95%_upper`}]")) %>%
  rename("Μήνας" = TIME,
         "Πρόβλεψη" = .mean) %>%
  select("Μήνας", "Πρόβλεψη","80% ΔΕ", "95% ΔΕ") %>%
  gt_custom(head_max = 8, use_labels = FALSE)
Πίνακας 25: Προβλέψεις ανεργίας στην Ελλάδα για τους επόμενους 6 μήνες και αντίστοιχα διαστήματα εμπιστοσύνης
Μήνας Πρόβλεψη 80% ΔΕ 95% ΔΕ
2022 Σεπ 12.15 [11.65, 12.66] [11.38, 12.93]
2022 Οκτ 12.03 [11.28, 12.78] [10.88, 13.18]
2022 Νοε 11.91 [10.96, 12.86] [10.45, 13.37]
2022 Δεκ 11.79 [10.65, 12.94] [10.05, 13.54]
2023 Ιαν 11.68 [10.36, 13] [9.66, 13.71]
2023 Φεβ 11.57 [10.07, 13.07] [9.28, 13.86]

Με δεδομένο το διάγραμμα αλλά και το πίνακα των προβλέψεων του μοντέλου με τη καλύτερη επίδοση, συμπεραίνω ότι η μείωση της ανεργίας στην Ελλάδα θα συνεχιστεί και την επόμενη περίοδο (τους επόμενους έξι μήνες). Πιο συγκεκριμένα, η ανεργία στην Ελλάδα τον Φεβρουάριο του 2023 θα είναι 11.4%, κυμαίνεται μεταξύ του 10.1% (9.4%) και 12.8% (13.5%) σμε πιθανότητα 80% (95%).

Ευχαριστίες

Φωτογραφία από Rosy / Bad Homburg / Germany από το Pixabay

Αναφορές

Applied Time Series Analysis. (χ.χ.). Ανακτήθηκε 19 Οκτώβριος 2022, από https://online.stat.psu.edu/stat510/
Eddelbuettel, D. (2013). Seamless R and C++ Integration with Rcpp. New York: Springer. https://doi.org/10.1007/978-1-4614-6868-4
Eddelbuettel, D., & Balamuta, J. J. (2018). Extending R with C++: A Brief Introduction to Rcpp. The American Statistician, 72(1), 28–36. https://doi.org/10.1080/00031305.2017.1375990
Eddelbuettel, D., Francois, R., Allaire, J., Ushey, K., Kou, Q., Russell, N., … Chambers, J. (2026). Rcpp: Seamless R and C++ Integration. Ανακτήθηκε από https://www.rcpp.org
Eddelbuettel, D., & François, R. (2011). Rcpp: Seamless R and C++ Integration. Journal of Statistical Software, 40(8), 1–18. https://doi.org/10.18637/jss.v040.i08
Gohel, D., & Skintzos, P. (2025). flextable: Functions for Tabular Reporting. Ανακτήθηκε από https://ardata-fr.github.io/flextable-book/
Graves, S. (2024). FinTS: Companion to Tsay (2005) Analysis of Financial Time Series. Ανακτήθηκε από https://geobosh.github.io/FinTSDoc/
Grolemund, G., & Wickham, H. (2011). Dates and Times Made Easy with lubridate. Journal of Statistical Software, 40(3), 1–25. Ανακτήθηκε από https://www.jstatsoft.org/v40/i03/
Hester, J., & Bryan, J. (2024). glue: Interpreted String Literals. Ανακτήθηκε από https://glue.tidyverse.org/
Hothorn, T., Zeileis, A., Farebrother, R. W., & Cummins, C. (2022). lmtest: Testing Linear Regression Models. https://doi.org/10.32614/CRAN.package.lmtest
Hyndman, R. J., & Athanasopoulos, G. (2018). Forecasting: principles and practice. OTexts.
Hyndman, R. J., & Khandakar, Y. (2008). Automatic time series forecasting: the forecast package for R. Journal of Statistical Software, 27(3), 1–22. https://doi.org/10.18637/jss.v027.i03
Hyndman, R., Athanasopoulos, G., Bergmeir, C., Caceres, G., Chhay, L., Kuroptev, K., … Yasmeen, F. (2026). forecast: Forecasting Functions for Time Series and Linear Models. Ανακτήθηκε από https://pkg.robjhyndman.com/forecast/
Iannone, R., Cheng, J., Schloerke, B., Haughton, S., Hughes, E., Lauer, A., … Roy, O. (2025). gt: Easily Create Presentation-Ready Display Tables. Ανακτήθηκε από https://gt.rstudio.com
Kunst, J. (2022). highcharter: A Wrapper for the Highcharts Library. Ανακτήθηκε από https://jkunst.com/highcharter/
Lin, G. (2025). reactable: Interactive Data Tables for R. Ανακτήθηκε από https://glin.github.io/reactable/
López-de-Lacalle, J. (2023). uroot: Unit Root Tests for Seasonal Time Series. Ανακτήθηκε από https://geobosh.github.io/uroot/
Müller, K., & Wickham, H. (2026). tibble: Simple Data Frames. Ανακτήθηκε από https://tibble.tidyverse.org/
O’Hara-Wild, M. (2020). fable.prophet: Prophet Modelling Interface for fable. Ανακτήθηκε από https://pkg.mitchelloharawild.com/fable.prophet/
O’Hara-Wild, M., Hyndman, R., & Wang, E. (2025a). fabletools: Core Tools for Packages in the fable Framework. Ανακτήθηκε από https://fabletools.tidyverts.org/
O’Hara-Wild, M., Hyndman, R., & Wang, E. (2025b). feasts: Feature Extraction and Statistics for Time Series. Ανακτήθηκε από http://feasts.tidyverts.org/
O’Hara-Wild, M., Hyndman, R., & Wang, E. (2026). fable: Forecasting Models for Tidy Time Series. Ανακτήθηκε από https://fable.tidyverts.org
OECD. (2022). Unemployment rate (indicator). Ανακτήθηκε 14 Οκτώβριος 2022, από doi: 10.1787/52570002-en
Pfaff, B. (2008). Analysis of Integrated and Cointegrated Time Series with R (Second). New York: Springer. Ανακτήθηκε από https://www.pfaffikus.de
Pfaff, Bernhard. (2024). urca: Unit Root and Cointegration Tests for Time Series Data. https://doi.org/10.32614/CRAN.package.urca
R Core Team. (2025). R: A Language and Environment for Statistical Computing. Vienna, Austria: R Foundation for Statistical Computing. Ανακτήθηκε από https://www.R-project.org/
R Graph Gallery. (2018). Time Series. URL https://r-graph-gallery.com/time-series.html.
Spinu, V., Grolemund, G., & Wickham, H. (2024). lubridate: Make Dealing with Dates a Little Easier. Ανακτήθηκε από https://lubridate.tidyverse.org
Trapletti, A., & Hornik, K. (2026). tseries: Time Series Analysis and Computational Finance. https://doi.org/10.32614/CRAN.package.tseries
Vaidyanathan, R., Xie, Y., Allaire, J., Cheng, J., Sievert, C., & Russell, K. (2023). htmlwidgets: HTML Widgets for R. Ανακτήθηκε από https://github.com/ramnathv/htmlwidgets
Wang, E., Cook, D., & Hyndman, R. J. (2020). A new tidy data structure to support exploration and modeling of temporal data. Journal of Computational and Graphical Statistics, 29(3), 466–478. https://doi.org/10.1080/10618600.2019.1695624
Wang, E., Cook, D., Hyndman, R., & O’Hara-Wild, M. (2025). tsibble: Tidy Temporal Data Frames and Tools. Ανακτήθηκε από https://tsibble.tidyverts.org
Wickham, H., François, R., Henry, L., Müller, K., & Vaughan, D. (2023). dplyr: A Grammar of Data Manipulation. Ανακτήθηκε από https://dplyr.tidyverse.org
Wickham, H., & Henry, L. (2026). purrr: Functional Programming Tools. Ανακτήθηκε από https://purrr.tidyverse.org/
Wickham, H., Hester, J., & Bryan, J. (2025). readr: Read Rectangular Text Data. Ανακτήθηκε από https://readr.tidyverse.org
Zeileis, A. (2004). Econometric Computing with HC and HAC Covariance Matrix Estimators. Journal of Statistical Software, 11(10), 1–17. https://doi.org/10.18637/jss.v011.i10
Zeileis, A. (2006a). Implementing a Class of Structural Change Tests: An Econometric Computing Approach. Computational Statistics & Data Analysis, 50(11), 2987–3008. https://doi.org/10.1016/j.csda.2005.07.001
Zeileis, A. (2006b). Object-Oriented Computation of Sandwich Estimators. Journal of Statistical Software, 16(9), 1–16. https://doi.org/10.18637/jss.v016.i09
Zeileis, A., & Grothendieck, G. (2005). zoo: S3 Infrastructure for Regular and Irregular Time Series. Journal of Statistical Software, 14(6), 1–27. https://doi.org/10.18637/jss.v014.i06
Zeileis, A., Grothendieck, G., & Ryan, J. A. (2025). zoo: S3 Infrastructure for Regular and Irregular Time Series (Z’s Ordered Observations). Ανακτήθηκε από https://zoo.R-Forge.R-project.org/
Zeileis, A., & Hothorn, T. (2002). Diagnostic Checking in Regression Relationships. R News, 2(3), 7–10. Ανακτήθηκε από https://CRAN.R-project.org/doc/Rnews/
Zeileis, A., Kleiber, C., Krämer, W., & Hornik, K. (2003). Testing and Dating of Structural Changes in Practice. Computational Statistics & Data Analysis, 44(1–2), 109–123. https://doi.org/10.1016/S0167-9473(03)00030-6
Zeileis, A., Köll, S., & Graham, N. (2020). Various Versatile Variances: An Object-Oriented Implementation of Clustered Covariances in R. Journal of Statistical Software, 95(1), 1–36. https://doi.org/10.18637/jss.v095.i01
Zeileis, A., Leisch, F., Hornik, K., & Kleiber, C. (2002). strucchange: An R Package for Testing for Structural Change in Linear Regression Models. Journal of Statistical Software, 7(2), 1–38. https://doi.org/10.18637/jss.v007.i02
Zeileis, A., Leisch, F., Hornik, K., & Kleiber, C. (2024). strucchange: Testing, Monitoring, and Dating Structural Changes. https://doi.org/10.32614/CRAN.package.strucchange
Zeileis, A., & Lumley, T. (2024). sandwich: Robust Covariance Matrix Estimators. Ανακτήθηκε από https://sandwich.R-Forge.R-project.org/
Zhu, H. (2024). kableExtra: Construct Complex Table with kable and Pipe Syntax. Ανακτήθηκε από http://haozhu233.github.io/kableExtra/

Αναφορά

Αναφορά BibTeX:
@online{2022,
  author = {, stesiam},
  title = {Προβλέποντας την Ανεργία στην Ελλάδα},
  date = {2022-10-22},
  url = {https://stesiam.com/el/posts/forecasting-greek-unemployment/},
  langid = {el}
}
Για απόδοση ευγνωμοσύνης, παρακαλούμε αναφερθείτε σε αυτό το έργο ως:
stesiam. (2022, October 22). Προβλέποντας την Ανεργία στην Ελλάδα. Retrieved from https://stesiam.com/el/posts/forecasting-greek-unemployment/
]]> R Χρονοσειρες https://stesiam.com/el/posts/forecasting-greek-unemployment/ Sat, 22 Oct 2022 00:00:00 GMT Περιγραφική Ανάλυση Ελληνικού Κοινοβουλίου stesiam https://stesiam.com/el/posts/eda-greek-parliament/

Εισαγωγή

Και ξεκινάμε…

Αυτό είναι το πρώτο άρθρο ανάλυσης στην ιστοσελίδα μου! Προσωπικά, δεν επιθυμούσα να ξεκινήσω με μία έτοιμη βάση δεδομένων και να εφαρμόσω ένα απλό μοντέλο μηχανικής μάθησης. Αποφάσισα να παιδευτώ ελαφρώς προκειμένου να εφαρμόσω όλο τον κύκλο της ανάλυσης δεδομένων ξεκινώντας από την εξόρυξη αυτών, στη τακτοποίηση και να καταλήξω στην ανάλυσή τους. Σε αυτό το κείμενο θα ήθελα να ασχοληθώ με την ιστορία των εκπροσώπων του ελληνικού κοινοβουλίου και να απαντηθούν κάποια ενδιαφέροντα ερωτήματα. Για τη διεξαγωγή της έρευνας θα εξάγω τα δεδομένα που έχει δημοσιεύσει η ιστοσελίδα του Ελληνικού Κοινοβουλίου σχετικά με τους εκλεγμένους βουλευτές.

Το ελληνικό πολιτικό σκηνικό έχει κατακτήσει τη συζήτηση της κοινής γνώμης τα τελευταία χρόνια, δυστυχώς για αρνητικούς λόγους, λόγω της πρόσφατης οικονομικής κρίσης. Ένα σημαντικό μέρος του διαλόγου είναι τα αίτια της κρίσης, τα οποία αποτελούν σημείο αντιπαράθεσης μέχρι και σήμερα. Σε αυτό το άρθρο θα ασχοληθώ με μόνο ένα σημείο της κριτικής, ότι «έχουμε τους ίδιους» εκπροσώπους. Βέβαια τα κόμματα Βέβαια οι εκπρόσωποι μας στη Βουλή δεν ορίστηκαν από κανένα κόμμα, αλλά αντιθέτως έγιναν εκλογές, οπότε η κριτική επικεντρώνεται στο ότι εκλέγονται τα ίδια κόμματα ή ακόμα και οι ίδιοι εκπρόσωποι, ενδεχομένως λόγω προσωπικών οφελών. Τελικά, τι συνέβη σε αυτή τη περίπτωση; Είναι ένας ισχυρισμός που έχει νόημα; Αυτό θα μελετήσω σε αυτό το άρθρο, όμως παράλληλα θα μελετήσω την εμμονή σε ίδια πρόσωπα σε οπαδούς του ίδιου κόμματος, ενώ παρουσιάζει ενδιαφέρον η μελέτη του ίδιου χαρακτηριστικού σε επίπεδο νομού.

Προαπαιτούμενα

Εισαγωγή πακέτων

Αρχικά θα εισάγουμε τις απαραίτητες βιβλιοθήκες, αναλόγως των εντολών που χρειάζομαι και της ανάλυσης που θα κάνω. Ενδεικτικά θα χρειαστώ το μετα-πακέτο tidyverse για να εισάγω, τροποποιήσω και οπτικοποιήσω τα δεδομένα. Στη συνέχεια, για τη κατασκευή πινάκων θα χρησιμοποιήσω το πακέτο reactable. Τέλος, για να έχω διαγράμματα που να φαίνονται αξιοπρεπώς σε όλους τους τύπους των οθονών προτείνεται η χρήση του πακέτου highcharter.

Δείξε τον κώδικα
library(arrow)
# General purpose R libraries
library(tidyverse)
library(kableExtra)
library(reactable)
library(keyring)
library(deeplr)
library(gt)

# Graphs
library(ggplot2)
library(ggpol) 
library(ggtext)
library(highcharter)

# Άλλες ρυθμίσεις
options(digits=2) # print only 2 decimals

Εισαγωγή δεδομένων

Για να βρω ποιοι είναι οι περισσότεροι εκλεγμένοι βουλευτές σε εθνικό επίπεδο, κόμματος αλλά και εκλογικής περιφέρειας πρέπει να βρω τα αντίστοιχα δεδομένα. Ευτυχώς, η ιστοσελίδα του Ελληνικού Κοινοβουλίου διατηρεί σχετικό ηλεκτρονικό αρχείο με τους εκλεγμένους βουλευτές από το 1974 μέχρι και το 2019. Τα δεδομένα συλλέχθηκαν με τη βοήθεια του πακέτου RSelenium, ωστόσο δεν θα αναλύσω τον τρόπο αυτής. Σε περίπτωση που κάποιος ενδιαφέρεται για αυτό μπορεί να δει το σχετικό κώδικα στο GitHub. Χρησιμοποιώ το ήδη εξορυγμένο σύνολο δεδομένων και το εισάγω με την εντολή read_csv().

Δείξε τον κώδικα
parliamentGR = read.csv("https://github.com/stesiam/scrape-greek-parl-members-26/releases/download/v1.1.0/parlMembers-el.csv")
parliamentEN = read.csv("https://github.com/stesiam/scrape-greek-parl-members-26/releases/download/v1.1.0/parlMembers-eng.csv")

Ορισμός συναρτήσεων

Προκειμένου να αποφύγω την επανάληψη του κώδικά μου θα ορίσω και μερικές συναρτήσεις. Αρχικά, θέλω να έχω πίνακες που βασίζονται στη βιβλιοθήκη reactable με ορισμένες αλλαγές στην εμφάνιση για να φαίνονται ωραία. Για αυτό σε πολλούς πίνακες θα δείτε χρήση της reactable_custom αντί απλώς της reactable εντολής.

Δείξε τον κώδικα
gt_custom <- function(data, head_max = 5, use_labels = TRUE) {
    
    data_subset <- as.data.frame(data) %>% head(head_max)
    
    gt_tbl <- data_subset %>%
        gt() %>%
        cols_align(align = "center", columns = everything()) %>%
        tab_style(
            style = cell_text(
                v_align = "middle",
                weight = "bold",
                whitespace = "normal"
            ),
            locations = cells_column_labels()
        ) %>%
        tab_options(
            row.striping.include_table_body = FALSE,
            table.background.color = "transparent",
            column_labels.background.color = "transparent",
            table.width = pct(100), 
            table.font.size = px(13),           
            data_row.padding = px(15), 
            column_labels.padding = px(15),
            table.border.top.style = "none",
            table.border.bottom.style = "none",
            table_body.hlines.style = "none", 
            column_labels.border.top.width = px(2),
            column_labels.border.top.color = "#757575",
            column_labels.border.bottom.width = px(2),
            column_labels.border.bottom.color = "#757575",
            table_body.border.bottom.width = px(2),
            table_body.border.bottom.color = "#757575"
        ) %>%
        opt_css(css = "
      .gt_table th, .gt_table td { 
        text-align: center !important; 
        vertical-align: middle !important;
      }
      .gt_table { 
        margin-left: auto !important; 
        margin-right: auto !important; 
        width: 100% !important;
      }
      .gt_table tr { background-color: transparent !important; }
      .gt_row { background-color: transparent !important; }
    ")
    
    # Apply labels only if requested
    if (use_labels) {
        gt_tbl <- gt_tbl %>%
            cols_label_with(
                fn = function(x) {
                    html(paste0(
                        "<b>", greek_labels[x], "</b>",
                        "<br><span style='font-size:10px; color:#777; font-style:italic;'>",
                        x,
                        "</span>"
                    ))
                }
            )
    }
    
    return(gt_tbl)
}

reactable_custom = function(data, head_max = 5){
  reactable(
  head(data, head_max),
  bordered = FALSE,     # No borders (booktabs style)
  striped = FALSE,      # No stripes for a clean look
  highlight = FALSE,    # No hover highlighting
  defaultColDef = colDef(align = "center"),
  style = list(fontSize = "14px", border = "none"),
  theme = reactableTheme(
    borderColor = "transparent", # Remove border
    cellStyle = list(
      borderBottom = "transparent"  # Subtle line between rows
    ),
    headerStyle = list(
      borderBottom = "2px solid rgb(117, 117, 117)", # Thick top rule
      borderTop = "2px solid rgb(117, 117, 117)",
      fontWeight = "bold"
    )
  )
) 
}

Αυτό το άρθρο είναι ένα άρθρο ανάλυσης του κοινοβουλίου. Θα ήταν εξαιρετικά ενδιαφέρον μιας και υπάρχουν δεδομένα των βουλευτών και των κοινοβουλευτικών ομάδων που ανήκουν να κατασκευάσω διαγράμματα Βουλής. Με δεδομένο ότι κάνω ιστορική αναδρομή είναι πολύ πιθανό να χρειαστώ παραπάνω από τρία στο συγκεκριμένο άρθρο, γεγονός που δικαιολογεί τη δημιουργία μίας συνάρτησης. Η συνάρτηση μου θα καλείται plot_parliament_term και θα δέχεται ουσιαστικά ως τιμή έναν αριθμό που θα δηλώνει ποιας περιόδου θα θέλαμε να διαγραμματίσουμε. Τα δεδομένα μου έχουν διαθέσιμα δεδομένα από τη Γ - 3η περίοδο (1981 - 1985) μέχρι και την ΙΗ’ (17) περίοδο (2019Β- ), συνεπώς το όρισμα της συνάρτησης δέχεται τιμές από το 3 μέχρι το 17.

Δείξε τον κώδικα
##new function plot
plot_parliament <- function(data, period_number, lang = "el") {
    
    df_period <- data %>%
        filter(period_num == period_number)
    
    seats_party <- df_period %>%
        group_by(abbrNamesEl, fullNamesEl, Color) %>%
        summarise(n = n(), .groups = "drop") %>%
        arrange(desc(n))
    
    total_seats <- sum(seats_party$n)
    
    title_text    <- if (lang == "el") paste0("Σύνθεση Βουλής – Περίοδος ", period_number) else paste0("Parliament Composition – Period ", period_number)
    subtitle_text <- if (lang == "el") paste0("Σύνολο εδρών: ", total_seats) else paste0("Total seats: ", total_seats)
    caption_text  <- if (lang == "el") "Πηγή: Βουλή των Ελλήνων" else "Source: Hellenic Parliament"
    hover_text    <- if (lang == "el") "Έδρες" else "Seats"
    
    highchart() %>%
        hc_chart(type = "item") %>%
        hc_title(text = title_text) %>%
        hc_subtitle(text = subtitle_text) %>%
        hc_caption(
            text = caption_text,
            align = "center",
            verticalAlign = "bottom",
            y = 10
        ) %>%
        hc_legend(labelFormat = "{name} <span style='opacity: 0.4'>{y}</span>") %>%
        hc_add_series(
            name = hover_text,
            data = purrr::pmap(
                list(seats_party$fullNamesEl, seats_party$n, seats_party$Color, seats_party$abbrNamesEl),
                list
            ),
            keys = c("name", "y", "color", "label"),
            dataLabels = list(
                enabled = TRUE,
                format = "{point.label}",
                style = list(textOutline = "5px contrast")
            ),
            center = list("50%", "88%"),
            size = "170%",
            startAngle = -100,
            endAngle = 100
        ) %>%
        hc_responsive(
            rules = list(
                list(
                    condition = list(maxWidth = 768),
                    chartOptions = list(
                        series = list(
                            dataLabels = list(
                                distance = -30,
                                style = list(
                                    fontSize = "12px",
                                    textOutline = "1px contrast"
                                )
                            ),
                            center = list("50%", "75%"),
                            size = "130%"
                        )
                    )
                ),
                list(
                    condition = list(maxWidth = 600),
                    chartOptions = list(
                        series = list(
                            dataLabels = list(
                                enabled = FALSE
                            ),
                            center = list("50%", "75%"),
                            size = "130%"
                        )
                    )
                ),
                list(
                    condition = list(maxWidth = 400),
                    chartOptions = list(
                        series = list(
                            dataLabels = list(
                                enabled = FALSE
                            ),
                            center = list("50%", "80%"),
                            size = "110%"
                        )
                    )
                )
            )
        )
}

Δομή δεδομένων

Με βάση τον παραπάνω πίνακα τα συλλεγμένα δεδομένα αποτελούνται από 6 μεταβλητές (στήλες), εκ των οποίων καμία δεν είναι ποσοτική και οι υπόλοιπες πέντε είναι ποιοτικές. Από αυτές τις πέντε, οι τέσσερις είναι κατηγορικές και μία διατάξιμη μεταβλητή.

Πίνακας 1: Σύνοψη και περιγραφή μεταβλητών
Μεταβλητή Τύπος μεταβλητής Περιγραφή
Full Name Ποιοτική
(κατηγορική)		 Επώνυμο / Όνομα / Όνομα πατέρα
Party Ποιοτική
(κατηγορική)		 Κοινοβουλευτική όμάδα - Κόμμα που εκπροσωπεί
Constituency Ποιοτική
(κατηγορική)		 Εκλογική περιφέρεια
Term Ποιοτική
(διατάξιμη)		 Περίοδος θητείας
gender Ποιοτική
(κατηγορική)		 Εκτίμηση κοινωνικού φύλου με βάση το όνομα

Αυτή η σύνοψη των δεδομένων είναι σημαντική, αλλά τις περισσότερες φορές είναι ωφέλιμη η προεπισκόπηση αυτών. Έτσι λοιπόν θα επιλέξω να εκτυπώσω και τις πρώτες γραμμές του συνόλου δεδομένων μου.

Πίνακας 2: Προεπισκόπηση συνόλου δεδομένων (πρώτες 10 σειρές)
Ονοματεπώνυμο
name 		Κόμμα
party 		Περιφέρεια
region 		Εκλογική περίοδος
period_name 		Διάρκεια περιόδου
dates 		Εκτιμώμενο φύλο
gender
Αγαπηδάκη Ειρήνη Στυλιανού ΝΕΑ ΔΗΜΟΚΡΑΤΙΑ ΕΠΙΚΡΑΤΕΙΑΣ ΙΘ΄ (28/05/2023 - 29/05/2023) γυναίκα
Σκυλακάκης Θεόδωρος Στεφάνου ΝΕΑ ΔΗΜΟΚΡΑΤΙΑ ΕΠΙΚΡΑΤΕΙΑΣ ΙΘ΄ (28/05/2023 - 29/05/2023) άνδρας
Στυλιανίδης Χρήστος Μέλη ΝΕΑ ΔΗΜΟΚΡΑΤΙΑ ΕΠΙΚΡΑΤΕΙΑΣ ΙΘ΄ (28/05/2023 - 29/05/2023) άνδρας
Λυτρίβη Ιωάννα Δημητρίου ΝΕΑ ΔΗΜΟΚΡΑΤΙΑ ΕΠΙΚΡΑΤΕΙΑΣ ΙΘ΄ (28/05/2023 - 29/05/2023) γυναίκα
Σταμάτης Γεώργιος Αναστασίου ΝΕΑ ΔΗΜΟΚΡΑΤΙΑ ΕΠΙΚΡΑΤΕΙΑΣ ΙΘ΄ (28/05/2023 - 29/05/2023) άνδρας
Χατζηιωαννίδου Μαρία Νεφέλη Βασιλείου ΝΕΑ ΔΗΜΟΚΡΑΤΙΑ ΕΠΙΚΡΑΤΕΙΑΣ ΙΘ΄ (28/05/2023 - 29/05/2023) γυναίκα
Πολύζου Μαρία Αθανασίου ΝΕΑ ΔΗΜΟΚΡΑΤΙΑ ΕΠΙΚΡΑΤΕΙΑΣ ΙΘ΄ (28/05/2023 - 29/05/2023) γυναίκα
Ηλιόπουλος Όθων Σταύρου ΣΥΝΑΣΠΙΣΜΟΣ ΡΙΖΟΣΠΑΣΤΙΚΗΣ ΑΡΙΣΤΕΡΑΣ - ΠΡΟΟΔΕΥΤΙΚΗ ΣΥΜΜΑΧΙΑ ΕΠΙΚΡΑΤΕΙΑΣ ΙΘ΄ (28/05/2023 - 29/05/2023) άνδρας
Ακρίτα Έλενα Λουκή ΣΥΝΑΣΠΙΣΜΟΣ ΡΙΖΟΣΠΑΣΤΙΚΗΣ ΑΡΙΣΤΕΡΑΣ - ΠΡΟΟΔΕΥΤΙΚΗ ΣΥΜΜΑΧΙΑ ΕΠΙΚΡΑΤΕΙΑΣ ΙΘ΄ (28/05/2023 - 29/05/2023) γυναίκα
Αποστολάκης Ευάγγελος Ευαγγέλου ΣΥΝΑΣΠΙΣΜΟΣ ΡΙΖΟΣΠΑΣΤΙΚΗΣ ΑΡΙΣΤΕΡΑΣ - ΠΡΟΟΔΕΥΤΙΚΗ ΣΥΜΜΑΧΙΑ ΕΠΙΚΡΑΤΕΙΑΣ ΙΘ΄ (28/05/2023 - 29/05/2023) άνδρας

Τακτοποίηση δεδομένων

Αφού εισάγω τα δεδομένα καλό θα ήταν να γίνει κάποια βασική τακτοποίηση αυτών ή μία εκτεταμένη μορφή αυτής σε περίπτωση που διαπιστώσω ότι τα δεδομένα μου δεν έχουν οργανωμένη ή μία συνεπή δομή. Θα μελετήσουμε σταδιακά τη κάθε μεταβλητή, ξεκινώντας από τα ονόματα των κομμάτων (μεταβλητή Party). Αρχικά, ας συλλέξουμε όλα τις πιθανές τιμές, δηλαδή όλες τις κοινοβουλευτικές ομάδες στην ιστορία του κοινοβουλίου που δεν διαλύθηκαν προτού γίνουν νέες εκλογές. Τα ονόματα των κομμάτων είναι στα αγγλικά και οι εκτάσεις των ονομάτων εξαιρετικά μεγάλες, ενώ αναμιγνύονται τα ονόματα με τις συντμήσεις των ονομάτων τους.

Η πρόσοψη του Ελληνικού Κοινοβουλίου που βρίσκεται στη πλατεία Συντάγματος. Η κατασκευή του κτιρίου ξεκίνησε το 1836 και ολοκληρώθηκε το 1843. Ο αρχικός σκοπός του κτιρίου να είναι ανάκτορο για τον βασιλιά Όθωνα για αυτό το λόγο το κτίριο είναι γνωστό και με το όνομα Παλαιά Ανάκτορα. Από το 1935 μέχρι και σήμερα χρησιμοποιείται ως έδρα του κοινοβουλίου.
Πηγή φωτογραφίας: Pixabay, 2022 από το χρήστη Leonhard_Niederwimmer - Άδεια χρήσης: Pixabay Licence

Δείξε τον κώδικα
data.frame(
   "Κόμμα"= unique(parliamentGR$party),
   "Σύνολο χαρακτήρων" = str_length(unique(parliamentGR$party)),check.names = FALSE
) %>%
  arrange(-`Σύνολο χαρακτήρων`) %>%
  gt_custom(., 7, use_labels = FALSE)
Πίνακας 3: Προεπισκόπηση ονομάτων κομμάτων Ελληνικού Κοινοβουλίου
Κόμμα Σύνολο χαρακτήρων
ΔΗΜΟΚΡΑΤΙΚΗ ΣΥΜΠΑΡΑΤΑΞΗ (ΠΑΝΕΛΛΗΝΙΟ ΣΟΣΙΑΛΙΣΤΙΚΟ ΚΙΝΗΜΑ - ΔΗΜΟΚΡΑΤΙΚΗ ΑΡΙΣΤΕΡΑ) 79
ΣΥΝΑΣΠΙΣΜΟΣ ΡΙΖΟΣΠΑΣΤΙΚΗΣ ΑΡΙΣΤΕΡΑΣ - ΠΡΟΟΔΕΥΤΙΚΗ ΣΥΜΜΑΧΙΑ 59
ΑΝΕΞΑΡΤΗΤΟΙ ΕΛΛΗΝΕΣ ΕΘΝΙΚΗ ΠΑΤΡΙΩΤΙΚΗ ΔΗΜΟΚΡΑΤΙΚΗ ΣΥΜΜΑΧΙΑ 58
ΑΝΕΞΑΡΤΗΤΟΙ ΕΛΛΗΝΕΣ - ΠΑΝΟΣ ΚΑΜΜΕΝΟΣ 36
ΕΛΛΗΝΙΚΗ ΛΥΣΗ - ΚΥΡΙΑΚΟΣ ΒΕΛΟΠΟΥΛΟΣ 35
ΣΥΝΑΣΠΙΣΜΟΣ ΡΙΖΟΣΠΑΣΤΙΚΗΣ ΑΡΙΣΤΕΡΑΣ 35
ΕΝΙΑΙΑ ΔΗΜΟΚΡΑΤΙΚΗ ΑΡΙΣΤΕΡΑ- Ε.Δ.Α. 35

Σαν να μην έφτανε αυτό παρατηρώ ότι υπάρχουν πολλαπλές καταχωρήσεις για το ίδιο κόμμα που ενδεχομένως κατά τη πάροδο των ετών έκανε ένα μικρό rebranding (Ανεξάρτητοι Έλληνες) ή ακόμα και πιο μεγάλες αλλαγές που κατά βάση αναφέρονται και είναι πρόγονοι ή απόγονοι ως επί το πλείστον του ίδιου κόμματος (Συνασπισμός -> ΣΥΡΙΖΑ ή ΠΑΣΟΚ -> Ελιά -> Δημοκρατική Συμπαράταξη -> Κίνημα Αλλαγής -> ΠΑΣΟΚ). Μιας και αυτές οι αλλαγές δεν μπορούν να κατανοηθούν εύκολα, κρίνεται απαραίτητη η δημιουργία ενός νέου πίνακα ώστε να ομαδοποιήσω αυτή τη πληροφορία και να την συγχωνεύσω στο βασικό μου σύνολο δεδομένων.

Δείξε τον κώδικα
parties = data.frame(
  sourceNamesEL = unique(parliamentGR$party),
  fullNamesEn = c("New Democracy","Coalition of the Radical Left", "Panhellenic Socialistic Movement",
                       "Communist Party of Greece", "Independent", "Greek Solution", 
                       "Coalition of the Radical Left", "Panhellenic Socialistic Movement", 
                       "European Realistic Disobedience Front", "Golden Dawn", 
                       "Panhellenic Socialistic Movement", "The River", "Popular Unity",
                       "Independent Greeks", "Panhellenic Socialistic Movement",
                       "Independent Greeks", "Democratic Left", "Independent Democratic MPs",
                       "Popular Orthodox Rally", "Coalition of the Radical Left",
                       "Democratic Social Movement", "Political Spring", "Alternative Ecologists",
                       "Democratic Renewal", "Communist Party οf Greece (interior)",
                       "Union of the Democratic Centre","National Alignment", 
                       "Progress and Left Forces Alliance", "Party of New Liberals", "United Democratic Left"),
  fullNamesEl = c("Νέα Δημοκρατία", "Συνασπισμός Ριζοσπαστικής Αριστεράς", "Πανελλήνιο Σοσιαλιστικό Κίνημα",
                       "Κομμουνιστικό Κόμμα Ελλάδας", "Ανεξάρτητοι", "Ελληνική Λύση",
                       "Συνασπισμός Ριζοσπαστικής Αριστεράς", "Πανελλήνιο Σοσιαλιστικό Κίνημα",
                       "Μέτωπο Ευρωπαϊκής Ρεαλιστικής Ανυπακοής", "Χρυσή Αυγή",
                       "Πανελλήνιο Σοσιαλιστικό Κίνημα", "Το Ποτάμι", "Λαϊκή Ενότητα",
                       "Ανεξάρτητοι Έλληνες", "Πανελλήνιο Σοσιαλιστικό Κίνημα",
                        "Ανεξάρτητοι Έλληνες", "Δημοκρατική Αριστερά", "Ανεξάρτητοι Δημοκρατικοί Βουλευτές",
                       "Λαϊκός Ορθόδοξος Συναγερμός", "Συνασπισμός Ριζοσπαστικής Αριστεράς",
                       "Δημοκρατικό Κοινωνικό Κίνημα", "Πολιτική Άνοιξη", "Εναλλακτικοί Οικολόγοι",
                       "Δημοκρατική Ανανέωση", "Κομμουνιστικό Κόμμα Ελλάδας Εσωτερικού", 
                       "Ένωση Δημοκρατικού Κέντρου", "Εθνική Παράταξη", 
                       "Συμμαχία Προοδευτικών και Αριστερών Δυνάμεων", "Κόμμα Νεοφιλελευθέρων", 
                       "Ενιαία Δημοκρατική Αριστερά"),
  abbrNamesEn = c("ND", "SYRIZA", "PASOK", "KKE", "Independent", "Lysi", "SYRIZA", "PASOK",
                       "MeRA25", "GD", "PASOK", "River", "LaE", "ANEL", "PASOK", "ANEL", "DIMAR",
                       "ADP", "LAOS", "SYRIZA", "DIKKI", "POLAN", "AE", "DIANA", "KKE int.",
                       "EDIK", "EP", "SPAD", "KNF", "EDA"),
    abbrNamesEl = c("ΝΔ", "ΣΥΡΙΖΑ", "ΠΑΣΟΚ", "ΚΚΕ", "Ανεξάρτητοι", "Λύση", "ΣΥΡΙΖΑ", "ΠΑΣΟΚ",
                       "ΜέΡΑ25", "ΧΑ", "ΠΑΣΟΚ", "ΠΟΤΑΜΙ", "ΛΑΕ", "ΑΝΕΛ", "ΠΑΣΟΚ", "ΑΝΕΛ", "ΔΗΜΑΡ",
                       "ΑΔΠ", "ΛΑΟΣ", "ΣΥΡΙΖΑ", "ΔΗΚΚΙ", "ΠΟΛΑΝ", "ΑΕ", "ΔΗΑΝΑ", "ΚΚΕ εσ.",
                       "ΕΔΗΚ", "ΕΠ", "ΣΠΑΔ", "ΚΝΦ", "ΕΔΑ")) |>
  mutate(Color = case_when(
    abbrNamesEn == "PASOK" ~ "#95bb72",
    abbrNamesEn == "ND" ~ "#0492c2",
    abbrNamesEn == "KKE" ~ "#FF6666",
    abbrNamesEn == "SYRIZA" ~ "#e27bb1",
    abbrNamesEn == "KKE int." ~ "#FF3366",
    abbrNamesEn == "INDEPENDENT" ~ "#ffffff",
    abbrNamesEn == "DIANA" ~ "orange",
    abbrNamesEn == "DHMAR" ~ "#FF4466",
    abbrNamesEn == "RIVER" ~ "#5592aa",
    TRUE ~ "#808080"
  ))

parties %>% gt_custom()
Πίνακας 4: Οργάνωση ονομάτων κομμάτων και συντμήσεών τους
Όνομα κόμματος (αρχικό)
sourceNamesEL 		Όνομα κόμματος (αγγλ. πλήρες)
fullNamesEn 		Όνομα κόμματος (ελλ. πλήρες)
fullNamesEl 		Συντομογραφία (ελλ.)
abbrNamesEn 		Συντομογραφία (αγγλ.)
abbrNamesEl 		Χρώμα
Color
ΝΕΑ ΔΗΜΟΚΡΑΤΙΑ New Democracy Νέα Δημοκρατία ND ΝΔ #0492c2
ΣΥΝΑΣΠΙΣΜΟΣ ΡΙΖΟΣΠΑΣΤΙΚΗΣ ΑΡΙΣΤΕΡΑΣ - ΠΡΟΟΔΕΥΤΙΚΗ ΣΥΜΜΑΧΙΑ Coalition of the Radical Left Συνασπισμός Ριζοσπαστικής Αριστεράς SYRIZA ΣΥΡΙΖΑ #e27bb1
ΠΑΣΟΚ-ΚΙΝΗΜΑ ΑΛΛΑΓΗΣ Panhellenic Socialistic Movement Πανελλήνιο Σοσιαλιστικό Κίνημα PASOK ΠΑΣΟΚ #95bb72
ΚΟΜΜΟΥΝΙΣΤΙΚΟ ΚΟΜΜΑ ΕΛΛΑΔΑΣ Communist Party of Greece Κομμουνιστικό Κόμμα Ελλάδας KKE ΚΚΕ #FF6666
ΑΝΕΞΑΡΤΗΤΟΙ Independent Ανεξάρτητοι Independent Ανεξάρτητοι #808080

Πλέον είμαι σε θέση να χρησιμοποιήσω την ελληνική ή την αγγλική έκδοση των ονομάτων των κομμάτων, ενώ σε περίπτωση δημιουργίας ενός γραφήματος έχω αντιστοιχίσει την πιο κοινά αποδεκτή συντομογραφία τους. Τέλος, ο διαχωρισμός του πλήρους ονόματος και μιας συντομογραφίας είναι αρκετά σημαντική για τη δημιουργία γραφημάτων μιας και συνήθως ο διαθέσιμος χώρος είναι περιορισμένος και δίνουμε στον αναγνώστη τη πληροφορία που χρειάζεται δίχως να κουράζουμε, βελτιώνοντας την αναγνωσιμότητα και τη κατανόηση του. Όπως είδαμε και παραπάνω υπάρχουν ονόματα - σιδηρόδρομοι, όπως των Ανεξαρτήτων Ελλήνων, όπου αριθμεί 81 χαρακτήρες και της Δημοκρατικής Συμπαράταξης (στην ουσία ΠΑΣΟΚ, σε συνεργασία με μικρά κόμματα όπως η ΔΗΜΑΡ, ΚΙΔΗΣΟ κ.α.) με 70. Σε αντιπαραβολή αυτών των ονομάτων και για λόγους πληρότητας το ΠΟΛ.Α. ήταν το όνομα με τους λιγότερους χαρακτήρες (6) και αναφέρεται στο κόμμα Πολιτική Άνοιξη. Πριν κλείσω τη συγκεκριμένη ενότητα θα ήθελα να κάνω αναφορά στη τελευταία στήλη του πίνακα. Με τόσα κόμματα είναι εμφανές ότι θα χρειαστεί να θέσω χρώματα κατάλληλα για το καθένα, αλλά το πλήθος τους ίσως προκαλέσει σύγχυση σε ποιο αναφέρομαι. Έκρινα λοιπόν απαραίτητη αυτή τη προσθήκη με βάση τα χρώματα στο έμβλημα του κάθε κόμματος να επιλέξω το πιο αντιπροσωπευτικό, τουλάχιστον για τα πιο γνωστά.

Κάπου εδώ έκλεισε η ενότητα των κομμάτων και ανοίγει μία τελευταία πρόκληση. Αυτή των ονομάτων των βουλευτών. Στη προεπισκόπηση των δεδομένων τα ονόματα δίνονται με σχετικά συνεπή δομή. Συνήθως αποτελούνται από Επώνυμο Όνομα Πατρώνυμο. Βέβαια πολλές φορές υπάρχουν βουλευτές που έχουν δύο ονόματα ή δύο επίθετα. Σε αυτές τις περιπτώσεις διαχωρίζονται τα διπλά επώνυμα ή ονόματα με μία παύλα.

Θα αναρωτηθεί κάποιος και το πρόβλημα που είναι; Αφού είναι απλά μία μεταβλητή με τα ονόματά τους.

Ναι! Αλλά μπορούμε να κάνουμε καλύτερη δουλειά επειδή σε αυτή τη μεταβλητή εσωκλείεται περισσότερη πληροφορία. Με λίγη προσπάθεια από μέρους μας μπορούμε να χωρίσουμε το όνομα σε άλλες τρεις μεταβλητές, όπου θα δηλώνουν το επίθετο του βουλευτή, το όνομά του και το πατρώνυμό του ξεχωριστά. Αυτό ενδέχεται να μας φανεί χρήσιμο σε τυχόν διαγράμματα όπου θα μπορούμε να αναφερόμαστε αποκλειστικά στο επίθετο και στο αρχικό του ονόματός του, αντί στο πλήρες όνομά του συμπεριλαμβανομένου και του πατρώνυμου.

Δείξε τον κώδικα
pattern <- "^([^-\\s]+)(?:\\s*-\\s*([^-\\s]+))?\\s+([^-\\s]+)(?:\\s*-\\s*([^-\\s]+))?(?:\\s+([^-\\s]+(?:\\s*(?:-|\\s)\\s*[^-\\s]+)*))?$"

mps_clean_names = parliamentGR %>%
  mutate(
    name = name %>%
      str_remove_all("\\s*\\([^)]*\\)") %>%
      str_squish()
  ) %>%
  extract(
    name,
    into = c("surname1", "surname2", "name1", "name2", "father_name"),
    regex = pattern,
    remove = FALSE
  )|>
  mutate(
    surname1 = if_else(
      str_detect(name, "Ληναίος - Μητυλιναίος"),
      "Ληναίος",
      surname1
    ),
    name1 = if_else(
      str_detect(name, "Ληναίος - Μητυλιναίος"),
      "Διονύσιος",
      name1
    )
  ) |>
  mutate(
    surname1 = if_else(
      str_detect(name, "Κουίκ Τέρενς"),
      "Κουίκ",
      surname1
    ),
    name1 = if_else(
      str_detect(name, "Κουίκ Τέρενς"),
      "Τέρενς",
      name1
    )
  ) |>
  mutate(
    surname1 = if_else(
      str_detect(name, "Μπαλτάς Αριστείδης"),
      "Μπαλτάς",
      surname1
    ),
    name1 = if_else(
      str_detect(name, "Μπαλτάς Αριστείδης"),
      "Αριστείδης",
      name1
    )
  ) |>
  rename(sourceNamesEL = party)

mps_clean_names$period_num <- mps_clean_names$period_name |>
  fct_recode(
    "1" = "Α'",
    "2" = "Β'",
    "3" = "Γ'",
    "4" = "Δ'",
    "5" = "Ε'",
    "7" = "Ζ'",
    "8" = "Η'",
    "9" = "Θ΄",
    "10" = "Ι'",
    "11" = "ΙΑ'",
    "12" = "ΙΒ'",
    "13" = "ΙΓ΄",
    "14" = "ΙΔ΄",
    "15" = "ΙΕ΄",
    "17" = "ΙΖ΄",
    "18" = "ΙΗ΄",
    "19" = "ΙΘ΄",
    "16" = "ΙΣΤ΄",
    "6" = "ΣΤ'"
  ) |>
  as.character() |>
  as.numeric()

clean_dataset = mps_clean_names %>%
    left_join(parties, by = "sourceNamesEL") %>%
    relocate(fullNamesEl, .after = sourceNamesEL) %>%
    relocate(abbrNamesEl, .after = fullNamesEl) %>%
    relocate(fullNamesEn, .after = abbrNamesEl) %>%
    relocate(abbrNamesEn, .after = fullNamesEn) %>%
    relocate(period_num, .after = period_name)


clean_dataset %>% 
  gt_custom()
Πίνακας 5: Επεξεργασμένο - τακτοποιημένο σύνολο δεδομένων
Ονοματεπώνυμο βουλευτή
name 		Πρώτο Επίθετο
surname1 		Δεύτερο Επίθετο
surname2 		Πρώτο Όνομα
name1 		Δεύτερο Όνομα
name2 		Όνομα Πατρός
father_name 		Όνομα Κόμματος (αρχικό)
sourceNamesEL 		Πλήρες Όνομα Κόμματος (ελλ.)
fullNamesEl 		Συντομογραφία Κόμματος (ελλ.)
abbrNamesEl 		Πλήρες Όνομα Κόμματος (αγγλ.)
fullNamesEn 		Συντομογραφία Κόμματος (αγγλ.)
abbrNamesEn 		Περιφέρεια
region 		Περίοδος
period_name 		Αριθμός Περιόδου
period_num 		Διάρκεια Περιόδου
dates 		Εκτιμώμενο φύλο
gender 		Χρώμα Κόμματος
Color
Αγαπηδάκη Ειρήνη Στυλιανού Αγαπηδάκη Ειρήνη Στυλιανού ΝΕΑ ΔΗΜΟΚΡΑΤΙΑ Νέα Δημοκρατία ΝΔ New Democracy ND ΕΠΙΚΡΑΤΕΙΑΣ ΙΘ΄ 19 (28/05/2023 - 29/05/2023) γυναίκα #0492c2
Σκυλακάκης Θεόδωρος Στεφάνου Σκυλακάκης Θεόδωρος Στεφάνου ΝΕΑ ΔΗΜΟΚΡΑΤΙΑ Νέα Δημοκρατία ΝΔ New Democracy ND ΕΠΙΚΡΑΤΕΙΑΣ ΙΘ΄ 19 (28/05/2023 - 29/05/2023) άνδρας #0492c2
Στυλιανίδης Χρήστος Μέλη Στυλιανίδης Χρήστος Μέλη ΝΕΑ ΔΗΜΟΚΡΑΤΙΑ Νέα Δημοκρατία ΝΔ New Democracy ND ΕΠΙΚΡΑΤΕΙΑΣ ΙΘ΄ 19 (28/05/2023 - 29/05/2023) άνδρας #0492c2
Λυτρίβη Ιωάννα Δημητρίου Λυτρίβη Ιωάννα Δημητρίου ΝΕΑ ΔΗΜΟΚΡΑΤΙΑ Νέα Δημοκρατία ΝΔ New Democracy ND ΕΠΙΚΡΑΤΕΙΑΣ ΙΘ΄ 19 (28/05/2023 - 29/05/2023) γυναίκα #0492c2
Σταμάτης Γεώργιος Αναστασίου Σταμάτης Γεώργιος Αναστασίου ΝΕΑ ΔΗΜΟΚΡΑΤΙΑ Νέα Δημοκρατία ΝΔ New Democracy ND ΕΠΙΚΡΑΤΕΙΑΣ ΙΘ΄ 19 (28/05/2023 - 29/05/2023) άνδρας #0492c2

Αριθμός κομμάτων

Έχοντας τακτοποιήσει τις πληροφορίες μου, θα ξεκινήσω την ανάλυσή μου με μία ιστορική αναδρομή στον αριθμό των κομμάτων που έχουν εκπροσωπήσει το Ελληνικό κοινοβούλιο και έχουν ολοκληρώσει τη θητεία τους ως κοινοβουλευτική ομάδα. Από τη πτώση της χούντας τα κόμματα που εκπροσωπούσαν το κοινοβούλιο ήταν αρκετά λίγα, και είναι τα πλέον ιστορικά, το ΚΚΕ, η Νέα Δημοκρατία και το ΠΑΣΟΚ. Έτσι λοιπόν η Βουλή του 1981, εκπροσωπούνταν μόλις από τρία κόμματα.

Δείξε τον κώδικα
plot_parliament(clean_dataset, 3)
Σχήμα 1: Σύνθεση Ελληνικού Κοινοβουλίου Γ’ περιόδου (1981 - 1985)

Ο Ανδρέας Γ. Παπανδρέου (Χίος, 1919-1996) ήταν Έλληνας πολιτικός, ιδρυτής και αρχηγός του ΠΑ.ΣΟ.Κ (Πανελλήνιο Σοσιαλιστικό Κίνημα). Διετέλεσε πρωθυπουργός της χώρας από το 1981 μέχρι και το 1989 καθώς και από τον Οκτωβριο του 1993 μέχρι τον Ιανουάριο του 1996. Κατά τη διακυβέρνησή του έκανε σημαντικές μεταρρυθμίσεις κοινωνικού χαρακτήρα όπως η κατάργηση του θεσμού της προίκας, καθιέρωση του πολιτικού γάμου, διεύρυνση δικαιώματος ψήφου μειώνοντας το ηλικιακό όριο από τα 21 στα 18 έτη. Μία σημαντική συνεισφορά είναι η ίδρυση του Εθνικού Συστήματος Υγείας (ΕΣΥ). Έχει δεχτεί κριτική για την τεράστια αύξηση των δημοσίων δαπανών, της αύξησης του χρέους της χώρας, την αύξηση των δημοσίων υπαλλήλων που συνοδεύτηκαν από αδιαφανείς διαδικασίες επιλογής.
Πηγή φωτογραφίας: Wikimedia - Φωτογραφία του 1981 - Άδεια χρήσης: Public Domain. Η πρωτότυπη εικόνα βρέθηκε στο Europeana.

Η ωρίμανση των συνθηκών της Μεταπολίτευσης έδωσε τη δυνατότητα σε εκφραστούν και άλλες απόψεις οι οποίες μετουσιώθηκαν σε νέα κόμματα. Μετά τη θητεία του ’81-’85, στη Βουλή αρχίζουν να εμφανίζονται νέες δυνάμεις με μικρά ποσοστά. Πιο σημαντική σε αριθμό εδρών είναι αυτή του Συνασπισμού (Σύριζα), όπου είχε και μακρά παρουσία στη Βουλή, ωστόσο αρκετά μικρή και επισφαλή εκπροσώπηση.

Δείξε τον κώδικα
plot_parliament(clean_dataset, 5)
Σχήμα 2: Σύνθεση Ελληνικού Κοινοβουλίου Ε’ περιόδου (Ιούνιος, 1989 - Οκτ. 1989)

Γενικότερα, η Βουλή από τη περίοδο του ’85 μέχρι και την τελευταία Βουλή πριν την οικονομική κρίση στη χώρα μας, είχε μία σταθερότητα ως προς τον αριθμό των κομμάτων στη Βουλή. Μπορούμε αυτές τις περιόδους να τις χωρίσουμε σε τρία στάδια. Το πρώτο στάδιο είναι τα πρώτα χρόνια της Μεταπολίτευσης, όπου η εκπροσώπηση περιορίζεται σε τρία κόμματα. Στο επόμενο στάδιο, από το 1985 - 2009, έχουμε εκπροσώπους από 4 με 5 κοινοβουλευτικές ομάδες και μία χαρακτηριστική σταθερότητα ως προς αυτό το εύρος το σχετικό διάστημα (25ετία). Τέλος, με το ξέσπασμα της κρίσης παρατηρώ μία αυξημένη ένταση των κοινοβουλευτικών ομάδων

Δείξε τον κώδικα
plot_parliament(clean_dataset, 13)
Σχήμα 3: Σύνθεση Ελληνικού Κοινοβουλίου Ε’ περιόδου (2009 - 2012)

Ενώ η όλη αποσταθεροποίηση τεκμαίρεται και από τη σύνθεση της Βουλής της 15ης περιόδου, όπου ο αριθμός των κοινοβουλευτικών ομάδων έφτασε στο υψηλότερο επίπεδο της Μεταπολίτευσης.

Δείξε τον κώδικα
plot_parliament(clean_dataset, 15)
Προειδοποίηση

Στο παρακάτω διάγραμμα υπάρχουν αρκετοί ανεξάρτητοι βουλευτές οι οποίοι ανήκουν στις κατηγορίες των ανεξάρτητων βουλευτών, σύμφωνα με την ιστοσελίδα του Ελληνικού Κοινοβουλίου. Γενικότερα εκείνη η περίοδος χαρακτηρίζεται από έντονη κυβερνητική αστάθεια, αλλά πολλοί από αυτούς προέκυψαν από τα κόμματα των Ανεξαρτήτων Ελλήνων και της Ένωσης Κεντρωών. Ένα μεγάλο κύμα αποχωρήσεων - ανεξαρτητοποιήσεων από τα προαναφερόμενα κόμματα οδήγησε στο να μην πληρούν τα κριτήρια ώστε να αποτελούν κοινοβουλευτικές ομάδες. Αυτός είναι ο λόγος που ακόμα και βουλευτές που δεν αποχώρησαν από αυτά τα κόμματα λόγω της διάλυσης της κοινοβουλευτικής ομάδας χαρακτηρίζονται ως ανεξάρτητοι.

και τελικά τη πλήρη ανατροπή του πολιτικού σκηνικού, με ένα κόμμα που πάλευε να μπει στη Βουλή, να είναι αυτό που τελικά κατέλαβε τις περισσότερες θέσεις.

Δείξε τον κώδικα
plot_parliament(clean_dataset, 17)

Όλα αυτά συνοψίζονται με έναν απλό τρόπο στη παρακάτω χρονοσειρά, όπου μετράει τον αριθμό των διάφορων κοινοβουλευτικών ομάδων ανά κοινοβουλευτική περίοδο. Εδώ φαίνεται πολύ πιο ξεκάθαρα και όλα τα στάδια που περιγράψαμε προηγουμένως, της πρώιμης εκπροσωπούσης, της σταθερότητας και της απότομης αύξησης των ομάδων - διάσπασης των δυνάμεων.

Δείξε τον κώδικα
# Summarize the number of distinct parties per period
r <- clean_dataset %>%
    distinct(period_num, period_name, dates, abbrNamesEl) %>%
    count(period_num, period_name, dates, name = "n") %>%
    arrange(period_num)

# Each point will carry: period_name (x), n (y), dates (for tooltip)
series_data <- lapply(1:nrow(r), function(i) {
    list(
        name = r$period_name[i],  # used on x-axis
        y = r$n[i],               # value
        dates = r$dates[i]        # for tooltip
    )
})

hc <- highchart() %>%
  hc_chart(type = "spline") %>%
  
  hc_title(
    text = "Αριθμός Κοινοβουλευτικών Ομάδων ανά Κοινοβουλευτική Περίοδο",
    style = list(fontWeight = "bold")
  ) %>%
  
  hc_subtitle(
    text = "Ελληνικό Κοινοβούλιο – Μεταπολιτευτική περίοδος"
    ) %>%
  
  hc_add_series(
    name = "Κοινοβουλευτικές Ομάδες",
    data = series_data,   # same series_data list as before
    color = "#1F3A93",  
    lineWidth = 2.5,
    marker = list(radius = 4, symbol = "circle")
  ) %>%
  
  hc_xAxis(
    type = "category",
    title = list(
      text = "Κοινοβουλευτική Περίοδος"
    ),
    labels = list(rotation = 0)
  ) %>%
  
  hc_yAxis(
    title = list(
      text = "Αριθμός Ομάδων"
    ),
    allowDecimals = FALSE,
    gridLineColor = "#E6E6E6",
    gridLineWidth = 1
  ) %>%
  
  hc_tooltip(
    useHTML = TRUE,
    backgroundColor = "white",
    borderColor = "#CCCCCC",
    formatter = JS(
      "function() {
         return '<b>Περίοδος:</b> ' + this.point.name + '<br/>' +
                '<b>Διάρκεια:</b> ' + this.point.dates + '<br/>' +
                '<b>Ομάδες:</b> ' + this.point.y;
       }"
    )
  ) %>%
  
  # Remove data labels by disabling them
  hc_plotOptions(
    series = list(
      dataLabels = list(enabled = FALSE),
      states = list(hover = list(lineWidthPlus = 0))
    )
  ) %>%
  
  hc_legend(enabled = FALSE) %>%
  hc_credits(enabled = FALSE)

hc
Σχήμα 4: Αριθμός κοινοβουλευτικών ομάδων και ανεξάρτητων ανά κοινοβουλευτική θητεία
Σημείωση

Λάβετε υπόψη σας ότι μέχρι αυτή τη στιγμή δεν έχω καταφέρει να θέσω - αλλάξω τη θέση των κομμάτων στα διαγράμματα του κοινοβουλίου. Αυτό θα ήταν χρήσιμο για να δηλώνεται εκτός από τον αριθμό των βουλευτών και η ευρύτερη πολιτική θέση ενός κόμματος. Συνεπώς, τα παρακάτω διαγράμματα της Βουλής, πρέπει να διαβαστούν μόνο ως προς το αριθμό βουλευτών και όχι ταυτόχρονη πολιτική θέση.

Εκλεξιμότητα

Το πόσοι βγήκαν και τα αποτελέσματα των εκλογών ήταν λίγο-πολύ γνωστά, απλώς έχει πάντα ενδιαφέρον να δοκιμάζεις τις γνώσεις σου και με την R. Όμως θα ήθελα να ξεκινήσω να απαντήσω σε ποιο ουσιαστικά ερωτήματα. Μία βασική κριτική στο πολιτικό σύστημα είναι ότι βγαίνουν συνεχώς οι ίδιοι. Βέβαια αυτή η κριτική δεν μπορεί να έχει ως αποδέκτες μόνο τους πολιτικούς, αλλά και μερίδα πολιτών που αποφασίζει να στηρίξει τους ίδιους. Δεν μπορείς να περιμένεις να δεις μία αλλαγή στο πολιτικό σύστημα αν αποφασίζεις την εξουσία μεταξύ δύο τριών κομμάτων, πόσο δε μάλλον όταν επιμένεις και στους ίδιους εκπροσώπους. Τελικά τι συνέβη στην Ελλάδα; Οι βουλευτές μας αλλάζουν ανά τακτά χρονικά διαστήματα ή εκλέγονται συνεχώς οι ίδιοι; Σε αυτή την ενότητα θα βρω ποιοι είναι οι βουλευτές που έχουν εκλεχτεί περισσότερες φορές.

Ο υπολογισμός μου απαιτεί τη γνώση της συχνότητας εκλογής ενώ ταυτόχρονα

Δείξε τον κώδικα
u = clean_dataset |>
  select(name, surname1, name1, fullNamesEl, abbrNamesEl, Color) |>
  count(name, surname1, name1, fullNamesEl, abbrNamesEl, Color) |>
  dplyr::filter(n >=9) |>
  arrange(-n) |>
  mutate(name1 = str_sub(name1,start = 1, end=1),
         surnameAndInitial = paste0(surname1, " ", name1, ".")) %>%
  arrange(desc(n))


highchart() %>%
    hc_chart(type = "bar") %>%
    hc_title(text = "Βουλευτές που εκλέχτηκαν πιο πολλές φορές") %>%
    hc_subtitle(text = "Πόσες φορές εκπροσώπησαν το συγκεκριμένο κόμμα στο Ελληνικό Κοινοβούλιο") %>%
    hc_xAxis(categories = u$surnameAndInitial) %>%
    hc_yAxis(title = list(text = "Value")) %>%
    hc_series(
        list(
            name = "# Αριθμός εκλέχτηκε",
            data = lapply(1:nrow(u), function(i) {
                list(
                    y = u$n[i],
                    affiliate = u$abbrNamesEl[i],
                    color = u$Color[i]
                )
            }),
            dataLabels = list(
                enabled = TRUE,
                format = "{y}",
                style = list(fontSize = "12px", textOutline = "none", color = "#FFFFFF")
            )
        )
    ) %>%
    hc_plotOptions(
        bar = list(
            borderRadius = 3,
            pointPadding = 0.2,
            groupPadding = 0.1
        )
    ) %>%
    hc_tooltip(
        headerFormat = "",
        pointFormat = "<b>{point.category}</b><br/>
                  Κόμμα: <b>{point.affiliate}</b><br/>
                  Εκλέχτηκε: <b>{point.y}</b> φορές"
    ) %>%
    hc_legend(enabled = FALSE) %>%
    hc_caption(
        text = "Colors represent different affiliations",
        style = list(fontSize = "12px", color = "#666666")
    )
Σχήμα 5: Βουλευτές που έχουν εκλεγεί περισσότερες φορές εκπροσωπόντας συγκεκριμένο κόμμα

Έτσι λοιπόν, φιλτράροντας τους βουλευτές με 11 εκπροσωπήσεις ή παραπάνω προκύπτει ότι σε αυτή την ομάδα ανήκουν 8 βουλευτές. Όλοι τους ανήκουν στα δύο μεγάλα κόμματα της Ελλάδας, τη Νέα Δημοκρατία και το ΠΑΣΟΚ, με τον κ. Κακλαμάνη και κ. Παπανδρέου να είναι οι βουλευτές που έχουν εκπροσωπήσει πιο πολλές φορές το ΠΑΣΟΚ, και . Για να βρούμε βουλευτές άλλων κομμάτων θα πρέπει να χαλαρώσουμε αρκετά τον δείκτη φορών εκλογής, στις 9 ή 10 εκπροσωπήσεις, αφού η κ. Παραρήγα έχει εκλεγεί 10 φορές με το ΚΚΕ και ο κ. Δραγασάκης 9 φορές με τον ΣΥΡΙΖΑ.

Εκλεξιμότητα κόμματος

Μέχρι στιγμής είδαμε τα μέλη του κοινοβουλίου, από το 1981 μέχρι και το 2019 που έχουν εκλεχτεί περισσότερες φορές με βάση το κόμμα που εκπροσωπούν. Θα ήταν ιδιαιτέρως χρήσιμο να μελετήσουμε όχι απλώς τη δημοφιλία ως προς τη βουλή, αλλά η μέτρηση του ίδιου χαρακτηριστικού και σε κάθε κόμμα. Βέβαια αυτή η μέτρηση έχει κάποιους περιορισμούς μιας και υπάρχουν κόμματα τα οποία έχουν αρκετά μικρή εκπροσώπηση στη Βουλή είτε δεν μακροημέρευσε και δεν είχε αρκετές θητείες εντός Βουλής. Για αυτό το λόγο θα αναλυθούν μόνο τα πιο ιστορικά κόμματα του κοινοβουλίου, δηλαδή το ΚΚΕ, η ΝΔ, το ΠΑΣΟΚ και ο ΣΥΡΙΖΑ.

Επίσης, όσον αφορά το κομμάτι της υλοποίησης του σχετικού γραφήματος η χρήση συναρτήσεων είναι ενδεδειγμένη. Θα έχω ίδιο τύπο γραφήματος και απλώς θα πρέπει να φιλτράρω το σύνολό μου (ανά κόμμα), και στη συνέχεια να στοιχίσω τις τιμές μου σε φθίνουσα σειρά ανά φορές εκλογής για κάθε βουλευτή. Δηλαδή το μόνο που θα αλλάξει θα είναι το κόμμα. Έτσι θα αποφύγω την επανάληψη του κώδικά μου που είναι μία από τις βασικές αρχές του προγραμματισμού. Στην συγκεκριμένη συνάρτηση θα θέσω 3 μεταβλητές:

  • Party : Ποιο κόμμα πρέπει να ελέγξω
  • color : Το χρώμα, έτσι ώστε να συμπίπτει το χρώμα των ράβδων με το κόμμα το οποίο εκπροσωπούν
  • times_elected_min : Μία μεταβλητή που έθεσα αργότερα. Το πρόβλημα που προέκυψε με την αρχική συνάρτηση είναι ότι υπήρχαν σημαντικές διαφορές στον αριθμό των εκπροσώπων που εκλέγει ένα κόμμα με μακρά ιστορία και σημαντικά ποσοστά ψήφων σε σχέση με κόμματα χαμηλότερης διάρκειας ή προτίμησης. Αν θέσω έναν γενικό αριθμό and some others just 10. If I set a universal number of elections to visualize I will have diagrams with many problems. Let’s suppose that I set a big value (e.g., 10). Then I would visualize my data for ND and PASOK, although parties with relatively low number of MPs would have only one or noone to show (KKE & SYRIZA, respectively). On the other hand if I set a low value I create a new problem as there will be many MPs of and it creates the need to edit many more things (like width of bars). An argument like times_elected_min can adapt the specific characteristics of each party.
Δείξε τον κώδικα
# party_plot <- function(party, party_color, times_elected_min){
#   party_df = parliament %>% filter(Party == party) %>%
#   select(FullName) %>% table() %>% sort(decreasing = TRUE) %>% as.data.frame() %>% filter(Freq >= times_elected_min) %>% `colnames<-`(c("Full_Name", "Freq"))
#   
# ggplot(data = party_df, aes(x = reorder(Full_Name , Freq), y = Freq))+
#   geom_bar(stat = "identity",width = 0.88, fill = party_color) +
#   geom_text(aes(label=Freq), hjust = 1.5, vjust=0.5, color="white", size=4)+
#   theme_minimal() +
#    labs(title = "Most elected MPs",
#        subtitle = "",
#        caption = "Source: stesiam | stesiam.github.io, 2022",
#        x = "Times elected",
#        y = "Members of Parliament") +
#   coord_flip()
# }
Δείξε τον κώδικα
party_plot <- function(dataset, party, times_elected_min = 2,
                       title_text = NULL, subtitle_text = NULL,
                       party_color = "#1F3A93") {
    
    # Filter and summarize data
    party_df <- dataset %>%
        dplyr::filter(abbrNamesEl == party) %>%        # filter by party
        count(name,surname1, name1) %>%                     # count times elected
        arrange(-n) %>%                               # descending order
        drop_na() %>%
        dplyr::filter(n >= times_elected_min) %>%     # filter by min times elected
        mutate(fullname = paste0(surname1, " ", name1)) %>%
        separate(fullname, into = c("lastNameGR", "firstNameGR"), sep = " ", extra = "merge") %>%
        mutate(
            fullNameGR = paste0(lastNameGR, " ", firstNameGR),
            lastNameAndInitialGR = paste0(lastNameGR, " ", str_sub(firstNameGR, 1, 1), ".")
        )
    
    # Create highcharter plot
    hc <- highchart() %>%
        hc_chart(type = "bar", inverted = TRUE) %>%
        
        hc_title(
            text = title_text,
            style = list(fontWeight = "bold", fontSize = "16px")
        ) %>%
        
        hc_subtitle(
            text = subtitle_text,
            style = list(color = "#555555", fontSize = "12px")
        ) %>%
        
        hc_xAxis(
            categories = party_df$lastNameAndInitialGR,
            title = list(text = NULL),
            labels = list(
                style = list(fontSize = "11px", whiteSpace = "nowrap"),
                useHTML = TRUE
            )
        ) %>%
        
        hc_yAxis(
            title = list(text = "(#) Φορές εκλέχτηκε"),
            allowDecimals = FALSE,
            gridLineColor = "#E6E6E6",
            gridLineWidth = 1
        ) %>%
        
        hc_add_series(
            name = "Times elected",
            data = party_df$n,
            color = party_color
        ) %>%
        
        hc_plotOptions(
            bar = list(
                dataLabels = list(enabled = FALSE)  # hide numbers on bars
            )
        ) %>%
        
        hc_tooltip(
            useHTML = TRUE,
            headerFormat = "",
            pointFormat = paste0(
                "<b>{point.category}</b><br/>",
                "Κόμμα: <b>", party, "</b><br/>",
                "Εκλέχτηκε: <b>{point.y}</b> φορές"
            )
        ) %>%
        
        hc_legend(enabled = FALSE) %>%
        hc_credits(enabled = FALSE)
    
    return(hc)
    
}

Τα αποτελέσματα παρουσιάζονται με αλφαβητική σειρά με βάση το όνομα του εκάστοτε κόμματος.

ΚΚΕ

Το Κομμουνιστικό Κόμμα Ελλάδας ιδρύθηκε τον Νοέμβριο του 1918 ως Σοσιαλεργατικό Κίνημα Ελλάδας (ΣΕΚΕ), στον απόηχο της Οκτωβριανής Επανάστασης. Το 1920 εντάχθηκε στη Κομμουνιστική Διεθνή (Communist International - ComIntern) και το 1924 μετονομάστηκε σε Κομμουνιστικό Κόμμα Ελλάδας (ΚΚΕ). Με την δικτατορία του Ιωάννη Μεταξά, το ΚΚΕ τέθηκε εκτός νόμου και πολλά μέλη του φυλακίστηκαν ή εξορίστηκαν. Κατά την γερμανική κατοχή (1941-1944) το ΚΚΕ συμμετείχε στην αντίσταση ιδρύοντας το Εθνικό Απελευθερωτικό Μέτωπο (ΕΑΜ) και τον στρατιωτικό του βραχίονα, τον ΕΛΑΣ (Εθνικός Λαϊκός Απελευθερωτικός Στρατός). Μετά την απελευθέρωση υπήρξε σημαντική διαμάχη η οποία κορυφώθηκε με τον εμφύλιο (1946-1949). Ο Δημοκρατικός Στρατός Ελλάδας (ΔΣΕ) υπό κομμουνιστική ηγεσία ηττήθηκε το 1949. Το ΚΚΕ για πολλά χρόνια ήταν ένα κόμμα «εκτός νόμου» μέχρι και το 1974, όπου νομιμοποιήθηκε από τον Κωνσταντίνο Καραμανλή. Μέχρι και σήμερα έχει μείνει σταθερό στις θέσεις του με πιο χαρακτηριστικές την έξοδο της χώρας από την Ευρωπαϊκή Ένωση και το ΝΑΤΟ.

Η Αλέκα Παπαρήγα (Αθήνα, 1945 - ) είναι η πιο εκλεγμένη γυναίκα βουλευτής του Ελληνικού Κοινοβουλίου (1981-2019). Υπήρξε επικεφαλής του Κομμουνιστικού Κόμματος Ελλάδας (ΚΚΕ).
Πηγή φωτογραφίας: Wikimedia Commons, 2015 - Άδεια χρήσης: CC BY-SA 2.0. Για τη πρωτότυπη φωτογραφία μπορείτε να πατήσετε τον σύνδεσμο

Δείξε τον κώδικα
party_plot(
  dataset = clean_dataset,
  party = "ΚΚΕ",  # Example party abbreviation from abbrNamesEl
  times_elected_min = 5,
  title_text = "Βουλευτές του Κόμματος ΚΚΕ με πάνω από 5 θητείες",
  subtitle_text = "Αριθμός εκλογών ανά βουλευτή",
  party_color = "#FF6666"
)
Σχήμα 6: Βουλευτές που έχουν εκλεγεί περισσότερες φορές με το Κομμουνιστικό Κόμμα Ελλάδος (ΚΚΕ)

ΝΔ

Η Νέα Δημοκρατία

Ο Κωνσταντίνος Μητσοτάκης (Χαλέπα Χανίων, 1918 - 2017) ήταν Έλληνας πολιτικός. Διετέλεσε πρωθυπουργός της χώρας από το 1990 μέχρι τον Οκτώβριο του 1993. Ο γιος του, Κυριάκος Μητσοτάκης, αναδείχθηκε αρχηγός του κόμματος το 2016 και το 2019 εκλέχτηκε πρωθυπουργός της χώρας.
Πηγή φωτογραφίας: Ελληνικό Λογοτεχνικό και Ιστορικό Αρχείο - Μορφωτικό Ίδρυμα Εθνικής Τραπέζης, 1950 - Άδεια χρήσης: CC BY. Η φωτογραφία έχει υποστεί βασική επεξεργασία (περικοπή και αφαίρεση φόντου). Η πρωτότυπη εικόνα βρέθηκε στο Europeana.

Δείξε τον κώδικα
party_plot(
  dataset = clean_dataset,
  party = "ΝΔ",  # Example party abbreviation from abbrNamesEl
  times_elected_min = 10,
  title_text = "Βουλευτές του Κόμματος ΝΔ με πάνω από 10 θητείες",
  subtitle_text = "Αριθμός εκλογών ανά βουλευτή",
  party_color = "#0492c2"
)
Σχήμα 7: Βουλευτές που έχουν εκλεγεί περισσότερες φορές με τη Νέα Δημοκρατία (ΝΔ)

ΠΑΣΟΚ

Δείξε τον κώδικα
party_plot(
  dataset = clean_dataset,
  party = "ΠΑΣΟΚ",  # Example party abbreviation from abbrNamesEl
  times_elected_min = 10,
  title_text = "Βουλευτές του Κόμματος ΠΑΣΟΚ με πάνω από 10 θητείες",
  subtitle_text = "Αριθμός εκλογών ανά βουλευτή",
  party_color = "#95bb72"
)
Σχήμα 8: Βουλευτές που έχουν εκλεγεί περισσότερες φορές με το Πανελλήνιο Σοσιαλιστικό Κίνημα (ΠΑΣΟΚ)

ΣΥΡΙΖΑ

Δείξε τον κώδικα
party_plot(
  dataset = clean_dataset,
  party = "ΣΥΡΙΖΑ",  # Example party abbreviation from abbrNamesEl
  times_elected_min = 5,
  title_text = "Βουλευτές του Κόμματος ΝΔ με πάνω από 5 θητείες",
  subtitle_text = "Αριθμός εκλογών ανά βουλευτή",
  party_color = "#e27bb1"
)
Σχήμα 9: Βουλευτές που έχουν εκλεγεί περισσότερες φορές με το Συνασπισμό Ριζοσπαστικής Αριστεράς (ΣΥΡΙΖΑ)

Δικομματισμός στην Ελλάδα

Η διαχρονική επιμονή τόσο σε κόμματα, όσο και σε ίδια πρόσωπα είναι ξεκάθαρη. Ένα ενδιαφέρον στοιχείο θα ήταν το ποσοστό του δικομματισμού, δηλαδή το ποσοστό το οποίο συγκεντρώνουν τα δύο μεγαλύτερα κόμματα. Αυτή η τάση γνωρίζουμε ειδικά στα πρώτα χρόνια της μεταπολίτευσης ήταν αρκετά υψηλή. Σε αυτή την ενότητα δεν θα αναλύσω απευθείας τα δεδομένα των εκλογών, αλλά των εκλεγμένων βουλευτών και θα συγκρίνω τι ποσοστό αυτών ανήκουν στα πρώτα δύο κόμματα. Εδώ βέβαια θα πρέπει να διευκρινιστεί ότι υπάρχει μεγάλη απόκλιση μεταξύ των εκλογικών ποσοστών και των ποσοστών εδρών στη Βουλή κυρίως λόγω του μπόνους εδρών στο πρώτο κόμμα και των εξωκοινοβουλευτικών κομμάτων. Έχει ενδιαφέρον να εξετάσουμε τη πόλωση διαχρονικά και αν δούμε μειωμένα ποσοστά αυτό ενδεχομένως να σημαίνει μία κάποια αντίδραση στο πολιτικό σύστημα. Στο συγκεκριμένο διάγραμμα παρατηρώ εξαιρετικά υψηλά ποσοστά εκπροσώπησης στη Βουλή για τα πρώτα δύο κόμματα. Τα χρόνια της κρίσης τα ποσοστά των δύο πρώτων έχουν πέσει σημαντικά και από εκεί που εκπροσωπούσαν το 80%, πλέον αντιστοιχούν στο 60%. Από προηγούμενες παραγράφους γνωρίζουμε ότι το Ελληνικό Κοινοβούλιο τα χρόνια της κρίσης αύξησε κατά πολύ τις κοινοβουλευτικές ομάδες που είχε. Συνδυάζοντας τα παραπάνω τεκμαίρετε ότι υπήρχε μία αντίδραση του κόσμου η οποία ξεκίνησε με το ξεκίνημα της οικονομικής κρίσης η οποία μεν δεν άλλαξε το πολιτικό σκηνικό από θέμα κομμάτων, αλλά έσπασε το δίπολο και η αντίδραση του κόσμου διαχύθηκε σε διάφορα μικρότερα κόμματα.

Δείξε τον κώδικα
f = clean_dataset %>% dplyr::group_by(period_name, abbrNamesEl) %>% count() %>% ungroup(abbrNamesEl) %>% top_n(., n =2, wt = n) %>% tidyr::pivot_wider(., names_from = abbrNamesEl, values_from = n) %>%
    mutate(seatsTopTwoParties = rowSums(across(c(ΝΔ, ΠΑΣΟΚ, ΣΥΡΙΖΑ)), na.rm = TRUE)) %>%
    mutate(pctSeatsTopTwoParties = round( (seatsTopTwoParties/ 300) * 100, digits = 1) )

highchart() %>%
    hc_chart(type = "spline") %>%
    hc_title(text = "Εκπροσώπηση δικομματισμού", style = list(fontSize = "20px", fontWeight = "bold")) %>%
    hc_subtitle(text = "Ποσοστό (%) εκπροσώπησης δικομματισμού στην Ελληνική Βουλή") %>%
    hc_xAxis(categories = f$Term , title = list(text = "Θητείες"), gridLineWidth = 0) %>%
    hc_yAxis(title = list(text = "Ποσοστό θέσεων δύο πρώτων κομμάτων (%)"), gridLineWidth = 0) %>%
    hc_add_series(
        data = f$pctSeatsTopTwoParties,
        name = "Ποσοστό",
        color = "#6366F1",
        marker = list(enabled = TRUE, radius = 4, symbol = "circle")
    ) %>%
     hc_tooltip(
    useHTML = TRUE,
    headerFormat = '<span style="font-size:14px;">Θητεία<b>: {point.x}</b></span><br/>',
    pointFormat = '<span style="color:{series.color};">●</span> <b>{series.name}</b>: {point.y}<br/>',
    backgroundColor = "#ffffff",
    borderColor = "#e5e7eb",
    style = list(color = "#111827", fontSize = "14px")
  ) %>%
  hc_plotOptions(
    spline = list(
      lineWidth = 4,
      marker = list(symbol = "circle", radius = 5)
    )
  ) %>%
    hc_legend(enabled = FALSE)
Warning: Unknown or uninitialised column: `Term`.

Εκλογιμότητα γυναικών

Μία σημαντική ένδειξη υγείας του κοινοβουλίου και συνεπακόλουθα της κοινωνίας είναι η αντιπροσωπευτικότητα αυτού. Να μπορούν να ακουστούν όλες οι φωνές και όλα τα κοινωνικά ζητήματα. Μία από τις πιο προφανείς ενδείξεις είναι κατά πόσο η κοινωνία εξελίσσεται και αποδέχεται ως εξίσου ικανές τις γυναίκες για αντιπροσώπους της νομοθετικής εξουσίας. Ιστορικά, η χώρα μας πάσχει σε αυτό το τομέα, με τις γυναίκες να υποεκπροσωπούνται στην αγορά εργασίας. Τα ίδια κοινωνικά στερεότυπα δείχνουν να κυριαρχούν ακόμα με χαμηλότατη εκλογή γυναικών βουλευτών. Μέχρι και τις πρώτες 10 περιόδους του Ελληνικού Κοινοβουλίου οι γυναίκες αντιπροσώπευαν λιγότερο από το 10% των συνολικών βουλευτών. Τα τελευταία χρόνια η κατάσταση έχει βελτιωθεί και έχει κατά κάποιο τρόπο κανονικοποιηθεί η παρουσία τον γυναικών στη Βουλή, χωρίς να έχει επιτευχθεί ισότιμη εκπροσώπηση. Αξίζει να σημειώσουμε ότι οι γυναίκες στην Ελλάδα έλαβαν δικαίωμα ψήφου το 1952. Έχουμε κλείσει αισίως 70 έτη από το δικαίωμα εκλέγειν και εκλεγεσθαι των γυναικών και η εκπροσώπηση των γυναικών είναι στο 1/4 των θέσεων του Κοινοβουλίου. Ως χώρα έχουμε θεσμοθετήσει την ισότητα των ανδρών και γυναικών, όμως δεν έχουμε την απαραίτητη κοινωνική εκπαίδευση για να καταπολεμήσουμε τις ιδεοληψίες μας στο θέμα των ικανοτήτων και κατά πόσο το φύλο αποτελεί παράγοντα κρίσης ενός ατόμου.

Η Ελένη Σκούρα (Bόλος, 1896 - 1991) ήταν η πρώτη Ελληνίδα βουλευτής, η οποία εκλέχτηκε το 1953, ένα χρόνο αφού ψηφίστηκε το δικαίωμα ψήφου και εκλογής στις γυναίκες.
Πηγή φωτογραφίας: Ελληνικό Λογοτεχνικό και Ιστορικό Αρχείο - Μορφωτικό Ίδρυμα Εθνικής Τραπέζης, 1940 - Άδεια χρήσης: CC BY. Η φωτογραφία έχει υποστεί βασική επεξεργασία (περικοπή και μετατροπή σε σκίτσο). Η πρωτότυπη εικόνα βρέθηκε στο Europeana.

Δείξε τον κώδικα
test <- clean_dataset |> select(period_num, gender)

test1 <- test |>
    group_by(period_num, gender) |>
    count() |>
    pivot_wider(names_from = gender, values_from = n, values_fill = 0) # fill missing with 0

colors <- c(
    "#90C3FF",  # blue for men
    "#FF9090"   # red for women
)

# Create professional stacked percent area plot
highchart() %>%
    hc_chart(type = "areaspline") %>%
    
    hc_title(
        text = "Κατηγορίες αποφοίτων Στατιστικής ανά φύλο",
        style = list(fontSize = "20px", fontWeight = "bold")
    ) %>%
    
    hc_subtitle(
        text = "Ποσοστιαία κατανομή φοιτητών και φοιτητριών ανά θητεία. Η κατηγορία βαθμού 6-7 είναι η πιο συχνή.",
        style = list(fontSize = "12px", color = "#555555")
    ) %>%
    
    hc_xAxis(
        categories = test1$period_num,
        title = list(text = "Θητείες"),
        labels = list(style = list(fontSize = "11px"))
    ) %>%
    
    hc_yAxis(
        title = list(text = "Ποσοστό (%)"),
        labels = list(format = "{value}%"),
        max = 100,
        gridLineColor = "#E6E6E6",
        gridLineWidth = 1
    ) %>%
    
    hc_colors(colors) %>%
    
    hc_plotOptions(
        areaspline = list(
            stacking = "percent",   # stack to percent
            lineWidth = 2,
            fillOpacity = 0.6,
            marker = list(enabled = FALSE)
        )
    ) %>%
    
    hc_add_series(name = "Βουλευτές", data = test1$άνδρας) %>%
    hc_add_series(name = "Βουλεύτριες", data = test1$γυναίκα) %>%
    
    hc_tooltip(
        shared = TRUE,
        useHTML = TRUE,
        formatter = JS("
    function() {
      var total = 0;
      for (var i = 0; i < this.points.length; i++) {
        total += this.points[i].y;
      }
      // get the category name from the x-axis categories
      var categoryName = this.points[0].series.xAxis.categories[this.points[0].point.x];
      
      var s = '<b>' + categoryName + '</b><br>';
      for (var i = 0; i < this.points.length; i++) {
        var pct = Math.round((this.points[i].y / total) * 100);
        s += '<span style=\"color:' + this.points[i].color + '\">●</span> ' +
             this.points[i].series.name + ': ' + this.points[i].y + ' (' + pct + '%)<br>';
      }
      return s;
    }
  ")
    ) %>%
    
    hc_legend(
        layout = "horizontal",
        align = "center",
        verticalAlign = "bottom"
    ) %>%
    
    hc_credits(enabled = FALSE)

Βέβαια, το να ρίξουμε όλο το βάρος στη κοινωνία είναι λίγο άδικο υπό το έρεισμα ότι τα ίδια τα κόμματα επιλέγουν τους υχποψηφίους τους και προμοτάρουν λίγο περισσότερο ορισμένα πρόσωπα. Μήπως και τα κόμματα δεν προβάλλουν τόσο ισότιμα τις γυναίκες υποψήφιες τους; Για να απαντηθεί συτό η ανάλυση επεκτάθηκε και σε επίπεδο κομμάτων, εξετάζοντας την αναλογία γυναικών/ανδρών ως προς τους συνολικά εκλεγμένους βουλευτές κάθε κόμματος. Εδώ φαίνεται ότι η Νέα Δημοκρατία ως πιο συντηρητικό κόμμα είναι αυτό που έχει σταθερά πολύ χαμηλή εκπροσώπηση των γυναικων. Από την άλλη μεριά παρατηρούμε αρκετά μεγάλη διαφορά στα αριστερά κόμματα με σταθερή παρουσία γυναικών και σε σημαντικά υψηλότερα ποσοστά. Από τα κόμματα με διαχρονική παρουσία στη Βουλή το ΚΚΕ υπήρξε αυτό με την υψηλότερη συμμετοχή γυναικών στην 11η περίοδο της Βουλής, ακολουθούμενη από τον ΣΥΡΙΖΑ, την 15η περίοδο με 38% η οποία ήταν αρκετά σημαντική καθώς εκτός από ποσοστιαία σημαντική ήταν και σε απόλυτους αριθμούς μιας και εκείνο το καιρό ο ΣΥΡΙΖΑ είχε αρκετά μεγάλα ποσοστά και σημαντική εκπροσώπηση στη Βουλή.

Η Βασιλική Θάνου (Χαλκίδα, 1950 - ) είναι η πρώτη γυναίκα που έχει διατελέσει πρωθυπουργός. Ήταν υπηρεσιακή πρωθυπουργός όταν έπεσε η κυβέρνηση του ΣΥΡΙΖΑ και προκηρύχθηκαν εκλογές. Μέχρι και σήμερα αποτελεί τη μοναδική γυναίκα που έχει υπάρξει σε αυτό το αξίωμα.
Πηγή φωτογραφίας: Wikimedia Commons, 2015 - Άδεια χρήσης: CC BY-SA 2.0. Η φωτογραφία έχει υποστεί βασική επεξεργασία.

Δείξε τον κώδικα
test = clean_dataset |> select(period_num, gender, abbrNamesEl)
test1 = test |>
  group_by(period_num, gender, abbrNamesEl) |>
  count() |>
  pivot_wider(names_from = gender, values_from = n) %>%
  mutate(across(c(άνδρας, γυναίκα), ~ replace_na(., 0))) %>%
  mutate(
    sum = γυναίκα + άνδρας,
    pct = round( 100 * (γυναίκα / sum), 1) ) %>%
  ungroup() %>%
  select(period_num, abbrNamesEl, pct) %>%
  dplyr::filter(abbrNamesEl %in% c("ΣΥΡΙΖΑ", "ΝΔ", "ΠΑΣΟΚ", "ΚΚΕ")) %>%
  group_by(period_num) %>%
  pivot_wider(names_from = abbrNamesEl, values_from = pct) %>%
  dplyr::filter(period_num > 9)


highchart() %>%
  hc_chart(type = "spline") %>%
  hc_title(text = "Συμμετοχή γυναικών ανά κόμμα") %>%
  hc_subtitle(text = "Η Νέα Δημοκρατία ποτέ στην ιστορία της δεν εκπροσωπήθηκε από γυναίκες σε υψηλότερο του 17%, σε αντίθεση με άλλα ιστορικά κόμματα, όπως ο ΣΥΡΙΖΑ, το ΚΚΕ και το ΠΑΣΟΚ.") %>%
  hc_xAxis(
    categories = test1$period_num,
    title = list(text = "Κοινοβουλευτικές θητείες")
  ) %>%
  hc_yAxis(reverse = TRUE,
    title = list(text = "Ποσοστό (%) γυναικών")
  ) %>%
  hc_add_series(name = "ΚΚΕ", data = test1$ΚΚΕ, color = "#ff6666") %>%
  hc_add_series(name = "ΝΔ", data = test1$ΝΔ, color = "#0492c2") %>%
  hc_add_series(name = "ΠΑΣΟΚ", data = test1$ΠΑΣΟΚ, color = "#95bb72") %>%
  hc_add_series(name = "ΣΥΡΙΖΑ", data = test1$ΣΥΡΙΖΑ, color = "#e27bb1") %>%

  hc_tooltip(shared = TRUE)

Εκλεξιμότητα νομού

Αυτή τη στιγμή έχω υπολογίσει

  • τη σύνθεση των κοινοβουλίων ανά θητεία
  • τους βουλευτές με τις περισσότερες θητείες σε εθνικό επίπεδο
  • τους βουλευτές με τις περισσότερες θητείες σε επίπεδο κόμματος

Τώρα, θα υπολογίσω τους πιο δημοφιλείς βουλευτές, ανά νομό. Προφανώς, σε αυτή τη περίπτωση εφαρμόζεται γ ίδια λογική με αυτή της προηγούμενης ενότητας (με μικρές μετατροπές). Εγώ προσωπικά θα χαρακτήριζα τη χρήση συναρτήσεων σε αυτή τη περίπτωση σχεδόν υποχρεωτική, μιας και όλοι οι νομοί είναι 50! Για την εύρεση των συχνοτήτων θα χρησιμοποιήσω τη εντολή count.

Δείξε τον κώδικα
constituency_freqs <- function(input_constituency, min_times_elected){
  cont_df = clean_dataset %>% dplyr::filter(region == input_constituency) %>% 
    count(surname1, name1, fullNamesEl, abbrNamesEl, Color) %>%
    arrange(-n) |>
    dplyr::filter(n >= min_times_elected) %>%
    mutate(FullNameInitial = paste0(surname1, " ", str_sub(name1, 1, 1), "."))
  
highchart() %>%
    hc_chart(type = "bar") %>%
    hc_title(text = "Βουλευτές που εκλέχτηκαν πιο πολλές φορές") %>%
    hc_subtitle(text = "Πόσες φορές εκπροσώπησαν το συγκεκριμένο κόμμα στο Ελληνικό Κοινοβούλιο") %>%
    hc_xAxis(categories = cont_df$FullNameInitial) %>%
    hc_yAxis(title = list(text = "Value")) %>%
    hc_series(
        list(
            name = "# Αριθμός εκλέχτηκε",
            data = lapply(1:nrow(cont_df), function(i) {
                list(
                    y = cont_df$n[i],
                    affiliate = cont_df$abbrNamesEl[i],
                    color = cont_df$Color[i]
                )
            }),
            dataLabels = list(
                enabled = TRUE,
                format = "{y}",
                style = list(fontSize = "12px", textOutline = "none", color = "#FFFFFF")
            )
        )
    ) %>%
    hc_plotOptions(
        bar = list(
            borderRadius = 3,
            pointPadding = 0.2,
            groupPadding = 0.1
        )
    ) %>%
    hc_tooltip(
        headerFormat = "",
        pointFormat = "<b>{point.category}</b><br/>
                  Κόμμα: <b>{point.affiliate}</b><br/>
                  Εκλέχτηκε: <b>{point.y}</b> φορές"
    ) %>%
    hc_legend(enabled = FALSE) %>%
    hc_caption(
        text = "Colors represent different affiliations",
        style = list(fontSize = "12px", color = "#666666")
    )  
}

Επικρατείας

Δείξε τον κώδικα
constituency_freqs("ΕΠΙΚΡΑΤΕΙΑΣ", 3)

Αττικής

Δείξε τον κώδικα
constituency_freqs("Α' ΑΘΗΝΩΝ",5)
Δείξε τον κώδικα
constituency_freqs("Β' ΑΘΗΝΩΝ",7)
Δείξε τον κώδικα
constituency_freqs("Α' ΠΕΙΡΑΙΩΣ",5)
Δείξε τον κώδικα
constituency_freqs("Β' ΠΕΙΡΑΙΩΣ",5)

Κεντρική Ελλάδα

Δείξε τον κώδικα
constituency_freqs("ΒΟΙΩΤΙΑΣ",5)
Δείξε τον κώδικα
constituency_freqs("ΕΥΡΥΤΑΝΙΑΣ",2)
Δείξε τον κώδικα
constituency_freqs("ΦΩΚΙΔΑΣ",2)
Δείξε τον κώδικα
constituency_freqs("ΦΘΙΩΤΙΔΑΣ",3)

Κεντρική Μακεδονία

Δείξε τον κώδικα
constituency_freqs("Α' ΘΕΣΣΑΛΟΝΙΚΗΣ",6)
Δείξε τον κώδικα
constituency_freqs("Β' ΘΕΣΣΑΛΟΝΙΚΗΣ",6)
Δείξε τον κώδικα
constituency_freqs("ΚΙΛΚΙΣ",3)
Δείξε τον κώδικα
constituency_freqs("ΠΕΛΛΑΣ",3)
Δείξε τον κώδικα
constituency_freqs("ΠΙΕΡΙΑΣ",3)
Δείξε τον κώδικα
constituency_freqs("ΣΕΡΡΕΣ",3)

Κοινοβουλευτική ανανέωση

Παρατηρούμε ότι λίγα είναι τα κόμματα που κυριαρχούν στο ελληνικό πολιτικό σκηνικό και είναι κάπως ανθεκτικά στο πέρασμα του χρόνου. Παρά τη πολιτική αναταραχή και ανακτατάξεις του πολιτικού σκηνικού με το ξέσπασμα της οικονομικής κρίσης, υπήρξαν αρκετά εφήμερα κόμματα και στην ουσία είχαμε μία ανακατάταξη και μετακινήσεις ψηφοφόρων μεταξύ των ιστορικών κομμάτων. Η μη σημαντική πολιτική ανατροπή από νέα κόμματα μας οδηγεί στη πλειοψηφία της σε επιλογές προσώπων από τα κόμματα. Έτσι λοιπόν προκύπτει το απολύτως λογικό ερώτημα. Οκ, ψηφίζουμε στη συντριπτική πλειοψηφία μεταξύ τεσσάρων κομμάτων, μήπως όμως οι επιλογές μας είναι προσανατολισμένες στο να αλλάξουν τουλάχιστον τα πρόσωπα που μας εκπροσωπούν. Με απλά λόγια θα ήθελα να μελετήσω κατά πόσο κάθε νέα κοινοβουλευτική θητεία αποτελείται από βουλευτές που δεν έχουν ξαναεκλεγεί και ανανεώνεται η σύνθεση της.

Για την υλοποίηση θα χρησιμοποιήσω το τακτοποιημένο σύνολο δεδομένων και θα εξάγω δύο υποσύνολα που θα αντιστοιχούν στη βουλευτική θητεία και το άλλο στη . Στη συνέχεια θα συγκρίνω τις τις αντίστοιχες στήλες των ονομάτων για να διαπιστώσω πόσες αντιστοιχίσεις υπάρχουν, δηλαδή επανεκλογή βουλευτών. Επίσης, λαμβάνω υπόψιν στη πρόσφατη εκλογή με όλες τις παλαιότερες περιόδους ώστε να εντοπίσω και παλαιότερες εκλογές ίδιων προσώπων που μπορεί να μην εκλέχτηκαν στις προηγούμενες εκλογές.

Σε αυτή τη περίπτωση μελετάμε τη περίοδο 1981 - 2019 (Γ’ περίοδος - ΙΖ´ περίοδος), επομένως η σύγκριση έχει νόημα να ξεκινήσει από τη περίοδο Δ’ (1985), ώστε να να έχω προηγούμενη περίοδο σύγκρισης. Στο διάγραμμα υπάρχουν τάσεις που υποδεικνύουν ισχυρές τάσεις διατήρησης όμοιων προσώπων με

Τέλος, μόνο δύο εκλογικές αναμετρήσεις οδήγησαν σε σημαντική ανανέωση του κοινοβουλίου αντικαθιστώντας ουσιαστικά τα μισά μέλη με νεοεκλεγέντες,

Δείξε τον κώδικα
get_new_members <- function(term){
    
    # Members from previous terms
    previous_parls <- clean_dataset |>
        dplyr::filter(period_num < term) |>
        dplyr::select(name)
    
    # Members in the current term
    current_parl <- clean_dataset |>
        dplyr::filter(period_num == term) |>
        dplyr::select(name)
    
    # Count total in current term
    how_many_current_term <- nrow(current_parl)
    
    # Count those who were already in previous terms
    established_members <- sum(current_parl$name %in% previous_parls$name)
    
    # Count new members
    new_members <- how_many_current_term - established_members
    
    return(list(established_members, new_members))
}

# Apply to terms 4 through 17
results <- lapply(4:17, get_new_members)

# Prepare data frame for plotting
df <- data.frame(
    num = 4:17,
    established = sapply(results, `[[`, 1),
    new = sapply(results, `[[`, 2)
)

# Highchart plot
highchart() %>%
    hc_chart(type = "areaspline") %>%
    hc_xAxis(categories = df$num) %>%
    hc_yAxis(title = list(text = "Ποσοστό νέων βουλευτών")) %>%
    hc_title(text = "Βουλευτές που εκλέγονται πρώτη φορά") %>%
    hc_subtitle(text = "Οι βαθμοί που κυριαρχούν είναι κάτω του 7, προσεγγίζοντας ακόμα και το 90%. Οι απόφοιτοι με βαθμό πτυχίου από 6 μέχρι και 7 είναι οι πιο συχνοί και καταλαμβάνουν το 55% με 70% των συνολικών αποφοίτων") %>%
    hc_colors(c("#1f77b4", "#ff7f0e")) %>%
    hc_plotOptions(
        areaspline = list(
            stacking = "percent",
            marker = list(enabled = FALSE),
            lineWidth = 2,
            fillOpacity = 0.6
        )
    ) %>%
    hc_add_series(name = "Παλιοί βουλευτές", data = df$established) %>%
    hc_add_series(name = "Πρώτη θητεία", data = df$new) %>%
    hc_tooltip(shared = TRUE)

Σωρευτικός αριθμός βουλευτών

Σε όλη τη έκταση του άρθρου μελέτησα την ένταση της εκλογής των κομμάτων ή των βουλευτών ανά κοινοβουλευτική περίοδο. Έκρινα χρήσιμη να υπάρχει και μία συνολική ανασκόπηση των αποτελεσμάτων των εκλογών. Η κριτική της μη πραγματικής πολιτικής αλλαγής εκφράζεται μέσα και από την διαχρονική επιμονή σε εκπροσώπους από συγκεκριμένα κόμματα. Υπολογίζουμε λοιπόν το συνολικό αριθμό - ποσοστό των βουλευτών με βάση το κόμμα που εκπροσωπούσαν στο τέλος της κάθε θητείας. Το ΠΑΣΟΚ και η Νέα Δημοκρατία αποτελούν τα κόμματα που η εκπροσώπησή τους ξεπέρασε τα 3/4 των συνολικών βουλευτών στην ιστορία του κοινοβουλίου. Αν συμπεριλάβω το ΚΚΕ και το ΣΥΡΙΖΑ, τότε το συνολικό ποσοστό από όλα τα προαναφερθέντα κόμματα αγγίζει το 90%. Όλα τα υπόλοιπα αποτελούν ανεξάρτητους βουλευτές ή βουλευτές μικρότερων κομμάτων, στοιχείο που συνηγορεί ότι είμαστε αρκετά μακριά από τη λογική της πολιτικής αλλαγής.

Δείξε τον κώδικα
library(dplyr)
library(highcharter)

# Summarize party counts using the new variable `abbrNamesEl`
gh <- clean_dataset |>
  count(abbrNamesEl) |>
  arrange(-n) |>
  mutate(abbrNamesEl = ifelse(n > 70, abbrNamesEl, "Άλλο")) |>
  group_by(abbrNamesEl) |>
  mutate(n = sum(n)) |>
  distinct() |>
  ungroup() |>
  mutate(pct = round( (n / sum(n))*100 , 1)) |>
  # get a color per party
  left_join(
    clean_dataset |> 
      group_by(abbrNamesEl) |> 
      summarise(Color = first(Color), .groups = "drop"),
    by = "abbrNamesEl"
  )

# Prepare data for highcharter pie with colors
pie_data <- lapply(1:nrow(gh), function(i){
  list(
    name = gh$abbrNamesEl[i],
    y    = gh$pct[i],
    color = gh$Color[i]
  )
})

# Highcharter semicircle donut
highchart() %>%
  hc_chart(type = "pie", backgroundColor = NULL) %>%
  hc_title(text = "Σύνολο εκπροσώπησης βουλευτών ανά κόμμα (1981 - 2019)", align = "center") %>%
  hc_subtitle(text = "Το ΠΑΣΟΚ και η Νέα Δημοκρατία αριθμούν το 76% των βουλευτών της ιστορίας του κοινοβουλίου") %>%
  hc_plotOptions(pie = list(
    startAngle = -90,
    endAngle   = 90,
    center     = c("50%", "75%"),
    size       = "110%",
    innerSize  = "60%",
    showInLegend = TRUE,
    dataLabels = list(
      enabled = TRUE,
      distance = -30,
      style = list(fontSize = "12px"),
      formatter = JS("function() { return '<b>'+ this.point.name +'</b>: '+ this.percentage.toFixed(1) +'%'; }")
    )
  )) %>%
  hc_add_series(
    name = "Share",
    data = pie_data
  ) %>%
  hc_tooltip(pointFormat = '{series.name}: <b>{point.percentage:.1f}%</b>') %>%
  hc_legend(layout = "horizontal", align = "center", verticalAlign = "bottom")

Τέλος, έχει αντίστοιχο ενδιαφέρον να μελετήσουμε το σωρευτικό ποσοστό συμμετοχής των γυναικών στο Ελληνικό Κοινοβούλιο. Για τα αποτελέσματα δεν είμαστε ιδιαίτερα αισιόδοξοι μιας και σε προηγούμενη ενότητα διαπιστώσαμε ότι είναι ιστορικά χαμηλή με την υψηλότερη να κυμαίνεται τα τελευταία χρόνια στο 25%. Η εικόνα δεν είναι καθόλου καλή όταν αναλύσουμε το φύλο σε βάθος 40ετίας μιας και το ποσοστό των βουλευτριών περιορίζεται στο 12.8%. Σε απόλυτους αριθμούς αυτό αντιστοιχεί σε 576 γυναίκες, έναντι 3927 ανδρών συναδέλφων τους.

Δείξε τον κώδικα
gh = clean_dataset |>
  count(gender) |>
  arrange(-n) |>
  mutate(pct = round( 100* (n/sum(n)), digits = 1) ) |>
  drop_na(gender)

colors <- c(
  "#90C3FF",
  "#FF9090"
)

highchart() %>%
    hc_chart(type = "pie") %>%
    hc_title(text = "Σύνολο εκπροσώπησης βουλευτών ανά φύλο (1981 - 2019)", align = "center") %>%
    hc_subtitle(text = "Οι γυναίκες υποεκπροσωπούνται ιστορικά. Σε όλη την πρόσφατη ιστορία του Ελληνικού Κοινοβουλίου οι γυναίκες αποτελούν μόλις το 13% των συνολικά εκλεγμένων βουλευτών") %>%
    hc_plotOptions(pie = list(
        # key settings to make it a semicircle donut
        startAngle = -90,      # start at left-bottom
        endAngle   = 90,       # end at right-bottom -> forms a half circle
        center     = c("50%", "75%"), # vertically lower so the semi-circle sits nicely
        size       = "110%",   # overall size of the pie
        innerSize  = "60%",    # makes it a donut (adjust for thicker/thinner ring)
        showInLegend = TRUE,
        dataLabels = list(
            enabled = TRUE,
            distance = -30,      # place labels inside the ring; tweak as needed
            style = list(fontSize = "12px"),
            formatter = JS("function() { return '<b>'+ this.point.name +'</b>: '+ this.percentage.toFixed(1) +'%'; }")
        )
    )) %>%
    hc_add_series(
        name = "Share",
        data = list_parse2(gh)
    ) %>%
    hc_colors(colors) %>%
    hc_tooltip(pointFormat = '{series.name}: <b>{point.percentage:.1f}%</b>') %>%
    hc_legend(layout = "horizontal", align = "center", verticalAlign = "bottom")

Ευχαριστίες - Τελικές σημειώσεις

Εικόνα του/της Leonhard Niederwimmer από την ιστοσελίδα Pixabay

Τα εξορυγμένα δεδομένα που χρησιμοποιώ στο άρθρο παρέχονται και είναι ελεύθερα προσβάσιμα από το σχετικό αποθετήριο μου στο GitHub. Το σύνολο μου και γενικότερα η πρωτότυπη πηγή σύνθεσης των πληροφοριών είναι η ιστοσελίδα του Ελληνικού Κοινοβουλίου

Αναφορές

Csárdi, G. (2025). keyring: Access the System Credential Store from R. Ανακτήθηκε από https://keyring.r-lib.org/
Grolemund, G., & Wickham, H. (2011). Dates and Times Made Easy with lubridate. Journal of Statistical Software, 40(3), 1–25. Ανακτήθηκε από https://www.jstatsoft.org/v40/i03/
Iannone, R., Cheng, J., Schloerke, B., Haughton, S., Hughes, E., Lauer, A., … Roy, O. (2025). gt: Easily Create Presentation-Ready Display Tables. Ανακτήθηκε από https://gt.rstudio.com
Kunst, J. (2022). highcharter: A Wrapper for the Highcharts Library. Ανακτήθηκε από https://jkunst.com/highcharter/
Lin, G. (2025). reactable: Interactive Data Tables for R. Ανακτήθηκε από https://glin.github.io/reactable/
Müller, K., & Wickham, H. (2026). tibble: Simple Data Frames. Ανακτήθηκε από https://tibble.tidyverse.org/
R Core Team. (2025). R: A Language and Environment for Statistical Computing. Vienna, Austria: R Foundation for Statistical Computing. Ανακτήθηκε από https://www.R-project.org/
Richardson, N., Cook, I., Crane, N., Dunnington, D., François, R., Keane, J., … Apache Arrow. (2025). arrow: Integration to Apache ’Arrow’. Ανακτήθηκε από https://github.com/apache/arrow/
Spinu, V., Grolemund, G., & Wickham, H. (2024). lubridate: Make Dealing with Dates a Little Easier. Ανακτήθηκε από https://lubridate.tidyverse.org
Tiedemann, F. (2020). ggpol: Visualizing Social Science Data with ggplot2. Ανακτήθηκε από https://github.com/erocoar/ggpol
Wickham, H. (2016). ggplot2: Elegant Graphics for Data Analysis. Springer-Verlag New York. Ανακτήθηκε από https://ggplot2.tidyverse.org
Wickham, H. (2023). tidyverse: Easily Install and Load the Tidyverse. Ανακτήθηκε από https://tidyverse.tidyverse.org
Wickham, H. (2025a). forcats: Tools for Working with Categorical Variables (Factors). Ανακτήθηκε από https://forcats.tidyverse.org/
Wickham, H. (2025b). stringr: Simple, Consistent Wrappers for Common String Operations. Ανακτήθηκε από https://stringr.tidyverse.org
Wickham, H., Averick, M., Bryan, J., Chang, W., McGowan, L. D., François, R., … Yutani, H. (2019). Welcome to the tidyverse. Journal of Open Source Software, 4(43), 1686. https://doi.org/10.21105/joss.01686
Wickham, H., Chang, W., Henry, L., Pedersen, T. L., Takahashi, K., Wilke, C., … van den Brand, T. (2025). ggplot2: Create Elegant Data Visualisations Using the Grammar of Graphics. Ανακτήθηκε από https://ggplot2.tidyverse.org
Wickham, H., François, R., Henry, L., Müller, K., & Vaughan, D. (2023). dplyr: A Grammar of Data Manipulation. Ανακτήθηκε από https://dplyr.tidyverse.org
Wickham, H., & Henry, L. (2026). purrr: Functional Programming Tools. Ανακτήθηκε από https://purrr.tidyverse.org/
Wickham, H., Hester, J., & Bryan, J. (2025). readr: Read Rectangular Text Data. Ανακτήθηκε από https://readr.tidyverse.org
Wickham, H., Vaughan, D., & Girlich, M. (2025). tidyr: Tidy Messy Data. Ανακτήθηκε από https://tidyr.tidyverse.org
Wilke, C. O., & Wiernik, B. M. (2022). ggtext: Improved Text Rendering Support for ggplot2. Ανακτήθηκε από https://wilkelab.org/ggtext/
Zhu, H. (2024). kableExtra: Construct Complex Table with kable and Pipe Syntax. Ανακτήθηκε από http://haozhu233.github.io/kableExtra/
Zumbach, D., & Bauer, P. C. (2025). deeplr: Interface to the DeepL Translation API. Ανακτήθηκε από https://www.deepl.com/translator

Αναφορά

Αναφορά BibTeX:
@online{2022,
  author = {, stesiam},
  title = {Περιγραφική Ανάλυση Ελληνικού Κοινοβουλίου},
  date = {2022-10-10},
  url = {https://stesiam.com/el/posts/eda-greek-parliament/},
  langid = {el}
}
Για απόδοση ευγνωμοσύνης, παρακαλούμε αναφερθείτε σε αυτό το έργο ως:
stesiam. (2022, October 10). Περιγραφική Ανάλυση Ελληνικού Κοινοβουλίου. Retrieved from https://stesiam.com/el/posts/eda-greek-parliament/
]]> R Περιγραφικη αναλυση https://stesiam.com/el/posts/eda-greek-parliament/ Mon, 10 Oct 2022 00:00:00 GMT Συλλογή Quarto ιστοσελίδων stesiam https://stesiam.com/el/posts/list-of-quarto-sites/

Εισαγωγή

Σημείωση

Αποφάσισα να έχω τη λίστα και σε μορφή project στην αντίστοιχη σελίδα στο GitHub Repo.

Τη στιγμή που επεξεργάζομαι το συγκεκριμένο κείμενο, το Quarto έχει ξεπεράσει σε δημοφιλία άλλα πακέτα δημιουργίας ιστοσελίδων (3.4χιλ. αστέρια), συγκρινόμενο με πακέτα κατασκευής ιστοσελίδων όπως το blogdown (1.7k ) και το distill (400 ). Δεδομένης της αυξημένης δημοφιλίας του Quarto, πήρα την πρωτοβουλία να κάνω μία λίστα ιστοσελίδων που το χρησιμοποιούν. Με αυτόν τον τρόπο αναλυτές δεδομένων που είναι χρήστες άλλων μεθόδων κατασκευής ιστοσελίδων (e.g., distill, blogdown) θα έχουν την ευκαιρία να δουν τις δυνατότητες μιας ιστοσελίδας Quarto. Επιπλέον, αυτή η λίστα ενδεχομένως να βοηθήσει και όσους έχουν ήδη προσθέσει το Quarto στην εργαλειοθήκη τους, καθώς θα μπορούν να αντλούν ιδέες από μία συγκεντρωτική λίστα σχετικών παραδειγμάτων.

Λογότυπο του Quarto

Δυστυχώς, όπως πιθανότατα είναι ήδη προφανές, αυτή η λίστα δεν είναι δυνατό να περιλαμβάνει κάθε ιστοσελίδα Quarto. Ως επί το πλείστον είναι σελίδες που έχω δει και μου άρεσαν. Αν έχετε υπόψιν σας κάποια άλλη σελίδα ή ακόμα και τη δική σας σελίδα, μπορείτε να γράψετε ένα σχόλιο ή να μου στείλετε μήνυμα και θα την προσθέσω το συντομότερο δυνατόν.

Έμπνευση

Λίγα χρόνια νωρίτερα αποφάσισα να φτιάξω μία ιστοσελίδα προκειμένου να έχω ένα σημείο να δείχνω τα projects μου και όχι σε διάσπαρτα αποθετήρια (repositories) στο GitHub. Έτσι δοκίμασα αρκετές λύσεις οι οποίες θα έπρεπε να υποστηρίζουν τα Rmd αρχεία (R Markdown αρχεία). Εν τέλει είχα καταλήξει να χρησιμοποιώ το distill, και ειλικρινά το λάτρεψα, καθώς η ιστοσελίδα συνδύαζε την απλότητα και στοιχεία που την έκαναν να φαίνεται αρκετά επαγγελματική. Παρά τα όποια προβλήματα υπήρχαν με το συγκεκριμένο (πολλά εκ των οποίων λύθηκαν με το Quarto), ήμουν ιδιαίτερα ικανοποιημένος. Ωστόσο, εκείνη τη περίοδο ήμουν ένας αρχάριος προγραμματιστής με αρκετά περιορισμένη γνώση HTML και CSS. Αυτό σήμαινε ότι θα μπορούσα να κάνω λίγες αλλαγές και θα μου έπαιρναν πάρα πολύ χρόνο για να υλοποιήσω τις όποιες στυλιστικές αλλαγές. Την ίδια περίοδο ανακάλυψα μία ιστοσελίδα που περιλαμβάνει μία εκτεταμένη λίστα με ιστοσελίδες Distill. Με αυτή τη λίστα είχα καταφέρει:

Λογότυπο του Distill
  • Κατανοήσω τους περιορισμούς του Distill
  • Κίνητρο να ξεκινήσει κανείς παίρνοντας έμπνευση από τις ιστοσελίδες άλλων
  • Εύκολη πρόσβαση σε ενδιαφέροντα χαρακτηριστικά σελίδων συνοδευόμενα από την αντίστοιχη σελίδα κώδικα

Το 2022, ανακοινώθηκε το Quarto και τα δεδομένα συγγραφής και δημοσίευσης άρθρων, αναφορών, ιστοσελίδων άλλαξαν αρκετά. Αρκετοί χρήστες του Distill αποφάσισαν να κάνουν την αλλαγή και χρησιμοποιούν ήδη το Quarto για την προσωπική τους ιστοσελίδα (με βάση τη λίστα ιστοσελίδων Distill). Κάποιοι ακόμα μπορεί να διστάζουν για αυτή την αλλαγή μιας και το Quarto είναι αρκετά νέο (και μπορεί να υπάρχουν σημαντικά θέματα που να μην έχουν επιλυθεί). Ένα ακόμα στοιχείο είναι η ώρα που απαιτείται για να μάθουμε να χειριζόμαστε μιας και η τεκμηρίωσή του είναι ιδιαίτερα εκτεταμένη. Αυτός ήταν και ο λόγος άλλωστε που πιστεύω ότι αυτή η λίστα να είναι σημαντική, προκειμένου να καταστήσει αυτόν τον νέο τρόπο πιο προσβάσιμο στους νέους χρήστες και να ενθαρρύνει την υιοθέτηση νέων λειτουργιών από τους υφιστάμενους χρήστες.

Λογότυπο του blogdown

Κατάλογος ιστοσελίδων Quarto

Μία ενδεικτική λίστα των ιστοσελίδων που έχουν κατασκευαστεί χρησιμοποιώντας το Quarto είναι η εξής:

Πίνακας 1: Λίστα Quarto ιστοσελίδων
  Χρήστης   Σύνδεσμος ιστοσελίδας   Κώδικας
aeturell aeturrell.com home
alexpghayes alexpghayes.com quarto-blog
almeidasilvaf almeidasilvaf.github.io/ almeidasilvaf.github.io
andreashandel andreashandel.com/ andreashandelwebsite
andrewheiss andrewheiss.com ath-quarto
andrewheiss nonprofitf22.classes.andrewheiss.com nonprofitf22.classes.andrewheiss.com
aster-hu asterhu.com/ Asteroid_Blog
beatrizmilz beamilz.com blog-en
Bioconductor bioconductor.github.io/biocblog/ biocblog
cgoo4 quantumjitter.com/ quantumjitter
CrumpLab crumplab.com/ CrumpLab.github.io
currocam currocam.github.io/biocblog/ currocam.github.io
cynthiahqy cynthiahqy.com/ digital-garden
daxkellie daxkellie.com website-quarto
ddimmery ddimmery.com quarto-website
djnavarro blog.djnavarro.net/ quarto-blog
drganghe drganghe.github.io drganghe.github.io
ekholme ericekholm.com/ ee-quarto-site
EllaKaye ellakaye.co.uk/ ellakaye.co.uk
EmilHvitfeldt emilhvitfeldt.com emilhvitfeldt.com
epiforecasts epiforecasts.io/ epiforecasts.github.io
fusionet24 myyearindata.com/ myyearindata
ivelasq ivelasq.rbind.io pipedream
JavOrraca javierorracadeatcu.com/ quarto-blog
jbkunst jkunst.com/blog/ blog
jessesadler jessesadler.com quarto-blog
jeweljohnsonj sciquest.netlify.app// SciQuest
jhelvy jhelvy.com jhelvy_quarto
joelnitta joelnitta.com joelnitta-home
journalovi journalovi.org journalovi.github.io
jthomasmock TheMockup.blog themockup-blog
kathoffman khstats.com/ khstats-quarto
kelly-sovacool sovacool.dev// kelly-sovacool.github.io
kurianbenoy kurianbenoy.com kurianbenoy-website
magsol magsol.github.io/ magsol.github.io
marioangst marioangst.com/en/ –
markusschanta blog.markus.schanta.at/ blog
marvinschmitt marvinschmitt.com/ marvinschmitt-dot-com
matherion behaviorchange.eu/ personal-website
maxdrohde maximilianrohde.com blog_quarto
mcanouil mickael.canouil.fr/ mickael.canouil.fr
mdsumner hypertidy.org quarto-blog
Meghansaha thetidytrekker.com/ thetidytrekker-quarto
mine-cetinkaya-rundel A Quarto tip a day quarto-tip-a-day
miriamheiss miriamheiss.com/ miriam-blog
mmhamdy hypothesis-space.netlify.app/ Hypothesis-Space
njlyon0 njlyon0.github.io njlyon0.github.io
nucleic-acid jollydata.blog quarto-blog
numbats numbat.space/ numbats-quarto-website
Openscapes openscapes.github.io/quarto-website-tutorial/ quarto-website-tutorial
pat-alt paltmeyer.com/ pat-alt.github.io
paul-buerkner paul-buerkner.github.io/ paul-buerkner.github.io
pkollenda philippkollenda.com/ Website
Possible-Institute possible.institute website
quarto-dev quarto.org quarto-web
rlbarter rebeccabarter.com personal-website-quarto
robertmitchellv robertmitchellv.com robertmitchellv.github.io
robjhyndman robjhyndman.com/ robjhyndman.com
rsangole rsangole.netlify.app/ blog
samanthacsik samanthacsik.github.io/ samanthacsik.github.io
seeM wasimlorgat.com blog
shamindras shamindras.com ss_personal_distill_blog
srvanderplas srvanderplas.github.io/ srvanderplas.github.io
StefanThoma stefanthoma.github.io/quarto-blog/ quarto-blog
stesiam stesiam.com stesiam.github.io
tidymodels tidymodels.org tidymodels.org
laderast laderast.github.io/ laderast.github.io
vbaliga vbaliga.github.io vbaliga.github.io
willingc willingconsulting.com/ willing-consulting-2022
zekiakyol zekiakyol.com/ personal-website

Πολύγλωσσες ιστοσελίδες

Δυστυχώς, το Quarto δεν υποστηρίζει από μόνο του τη δημιουργία ιστοσελίδων που να υποστηρίζουν διαφορετικές γλώσσες. Αυτό δημιουργεί ενδεχομένως πρόβλημα σε όσους επιθυμούν να προωθήσουν το περιεχόμενό τους και στη μητρική τους γλώσσα, η οποία μπορεί να διαφέρει από τη αγγλική. Προς το παρόν η λύση που προσφέρει επίσημα το Quarto είναι μέσω των project profiles, αλλά η εφαρμογή του μου φαίνεται αρκετά περίπλοκη και με μικρή αναφορά σε όποια τεκμηρίωση (documentation) ως προς τη συγκεκριμένη χρήση. Αν σας ενδιαφέρουν οι εξελίξεις σχετικά με την υποστήριξη πολλών γλωσσών από το Quarto μπορείτε να δείτε τη συζήτηση για το συγκεκριμένο θέμα στη σελίδα του project στο GitHub. Προς το παρόν, επίσημα, το Quarto δεν υποστηρίζει με έναν ξεκάθαρο τρόπο πολύγλωσσες ιστοσελίδες, ηλεκτρονικά βιβλία και ούτω καθεξής.

Λογότυπο του ROpenSci

Η ROpenSci είναι μία Μη Κερδοσκοπική Οργάνωση που ιδρύθηκε το 2011. Η συγκεκριμένη οργάνωση ενθαρρύνει μία κουλτούρα συνεργασίας στην έρευνα, όπου τα δεδομένα είναι διαθέσιμα σε όλους και το λογισμικό μπορεί να επαναχρησιμοποιηθεί, ώστε η όποια έρευνα και τα αποτελέσματα αυτής να είναι αξιόπιστα, διαφανή και εύκολα επαναλήψιμα. Η ROpenSci έχει δημιουργήσει πολλά σημαντικά πακέτα για τη γλώσσα R προκειμένου να προωθήσει το όραμά της, πολλά εκ των οποίων καθοριστικά για τη κοινότητα αναλυτών της R. Ενδεικτικά αναφέρονται τα πακέτα {[babelquarto](https://docs.ropensci.org/babelquarto/)} που έδωσε λύση για την ύπαρξη πολύγλωσσων ιστοσελίδων με το Quarto και το πακέτο {[targets](https://docs.ropensci.org/targets/)} που βοηθάει στην οργάνωση κατά την εκτέλεση του κώδικα. Για πλήρη λίστα πακέτων που έχει δημιουργήσει - συντηρεί το ROpenSci μπορείτε να πατήσετε εδώ.

Παρόλο που δεν υπάρχει επίσημη υποστήριξη του Quarto, δημιουργήθηκε το babelquarto, ένα R πακέτο το οποίο προσπαθεί να λύσει το πρόβλημα και να κάνει τη δημιουργία πολύγλωσσων σελίδων δυνατή και εύκολη. Υπάρχουν κάποιες ιστοσελίδες που έχουν ήδη ενσωματώσει το babelquarto στην εργαλειοθήκη τους και πλέον έχουν ιστοσελίδες σε διαφορετικές γλώσσες. Μία από αυτές είναι και αυτή η ιστοσελίδα που διαβάζετε αυτή τη στιγμή! Μπορείτε να βρείτε τον κώδικά της εδώ. Ένα άλλο ωραίο παράδειγμα πολύγλωσσης ιστοσελίδας (ιαπωνικά / αγγλικά) αποτελεί η ιστοσελίδα του Joel Nitta και το αντίστοιχο αποθετήριό του.

Ελπίζω όλα αυτά να σας φάνηκαν ενδιαφέροντα και γιατί όχι να σας έπεισα να φτιάξετε και εσείς τη δική σας ιστοσελίδα σε Quarto.

Αναφορά

Αναφορά BibTeX:
@online{2022,
  author = {, stesiam},
  title = {Συλλογή Quarto ιστοσελίδων},
  date = {2022-08-10},
  url = {https://stesiam.com/el/posts/list-of-quarto-sites/},
  langid = {el}
}
Για απόδοση ευγνωμοσύνης, παρακαλούμε αναφερθείτε σε αυτό το έργο ως:
stesiam. 2022. “Συλλογή Quarto ιστοσελίδων.” August 10, 2022. https://stesiam.com/el/posts/list-of-quarto-sites/.
]]> Quarto https://stesiam.com/el/posts/list-of-quarto-sites/ Wed, 10 Aug 2022 00:00:00 GMT Πρώτο άρθρο! stesiam https://stesiam.com/el/posts/first-article/

Γεια σας!

Επιτέλους, έφτιαξα την ιστοσελίδα μου χρησιμοποιώντας το Quarto. Αυτή τη στιγμή η σελίδα φιλοξενείται μέσω του GitHub Pages.

Πώς ξεκίνησαν όλα

Η συνάντησή μου με τη Στατιστική ήταν μάλλον τυχαία. Την πρώτη φορά που έδωσα Πανελλήνιες πέρασα στο τμήμα Οικονομικής Επιστήμης του Πανεπιστημίου Πελοποννήσου. Αν και μου άρεσε η ιδέα του να ασχοληθώ με την Οικονομική Επιστήμη, η προοπτική του να μετακομίσω σε μία άλλη πόλη (Τρίπολη) αποτελούσε ένα τεράστιο οικονομικό βάρος, συνοδευόμενο από μεγάλη αβεβαιότητα, κάτι που για εμένα ήταν δυσβάσταχτο. Έτσι, επέλεξα να ξαναδώσω Πανελλήνιες εξετάσεις την αμέσως επόμενη χρονιά. Από όσο θυμάμαι είχα δηλώσει πρώτα Οικονομικές σχολές και σχολές Πληροφορικής, ακολουθούμενες από σχολές Στατιστικής, πρώτα στην Αττική και ακολουθούμενες από αντίστοιχες σχολές στην υπόλοιπη Ελλάδα. Τελικά, όταν ανακοινώθηκαν οι βάσεις, έμαθα ότι πέρασα στο τμήμα Στατιστικής και Ασφαλιστικής Επιστήμης του Πανεπιστημίου Πειραιά. Όντας, λοιπόν, ένας φοιτητής ενός τμήματος Στατιστικής, ξεκίνησα να αποκτώ τα πρώτα μου σχετικά ερεθίσματα μέσω της σχολής. Τα πρώτα χρόνια των σπουδών μου ασχοληθήκαμε με θεωρία όσον αφορά τα πεδία της Στατιστικής, των Πιθανοτήτων, των Ασφαλίσεων και του Αναλογισμού. Έτσι, απέκτησα τις πρώτες σημαντικές θεωρητικές βάσεις. Ωστόσο, μου έλειπε το πιο σημαντικό χαρακτηριστικό για έναν Στατιστικό, να μπορώ να δώσω υπόσταση στις γνώσεις μου και να εφαρμόζω στην πράξη τις αντίστοιχες στατιστικές τεχνικές. Η σχολή έδινε πολύ μικρή σημασία σε αυτό το κομμάτι. Χαρακτηριστικά στο πρόγραμμα σπουδών του έτους μου υπήρχαν μόνο δύο σχετικά μαθήματα εφαρμογής στατιστικής μεθοδολογίας με στατιστικό λογισμικό. Το Excel και τo SPSS. Το μάθημα του SPSS ήταν ικανοποιητικό, αλλά δεν ήταν σε καμία περίπτωση αντίστοιχο των γνώσεων που απέκτησα, ούτε ανταποκρινόταν στις σύγχρονες ανάγκες της αγοράς εργασίας. Εκτός από αυτό, το SPSS ως λογισμικό έχει σημαντικά μειονεκτήματα που το καθιστούν μία κακή επιλογή, μεταξύ των οποίων συγκαταλέγεται η μη δυνατότητα να προσαρμόσεις το μοντέλο σου, δεν βλέπεις τον τρόπο με τον οποίο προκύπτουν τα αποτελέσματα και βεβαίως δεν είναι δωρεάν. Την περίοδο 2018-2019, ξεκίνησα να ψάχνω για εναλλακτικές, καθώς απεχθανόμουν τελείως το συγκεκριμένο πρόγραμμα ή βασικά το ότι θα έπρεπε να πληρώσω. Μεταξύ άλλων βρήκα ίδιας λογικής λογισμικά με το SPSS αλλά δωρεάν, όπως το PSPP, το JASP και το jamovi. Προσωπικά τα δύο τελευταία τα θεωρώ αξιοπρεπέστατα για απλές αναλύσεις. Μάλιστα το JASP και το jamovi θα τα συνιστούσα σε κάποιον ως μία αξιόλογη εναλλακτική αν δεν είχε γνώσεις προγραμματισμού και ταυτόχρονα έλλειψη πρόσβασης στο SPSS. Κάπου εκεί ανακάλυψα ότι υπάρχει μία γλώσσα προγραμματισμού που είναι επικεντρωμένη στην ανάλυση δεδομένων, η R, γνωστή και ως Rstats.

Το φοιτητικό μου πάσο Το φοιτητικό μου πάσο από τη σχολή μου στον Πειραιά. Μπορεί να μη μοιάζω πλέον με το παιδί στη φωτογραφία, αλλά αυτό είναι όντως το πάσο μου. Δεν το ξέρει ακόμα το παιδί εκείνης της φωτό αλλά τον περιμένουν μεγάλες φουρτούνες σε λίγα χρόνια, όμως τα πράγματα θα πάνε καλύτερα (ελπίζω).

Από το SPSS στην R

Το πανεπιστήμιο μας όπως και αρκετά πανεπιστήμια του κόσμου προσφέρουν στους φοιτητές τους δωρεάν άδεια για χρήση διάφορων λογισμικών. Το πρόβλημα με αυτό είναι ότι η συνδρομή λήγει μόλις αποφοιτήσεις.

Η μετάβαση από μία σουίτα Στατιστικής σε μία γλώσσα προγραμματισμού είναι ίσως μία σοκαριστική αλλαγή, ειδικά αν είναι η πρώτη σου γλώσσα προγραμματισμού. Το SPSS και οι δωρεάν εναλλακτικές του με συνόδευσαν για ένα σεβαστό διάστημα, ωστόσο το πλέον χαρακτηριστικό δυνατό σημείο των εφαρμογών αυτών άρχισε να μετατρέπεται σε αδυναμία. Τα προγράμματα αυτά έχουν σχεδιαστεί, ως επί το πλείστον, ώστε άτομα με βασικές γνώσεις και κατανόηση Στατιστικής να κάνουν τις δικές τους αναλύσεις. Καθώς σπούδαζα μάθαινα όλο και περισσότερες μεθοδολογίες και τεχνικές, ώσπου κάποια στιγμή θεώρησα ότι τα προγράμματα αυτά μπορούν να με εξελίξουν μέχρι ένα σημείο. Είναι αναμφίβολα χρήσιμα, αλλά θέτουν ένα όριο στο πόσο βαθιά χρειάζεται ή επιτρέπεται να προβληματιστεί ο χρήστης. Για οτιδήποτε ξεπερνά αυτό το όριο, είτε δεν ασχολούνται καθόλου επειδή θεωρείται υπερβολικά περίπλοκο για την πλειοψηφία, είτε υιοθετούν εύλογες υποθέσεις βάσει των δεδομένων, ώστε ο μέσος χρήστης να μην χρειαστεί να έρθει σε επαφή με θεωρία ή ελέγχους υποθέσεων. Το σημείο αυτό διαφέρει από εφαρμογή σε εφαρμογή: άλλες επιλέγουν να είναι υπερβολικά απλές και να κάνουν λίγα πράγματα καλά για τον καθημερινό χρήστη. Όλες, όμως, έχουν κάποιον περιορισμό. Όσο λοιπόν ασχολιόμουν με τέτοια λογισμικά αναρωτιόμουν αν ήθελα να θέσω άλλες παραμέτρους ή αν θέλω να χρησιμοποιήσω μία παραλλαγή ενός ελέγχου που διάβασα σε ένα πρόσφατα δημοσιευμένο άρθρο τι θα έπρεπε να κάνω; Κάπου εκεί κατάλαβα ότι, συνεχίζοντας έτσι, θα υπηρετούσα τα προγράμματα αυτά και όχι τον σκοπό μου. Στόχος μου ήταν ξεκάθαρα να γίνω γνώστης της Επιστήμης μου και όχι ενός προγράμματος ή μίας σουίτας στατιστικού λογισμικού. Έτσι, αποφάσισα για τη μεγάλη αλλαγή.

Λογότυπο γλώσσας προγραμματισμού R Η R είναι μία γλώσσα προγραμματισμού που εξειδικεύεται στην ανάλυση δεδομένων και στη στατιστική. Δημιουργήθηκε το 1993 από τους Ross Ihaka και Robert Gentleman.

Πρώτα βήματα

Η σχέση μου με την R ξεκινάει το 2019, με αρκετά σκαμπανεβάσματα. Μπορώ να πω ότι στην αρχή μου φάνηκε ιδιόμορφη και ως επί το πλείστον τη χρησιμοποιούσα σχεδόν διαδικαστικά. Με λίγα λόγια αντέγραφα κώδικα και απλώς προσπαθούσα να καταλάβω τι κάνω. Δηλαδή, για να εκθέσω τον εαυτό μου ακόμα περισσότερο, αν ήθελα να κάνω μία σύγκριση αν οι διαφορές είναι στατιστικά σημαντικές το έψαχνα στο Google. Λόγω της ιδιαιτερότητάς της ως γλώσσα τη χρησιμοποιούσα πιο πολύ σαν εργαλείο ανάλυσης παρά ως γλώσσα προγραμματισμού. Οι πρώτες χρήσεις που είχα κάνει στην R ήταν κάποιοι απλοί στατιστικοί έλεγχοι και ενθουσιάστηκα ότι μπορούσα πλέον να χρησιμοποιήσω ένα εργαλείο με θεωρητικά απεριόριστες δυνατότητες σε σχέση με τα “έτοιμα” προγράμματα. Η όλη διαδρομή, βέβαια, ήταν ιδιαίτερα ενδιαφέρουσα και περιλάμβανε πολλά ξενύχτια. Παρ’ όλα αυτά, μετά από άπειρα μηνύματα σφάλματος, άρχισα να παρατηρώ τη σταδιακή μου βελτίωση. Και ακόμα δεν είχα αντιληφθεί το πόσο σωστή επιλογή είχα κάνει, καθώς αγνοούσα το εύρος των δυνατοτήτων της. Με το καιρό ανακάλυπτα ότι μπορείς να φτιάξεις δικά σου γραφήματα με το πακέτο {ggplot2} και ενθουσιάστηκα (ομολογώ λίγο παραπάνω από το κανονικό) όταν έμαθα ότι το BBC και οι Financial Times χρησιμοποιούν το {ggplot2} για να φτιάξουν τα εντυπωσιακά γραφήματά τους. Όταν έμαθα ότι μπορείς να φτιάχνεις και ηλεκτρονικές εφαρμογές (dashboards) με το πακέτο {Shiny} πραγματικά εντυπωσιάστηκα με το εύρος των δυνατοτήτων που δεν περιοριζόταν μόνο στη Στατιστική. Στη συνέχεια ανακάλυψα το Kaggle, μια ιστοσελίδα αφιερωμένη στην επιστήμη δεδομένων. Μου φάνηκε ιδιαίτερα χρήσιμη πλατφόρμα και εκεί άρχισα να δημοσιεύω κάποια άρθρα-notebook, γραφήματα και γενικά να πειραματίζομαι με τη R. Κοιτώντας τα σήμερα, μετά από αρκετά χρόνια, τα γραφήματά μου ήταν οικτρά, τότε όμως τα έβλεπα και χαιρόμουν. Τουλάχιστον, με τον καιρό βελτιώθηκα και πλέον έχω το γνώθι σ’ αυτόν ότι όντως τα έκανα χάλια 😀. Αν με παρακαλέσετε, βέβαια, μπορεί και να ανεβάσω ένα-δύο, για να δείτε πόσο αχάμπαρος ήμουν τότε. Το Kaggle ήταν εξαιρετικά χρήσιμο έμαθα πάρα πολλά πράγματα και υπήρχαν άνθρωποι που δούλευαν σε κολοσσούς και δημοσίευαν προσβάσιμες λύσεις για πραγματικά προβλήματα. Μέχρι και σήμερα αναρτώνται διαγωνισμοί, και πολλοί δημοσιεύουν τις λύσεις τους. Το μοναδικό πρόβλημα είναι ότι με τον καιρό επικράτησε η Python, με αποτέλεσμα περίπου το 80% του υλικού να αφορά άλλες γλώσσες. Αυτό είχε ως συνέπεια η κοινότητα των χρηστών της R να συρρικνωθεί και πλέον όλο και λιγότερα άρθρα για τη R να δημοσιεύονται ή να αντικαθίστανται από αντίστοιχα στην Python. Για αυτό έλαβα μία ενδιαφέρουσα απόφαση…

Εκτός πλατφόρμας

Πριν από κάποια χρόνια αποφάσισα να φτιάξω τη δική μου ιστοσελίδα, ώστε να φιλοξενώ μόνος μου τα άρθρα. Αρχικά, έπρεπε να αποφασίσω με ποιον τρόπο θα τη δημιουργήσω. Οι επιλογές ήταν πολλές και πειραματίστηκα με διάφορους τρόπους και εργαλεία. Μία λύση θα ήταν μία συμβατική ιστοσελίδα με το Wordpress κάτι που όμως θα ήταν κοστοβόρο μιας και θα έπρεπε να τη φιλοξενήσω σε server και να καλύψω τα ανάλογα έξοδα (περίπου 10$/μήνα) για ένα αξιοπρεπές και ασφαλές πλάνο VPS. Κάτι τέτοιο δεν άξιζε και σαν σωστός μπατίρης που είμαι έψαξα για έναν πιο φθηνό τρόπο και από ό,τι φαίνεται υπάρχει. Κάπου εκεί ανακάλυψα τις στατικές ιστοσελίδες και την μη ανάγκη ενός blog να έχει σέρβερ. Τέτοια παραδείγματα είναι το Hugo με τη βοήθεια του πακέτου blogdown και το Distill, τα οποία ήταν αξιόλογες λύσεις, αλλά υπήρχαν σημαντικά προβλήματα. Από τη μία, το Hugo βασίζεται σε μία γλώσσα που δεν γνωρίζω (Golang), άρα αν ήθελα να κάνω κάποια αλλαγή ή να προσθέσω μία λειτουργία θα μου ήταν αδύνατο. Επιπλέον, η προηγούμενη σελίδα μου, που ήταν φτιαγμένη με το Distill, δεν ήταν φιλική στις μικρές οθόνες (non-responsive), αφού έκρυβε το κουμπί του μενού. Το Quarto έλυσε πολλά προβλήματα που είχαν αυτοί οι δύο τρόποι και πλέον πάρα πολλοί το χρησιμοποιούν για τις ιστοσελίδες τους. Ναι, το Quarto έχει κάποιες ακόμα ελλείψεις αν το συγκρίνουμε με άλλα καθιερωμένα υποδείγματα κατασκευής ιστοσελίδας (π.χ. Astro), αλλά αυτή τη στιγμή αποτελεί ό,τι καλύτερο για όποιον δουλεύει σε γλώσσες ανάλυσης (R, Python, Julia) και θέλει να αναρτήσει άρθρα με βάση αυτά. Το κύριο πλεονέκτημα κατά τη γνώμη μου είναι η εκτέλεση του αρχείου ανάλυσης και εξαγωγή του ως άρθρου. Αν χρησιμοποιούσα ένα άλλο static site builder όπως το Astro θα έπρεπε κάθε φορά να τρέχω ξεχωριστά τον κώδικα και να αναρτώ τα αποτελέσματα ή τα γραφήματά μου σε αυτό και να το ξανατρέξω, κάτι που θα καθιστούσε όλη τη διαδικασία μη παραγωγική.

Σχήμα 1: Πακέτα της R για να φτιάξεις ιστοσελίδα (πριν το Quarto)

Στόχοι ιστοσελίδας

Δεδομένου ότι είναι το πρώτο μου άρθρο στην ιστοσελίδα θα ήθελα να θέσω τους στόχους μου για αυτή. Έτσι λοιπόν, σκοπεύω να :

  • γράφω άρθρα ή να κάνω αναλύσεις μηχανικής μάθησης (χρησιμοποιώντας R και Python)
  • αναρτώ επεξηγηματικά άρθρα (π.χ., «Πώς να φτιάξετε τη δική σας ιστοσελίδα με το Quarto» κα.)
  • παρουσιάσω (κυρίως τις εφαρμογές μου με το Shiny, κα.)
  • αναρτώ υλικό και άρθρα στα ελληνικά, μιας και δεν υπάρχει μεγάλο κοινό στην Ελλάδα και θέλω αυτό να αλλάξει
  • λύνω θέματα εξετάσεων ή έστω να λύνω αντίστοιχα με την R
  • και πολλά άλλα …

Σημειώσεις

Εικόνα άρθρου: R. E. Beck from Pixabay

Παραπομπή άρθρου

Allaire, J. J., Teague, C., Scheidegger, C., Xie, Y., & Dervieux, C. (2022). Quarto. https://doi.org/10.5281/zenodo.5960048
Dervieux, C., Allaire, J., Iannone, R., Presmanes Hill, A., & Xie, Y. (2022). distill: ’R Markdown’ Format for Scientific and Technical Writing. Ανακτήθηκε από https://CRAN.R-project.org/package=distill
Xie, Y., Dervieux, C., & Hill, A. P. (2022). blogdown: Create Blogs and Websites with R Markdown. Ανακτήθηκε από https://github.com/rstudio/blogdown
]]> Γενικα https://stesiam.com/el/posts/first-article/ Wed, 27 Jul 2022 00:00:00 GMT