Πλαίσιο Apache Spark για προγραμματιστές: προχωρημένο επίπεδο - μάθημα 41.500 τρίψιμο. από το IBS Training Center, εκπαίδευση 24 ώρες, Ημερομηνία 26 Νοεμβρίου 2023.
μικροαντικείμενα / / December 05, 2023
Η εκπαίδευση παρέχει μια λεπτομερή κατανόηση της εσωτερικής δομής και λειτουργίας του πλαισίου Apache Spark - τόσο Spark Core (RDD), Spark SQL, Spark Streaming όσο και Spark Structured Streaming. Εξετάζονται οι μηχανισμοί για την εκκίνηση στοιχείων του συμπλέγματος Spark υπό τον έλεγχο διαφορετικών διαχειριστών συμπλέγματος, η διαχείριση της κατανομής των πόρων (κυρίως της μνήμης) και οι μηχανισμοί εργασίας των προγραμματιστών. Τα πλεονεκτήματα της εσωτερικής μορφής αναπαράστασης βολφραμίου και η λειτουργία του βελτιστοποιητή Catalyst διερευνώνται λεπτομερώς.
Θέματα που καλύπτονται:
Spark Internal Architecture, Spark Runtime Environment
Ρύθμιση του Spark Context, SparkConf
Εσωτερικά RDD, Λογική διάταξη
Βέλτιστες πρακτικές για προγραμματισμό με RDD
Φυσικό σχέδιο: εργασία, στάδια, καθήκοντα
Σχεδιαστές και Εκτέλεση Φυσικού Σχεδίου
Συντονισμός μνήμης, σειριοποίηση, προσωρινή αποθήκευση, συλλογή σκουπιδιών
API πηγής δεδομένων, εσωτερική αναπαράσταση δεδομένων βολφραμίου, μορφές αρχείων
Catalyst Optimizer
Microbatch Spark Streaming: λήψη και έξοδος δεδομένων
Δομημένη ροή: λήψη και διανομή δεδομένων