Επεξεργασία και ανάλυση μεγάλων δεδομένων - δωρεάν μάθημα από την Open Education, εκπαίδευση 2 εβδομάδων, περίπου 36 ώρες την εβδομάδα, Ημερομηνία 29 Νοεμβρίου 2023.
μικροαντικείμενα / / November 30, 2023
Ph.D. Θέση: Αναπληρωτής Καθηγητής, Σχολή Συστημάτων Ελέγχου και Ρομποτικής, Αναπληρωτής Καθηγητής, Ανώτατη Σχολή Ψηφιακού Πολιτισμού, Πανεπιστήμιο ITMO
Υποψήφιος Φυσικομαθηματικών Επιστημών Θέση: Αναπληρωτής Καθηγητής, Ανώτατη Σχολή Ψηφιακού Πολιτισμού, Πανεπιστήμιο ITMO
Ph.D. Θέση: Αναπληρωτής Καθηγητής, Ανώτατη Σχολή Ψηφιακού Πολιτισμού, Πανεπιστήμιο ITMO
Ενότητα 1 Θέμα 1.1 Εισαγωγή στην επιστήμη των δεδομένων Συζητά τύπους και πηγές δεδομένων, αρχές διαχωρισμός και συνδυασμός δεδομένων, τύποι ζυγαριών, μέθοδοι καθαρισμού δεδομένων και συμπλήρωσης κενών, έλεγχος σειρές. Θέμα 1.2 Εργαλεία επεξεργασίας δεδομένων Συζητά τα κύρια εργαλεία επεξεργασίας δεδομένων, όπως υπολογιστικά φύλλα (υπολογιστικά φύλλα Google και Excel), καλύπτει τα θέματα ταξινόμησης και φιλτραρίσματος δεδομένων, μέσα συγκέντρωσης και ανάλυσης πινάκων δεδομένων (pivot tables) Θέμα 1.3 Οπτικοποίηση δεδομένα Οι εργασίες και οι μέθοδοι οπτικοποίησης δεδομένων σε διάφορα εργαλεία (υπολογιστικά φύλλα Google και Excel), μορφές παρουσίασης ποσοτικών και ποιοτικα δεδομενα. Εξετάζεται η οπτικοποίηση γνωστικών δεδομένων. Θέμα 1.4 Ανάλυση και μετασχηματισμός δεδομένων Εξετάζονται μέθοδοι εξομάλυνσης και κανονικοποίησης δεδομένων, θέματα μετασχηματισμού δεδομένων. Περιγράφονται αναλυτικά τα είδη των περιγραφικών στατιστικών και οι μέθοδοι υπολογισμού τους. Θέμα 1.5 Εργασία με χρονοσειρές Εξετάζονται οι αρχές της εργασίας με χρονοσειρές και οι μέθοδοι ανάλυσής τους. Ιδιαίτερη προσοχή δίνεται στις τεχνικές εξομάλυνσης χρονοσειρών, προσδιορισμού τάσεων και εποχιακών συνιστωσών χρονοσειρών.
Ενότητα 2 Αποθήκευση μεγάλων δεδομένων Θέμα 2.1. Συστήματα διαχείρισης βάσεων δεδομένων Εξετάζονται η αρχιτεκτονική των πληροφοριακών συστημάτων και οι κύριες λειτουργίες των συστημάτων διαχείρισης βάσεων δεδομένων. Θέμα 2.2. Σχεδιασμός δομημένων δεδομένων Εξετάζονται οι βασικές έννοιες του σχεσιακού (πίνακα) μοντέλου δεδομένα, σχεδιασμός δεδομένων σε ένα σχεσιακό μοντέλο, κανόνες για τη δημιουργία πινάκων και τον καθορισμό περιορισμών ακεραιότητας. Θέμα 2.3. SQL - ερωτήματα σε δεδομένα και αντικείμενα βάσης δεδομένων Οι αρχές της κατασκευής ερωτημάτων σε δεδομένα στη γλώσσα SQL λαμβάνονται υπόψη, συμπεριλαμβανομένης της προβολής, της ταξινόμησης, της ρύθμισης συνθηκών επιλογής, της ένωσης πολλών πινάκων, των πράξεων θεωρίας συνόλων, ένθετων αιτήσεων. Η διάλεξη συζητά επίσης αντικείμενα βάσης δεδομένων - προβολές, διαδικασίες/συναρτήσεις, ενεργοποιητές. Δίνεται η έννοια των ευρετηρίων, τα οποία μπορούν να βελτιώσουν την αποτελεσματικότητα της εκτέλεσης ενός αριθμού ερωτημάτων. Θέμα 2.4. Αποθήκευση NoSQL Οι βασικές έννοιες και τα χαρακτηριστικά των συστημάτων NoSQL, διάφοροι τύποι και βαθμολογίες συστημάτων NoSQL λαμβάνονται υπόψη: κλειδί-τιμή, έγγραφο, στήλη και γράφημα. Αρχές δημιουργίας ερωτημάτων σε δεδομένα σε αποθηκευτικούς χώρους NoSQL. Θέμα 2.5. MongoDB - εργασία με αποθήκευση εγγράφων Συζητά την οργάνωση δεδομένων και τη δημιουργία ερωτημάτων στο MongoDB. Παρέχονται παραδείγματα δόμησης ερωτημάτων στη βάση δεδομένων επίδειξης MongoDB.