Μηχανικός Δεδομένων - μάθημα 89.000 τρίψτε. από την Otus, εκπαίδευση 4 μηνών, ημερομηνία 30 Νοεμβρίου 2023.
μικροαντικείμενα / / December 03, 2023
Τι θα σας δώσει αυτό το μάθημα;
- Κατανόηση των βασικών τρόπων ενοποίησης, επεξεργασίας και αποθήκευσης μεγάλων δεδομένων
- Δυνατότητα εργασίας με στοιχεία οικοσυστήματος Hadoop, κατανεμημένη αποθήκευση και λύσεις cloud
- Πρακτικές δεξιότητες στην ανάπτυξη υπηρεσιών δεδομένων, βιτρινών και εφαρμογών
- Γνώση των αρχών οργάνωσης παρακολούθησης, ενορχήστρωσης, δοκιμών
Το μάθημα απευθύνεται προγραμματιστές, διαχειριστές DBMS και όλοι όσοι επιδιώκουν να βελτιώσουν το επαγγελματικό τους επίπεδο, να κατέχουν νέα εργαλεία και να συμμετέχουν σε ενδιαφέρουσες εργασίες στον τομέα της εργασίας με δεδομένα.
Αφού σπουδάσετε Μηχανική Δεδομένων, θα γίνετε ένας περιζήτητος ειδικός που:
- αναπτύσσει, προσαρμόζει και βελτιστοποιεί τα εργαλεία επεξεργασίας δεδομένων
- προσαρμόζει σύνολα δεδομένων για περαιτέρω εργασία και ανάλυση
- δημιουργεί υπηρεσίες που χρησιμοποιούν τα αποτελέσματα της επεξεργασίας μεγάλου όγκου δεδομένων
- υπεύθυνος για την αρχιτεκτονική δεδομένων στην εταιρεία
Μελέτες πραγματικών περιπτώσεων: παραδείγματα υλοποιήσεων, χρήση εργαλείων, βελτιστοποίηση απόδοσης, προβλήματα, σφάλματα και εφαρμοσμένα αποτελέσματα
Εξαιρετικά πρακτικός προσανατολισμός:
Κατά τη διάρκεια του μαθήματος θα δημιουργήσουμε σταδιακά ένα λειτουργικό προϊόν, επιλύοντας εφαρμοσμένα προβλήματα
Μια ολιστική εικόνα των προκλήσεων και των καθηκόντων της σύγχρονης επιχείρησης και ο ρόλος του Μηχανικού Δεδομένων στην επίλυσή τους
Ζήτηση μεταξύ των εργοδοτών
40 εργοδότες είναι ήδη έτοιμοι να καλέσουν τους πτυχιούχους μαθημάτων για συνέντευξη
6
ΚΥΚΛΟΣ ΜΑΘΗΜΑΤΩΝΜηχανικός δεδομένων στο Wildberries, DE Junior ομιλητής μαθημάτων. Πάνω από 7 χρόνια στην πληροφορική
Απόφοιτος του Κρατικού Πανεπιστημίου Voronezh με άριστα. Επί του παρόντος φοιτητής στο μεταπτυχιακό πρόγραμμα HSE «Μηχανική Συστήματος και Λογισμικού». Επαγγελματική εμπειρία - 2 χρόνια εργασίας ως Data Analyst και Data Engineer. Τώρα εργάζεται με 5 δημοφιλείς βάσεις δεδομένων, αναπτύσσεται σε Python και αναπτύσσει γρήγορα τις δεξιότητές του. Έτοιμος να μοιραστώ την εμπειρία μου.
1
ΚαλάΑναπτύσσει αναλυτικά στοιχεία στην εταιρεία για περισσότερα από 10 χρόνια. Μεταξύ των επιτευγμάτων: - Κατασκευή του δικού μας συστήματος ανάλυσης ιστού από άκρο σε άκρο, - Κατασκευή αναλυτικής αποθήκης με βάση το MPP Vertica, - Οργάνωση επεξεργασίας δεδομένων βάσει Spark, Kafka, HDFS, -...
Αναπτύσσει αναλυτικά στοιχεία στην εταιρεία για περισσότερα από 10 χρόνια. Μεταξύ των επιτευγμάτων: - Κατασκευή του δικού μας συστήματος ανάλυσης ιστού από άκρο σε άκρο, - Κατασκευή αναλυτικής αποθήκης με βάση το MPP Vertica, - Οργάνωση επεξεργασίας δεδομένων με βάση το Spark, Kafka, HDFS;- Δόμηση διαδικασιών για την εργασία με δεδομένα, συμπεριλαμβανομένης της ποιότητας δεδομένων;- Δημιουργία αρκετών εσωτερικών εργαλείων για εργασία και δόμηση μεταδεδομένων (Κατάλογος δεδομένων) Κατασκευή ενός συστήματος εταιρικών αναφορών, συμπεριλαμβανομένου του πραγματικού χρόνου· - Για περισσότερα από 5 χρόνια, αυξάνει τον αλφαβητισμό δεδομένων εντός της εταιρείας, πραγματοποιώντας διάφορες εκπαιδεύσεις σχετικά με την εργασία με δεδομένα, εργαλεία, SQL; Ανέπτυξε επίσης αρκετούς ηγέτες ανάλυσης που τώρα εργάζονται σε μεγάλες εταιρείες. Η κύρια εστίαση είναι στην κατανόηση επιχειρηματικών προβλημάτων κατά την εργασία με δεδομένα και την επίλυσή τους.
1
ΚαλάΕπικεφαλής του τμήματος, Sberbank 8 χρόνια εμπειρίας στη βιομηχανική ανάπτυξη, συμπεριλαμβανομένης της δημιουργίας και συντήρησης διαδικτυακών εφαρμογών τόσο σε μεγάλες εταιρείες όσο και σε startups. 3 χρόνια ανάπτυξης κατανεμημένων συστημάτων για μεγάλες κρατικές...
Επικεφαλής του τμήματος, Sberbank 8 χρόνια εμπειρίας στη βιομηχανική ανάπτυξη, συμπεριλαμβανομένης της δημιουργίας και συντήρησης διαδικτυακών εφαρμογών τόσο σε μεγάλες εταιρείες όσο και σε startups. 3 χρόνια ανάπτυξης κατανεμημένων συστημάτων για μεγάλους κρατικούς πελάτες. Υλοποίησε τρία έργα από την αρχή, από πρωτότυπο έως έτοιμο για βιομηχανική χρήση. Επί του παρόντος ασχολείται με την ανάπτυξη πλήρους στοίβας για εσωτερικούς πελάτες στην τράπεζα, επιλύοντας προβλήματα που σχετίζονται με την ανάλυση δεδομένων και τη μηχανική. Εμπειρία στον προγραμματισμό σε Java, Scala, Python, Javascript. Ένα ευρύ φάσμα επαγγελματικών ενδιαφερόντων, που κυμαίνονται από την κατασκευή κατανεμημένων συστημάτων έως την προγνωστική ανάλυση και την ανάλυση προθέσεων. Εκπαίδευση: Πτυχίο από το UrFU με το όνομά του. B.N. Yeltsin «Τεχνολογίες της Πληροφορίας».
Αρχιτεκτονική Δεδομένων
-Θέμα 1. Μηχανικός Δεδομένων. Καθήκοντα, δεξιότητες, εργαλεία, ανάγκες της αγοράς
-Θέμα 2.Αρχιτεκτονική αναλυτικών εφαρμογών: βασικά στοιχεία και αρχές
-Θέμα 3.Σε εγκαταστάσεις / Λύσεις cloud
-Θέμα 4. Αυτοματισμός και ενορχήστρωση αγωγών – 1
-Θέμα 5. Αυτοματισμός και ενορχήστρωση αγωγών – 2
Λίμνη Δεδομένων
-Θέμα 6. Κατανεμημένα συστήματα αρχείων. HDFS/S3
-Θέμα 7. Πρόσβαση SQL στο Hadoop. Apache Hive/Presto
-Θέμα 8. Μορφές αποθήκευσης δεδομένων και τα χαρακτηριστικά τους
-Θέμα 9. Ανάλυση τηλεχειριστηρίου για 1 θήκη
-Θέμα 10.Ουρές μηνυμάτων. Επισκόπηση Κάφκα.
-Θέμα 11.Λήψη δεδομένων από εξωτερικά συστήματα
-Θέμα 12.Apache Spark – 1
-Θέμα 13.Apache Spark – 2
DWH
-Θέμα 14.Analytic DBMS. Βάσεις δεδομένων MPP
-Θέμα 15. Μοντελοποίηση DWH – 1. dbt βασικά
-Θέμα 16. Μοντελοποίηση DWH – 2. Data Vault 2.0
-Θέμα 17.Πρακτικές DevOps σε Αναλυτικές εφαρμογές. CI+CD
-Θέμα 18. Ανάλυση τηλεχειρισμού για την περίπτωση 2
-Θέμα 19.Ποιότητα Δεδομένων. Διαχείριση Ποιότητας Δεδομένων
-Θέμα 20. Ανάπτυξη λύσης BI
-Θέμα 21.Παρακολούθηση / Μεταδεδομένα
NoSQL/NewSQL
-Θέμα 22.NoSQL Storage. Ευρεία στήλη και κλειδί-τιμή
-Θέμα 23.NoSQL Storage. Προσανατολισμός εγγράφων
-Θέμα 24.ΕΛΚ
-Θέμα 25.ClickHouse
-Θέμα 26. Ανάλυση τηλεχειρισμού για την περίπτωση 3
MLOps
-Θέμα 27.Οργάνωση και Συσκευασία κώδικα
-Θέμα 28.Αρχιτεκτονική Docker και REST
-Θέμα 29.MLFlow + DVC
-Θέμα 30. Ανάπτυξη μοντέλων
-Θέμα 31. Ανάλυση τηλεχειρισμού για την περίπτωση 4
-Θέμα 32. Ανάλυση τηλεχειρισμού για την περίπτωση 5
Εργασία αποφοίτησης
-Θέμα 33. Επιλογή θέματος και οργάνωση εργασιών έργου
-Θέμα 34.Διαβούλευση
-Θέμα 35.Προστασία