Data Warehouse Analyst - δωρεάν μάθημα από την Otus, εκπαίδευση 5 μηνών, ημερομηνία 30 Νοεμβρίου 2023.
μικροαντικείμενα / / December 04, 2023
Οι αναλυτικές εφαρμογές σήμερα χτίζονται στο σημείο τομής των μηχανικών πρακτικών (Software/Data Engineering), κατανόηση των ιδιαιτεροτήτων των προϊόντων και των επιχειρήσεων (Data/Business Analysis), γρήγορη και υψηλής ποιότητας παροχή υπηρεσιών (DevOps).
Το μάθημα στοχεύει να διδάξει στους φοιτητές πώς να συναρμολογούν ολοκληρωμένες αναλυτικές λύσεις από άκρο σε άκρο χρησιμοποιώντας τα πιο σχετικά και απαιτητικά εργαλεία.
Το υλικό θα μελετηθεί τόσο σε βάθος (για παράδειγμα, αρχές λειτουργίας αναλυτικών ΣΔΒΔ) όσο και σε εύρος (σύγκριση εργαλείων, ανάλυση των δυνατών και αδυναμιών λύσεων).
Τι νέα πράγματα μπορώ να μάθω;
Για τους ρόλους Data Scientist, Data Analyst, Product Analyst:
– Αρχές λειτουργίας αναλυτικών ΣΔΒΔ και κατασκευή αγωγών ELT
– Χρήση βέλτιστων πρακτικών για τη μοντελοποίηση αποθηκών δεδομένων και μάρκετ
– Εφαρμογή των σωστών αρχιτεκτονικών προτύπων κατά την κατασκευή λύσεων
Για τους ρόλους Data Engineer, Backend Developer, DBA, System Administrator:
– Πρακτικές κατασκευής ολοκληρωμένων αναλυτικών λύσεων
– Εφαρμοσμένες δεξιότητες οπτικοποίησης, dashboard, BI
– Εστίαση στη δημιουργία επιχειρηματικής αξίας
Το μάθημα θα καλύπτει:
– Δεξιότητες κατασκευής αγωγών ELT: Airflow, Nifi, Stitch
– Αρχές λειτουργίας αναλυτικών DBMS: Redshift, Greenplum, Clickhouse
– Βέλτιστες πρακτικές μοντελοποίησης δεδομένων: dbt, Data Vault
– Οπτικοποίηση και BI: Metabase, Superset, DataLens
– Προηγμένα αναλυτικά στοιχεία: KPI, Funnels, Marketing Attribution, Cohort, RFM
– Πρακτικές DevOps: Συνεχής ενσωμάτωση, Github Actions
6
ΚΥΚΛΟΣ ΜΑΘΗΜΑΤΩΝΜηχανικός δεδομένων στο Wildberries, DE Junior ομιλητής μαθημάτων. Πάνω από 7 χρόνια στην πληροφορική
Απόφοιτος του Κρατικού Πανεπιστημίου Voronezh με άριστα. Επί του παρόντος φοιτητής στο μεταπτυχιακό πρόγραμμα HSE «Μηχανική Συστήματος και Λογισμικού». Επαγγελματική εμπειρία - 2 χρόνια εργασίας ως Data Analyst και Data Engineer. Τώρα εργάζεται με 5 δημοφιλείς βάσεις δεδομένων, αναπτύσσεται σε Python και αναπτύσσει γρήγορα τις δεξιότητές του. Έτοιμος να μοιραστώ την εμπειρία μου.
1
ΚαλάΠερισσότερα από 6 χρόνια εμπειρίας στην ανάπτυξη αποθηκών δεδομένων, αγωγών ELT, ανάλυσης και οπτικοποίησης δεδομένων. Εμπειρία στον τομέα της κρατικής ασφάλειας, δημιουργία και υλοποίηση της KHD LLC "Group of Companies "SBSV-Klyuchavto", επί του παρόντος...
Περισσότερα από 6 χρόνια εμπειρίας στην ανάπτυξη αποθηκών δεδομένων, αγωγών ELT, ανάλυσης και οπτικοποίησης δεδομένων. Εμπειρία στον τομέα της κρατικής ασφάλειας, δημιουργία και υλοποίηση της QCD LLC "Group of Companies "SBSV-Klyuchavto", που αναπτύσσει επί του παρόντος QCD για τον όμιλο εταιρειών Delo είμαι πεπεισμένος ότι τα δεδομένα είναι το δεύτερο λάδι, ένα είδος ιδιοκτησίας που χρειάζεστε για να μπορείτε να διαχειριστείτε και ξεκάνω. Η παρουσία οργανωμένων δεδομένων, η σωστή αποθήκευση, χρήση, πώληση, ανωνυμοποίηση υποδηλώνουν υψηλό επίπεδο ψηφιακής ωριμότητας. Δάσκαλος
3
σειρά μαθημάτωνΗ Αλεξάνδρα εργάζεται στον τομέα της ανάλυσης και του BI από το 2019. Μέχρι εκείνη τη στιγμή, έλαβε πτυχίο στη Μηχανική Λογισμικού από το Κρατικό Πανεπιστήμιο Αεροπορικής Διοίκησης της Αγίας Πετρούπολης και στη συνέχεια μεταπτυχιακό. Τα πρώτα βήματα στην...
Η Αλεξάνδρα εργάζεται στον τομέα της ανάλυσης και του BI από το 2019. Μέχρι εκείνη τη στιγμή, έλαβε πτυχίο στη Μηχανική Λογισμικού από το Κρατικό Πανεπιστήμιο Αεροπορικής Διοίκησης της Αγίας Πετρούπολης και στη συνέχεια μεταπτυχιακό. Τα πρώτα βήματα στην καριέρα του έγιναν στην αμερικανική εταιρεία Intermedia Cloud Communications ως junior analyst δεδομένων και μέχρι το 2021 κατάφερε να γίνει επικεφαλής της ομάδας ανάλυσης. Όλο αυτό το έτος αφιερώθηκε σε ένα νέο έργο μεταξύ ομάδων για διεθνή οικονομική διαχείριση στη στοίβα της Microsoft (MS SQL Server, SSRS, SSIS, Power BI). Από τον Μάρτιο του 2022 εργάζεται στον όμιλο εταιρειών Tinkoff Bank ως αναλυτής αποθήκης δεδομένα. Παρέχει υποστήριξη στην ανώτατη διοίκηση του οικονομικού τμήματος για τη δημιουργία πρωτοτύπων διαδικασιών ETL χρησιμοποιώντας Greenplum, ad-hoc analytics στην Python, αναφορές και οπτικοποίηση στο Tableau. Το 2020 έλαβε πρόσθετη εκπαίδευση στην κατεύθυνση της Project Management Manager στον τομέα της πληροφορικής. Είναι ένθερμος υποστηρικτής των ευέλικτων μεθοδολογιών ανάπτυξης. Πιστεύει ότι οι πιο κερδοφόρες επενδύσεις είναι οι επενδύσεις στη δική του ανάπτυξη. Στοίβα: SQL, SAS DIS, SSIS, Tableau, Power BI, Python
ELT: Δομή και τύποι πηγών δεδομένων
-Θέμα 1. Πηγές δεδομένων: ταξινόμηση και χαρακτηριστικά
-Θέμα 2.Εργαλεία λήψης δεδομένων – 1
-Θέμα 3.Εργαλεία λήψης δεδομένων – 2
Βασικά στοιχεία DWH
-Θέμα 4. Αναλυτικές μηχανές (DBMS) για εργασία με δεδομένα
-Θέμα 5.Αρχές κατασκευής DWH
-Θέμα 6.Ανάλυση ΔΖ – Μεταφόρτωση δεδομένων μετρητή ιστού
-Θέμα 7.Εισαγωγή στο Εργαλείο δημιουργίας δεδομένων
-Θέμα 8.DBT: Analytics Engineering
DWH Intermediate
-Θέμα 9. Ενορχήστρωση σεναρίων και εργασιών – 1
-Θέμα 10. Ενορχήστρωση σεναρίων και εργασιών – 2
-Θέμα 11. Ανάλυση DZ – Διαμόρφωση και εκκίνηση του έργου dbt
-Θέμα 12.Ποιότητα Δεδομένων
-Θέμα 13. Θέματα βελτιστοποίησης απόδοσης
-Θέμα 14. Θησαυροφυλάκιο δεδομένων – 1
-Θέμα 15. Θησαυροφυλάκιο δεδομένων – 2
-Θέμα 16. Ανάλυση DZ – Προετοιμασία και ρύθμιση προγράμματος DAG για λήψη δεδομένων από πηγές
Business Intelligence
-Θέμα 17.ΒΙ: Επισκόπηση
-Θέμα 18.BI: Ανάπτυξη
-Θέμα 19.ΒΙ: Μοντελοποίηση & Παράδοση
-Θέμα 20. Ανάλυση DZ – Οργάνωση λεπτομερούς επιπέδου DWH με χρήση της μεθοδολογίας Data Vault
-Θέμα 21.Analytics: Βασικές αναλυτικές προθήκες
-Θέμα 22.ΒΙ: Ερωτήσεις σε βάθος
-Θέμα 23. DZ Razor – Διαμόρφωση και ανάπτυξη λύσης BI
-Θέμα 24.Analytics: Προηγμένες προθήκες αναλυτικών στοιχείων
DWH Προχωρημένα θέματα
-Θέμα 25.DWH: Προχωρημένα θέματα
-Θέμα 26.DBT: Επέκταση με ενότητες
-Θέμα 27.DWH: Παρακολούθηση + Διαχείριση φόρτου εργασίας
-Θέμα 28. Ανάλυση DZ – Οπτικοποίηση και ταμπλό για αναλυτικές προθήκες
-Θέμα 29.DWH: Εξωτερικά + Ημιδομημένα δεδομένα
-Θέμα 30.DWH: Αντίστροφη-ΕΤΛ
-Θέμα 31.DWH: Δυνατότητες μηχανικής μάθησης
ανακεφαλαιώσουμε
-Θέμα 32. Ανάλυση περίπτωσης: λύση από άκρο σε άκρο
-Θέμα 33. Ανάλυση DZ – Προηγμένο DWH: Διαμόρφωση CI, ενότητες dbt, Εξωτερικοί πίνακες
-Θέμα 34. Περαιτέρω ανάπτυξη δεξιοτήτων
Εργασία έργου
-Θέμα 35. Επιλογή θέματος και οργάνωση εργασιών έργου
-Θέμα 36.Προστασία μελετητικών εργασιών