Data Engineer from zero to Junior - δωρεάν μάθημα από το Skillbox, εκπαίδευση, Ημερομηνία: 29 Νοεμβρίου 2023.
μικροαντικείμενα / / November 30, 2023
Για αρχάριους
Μάθετε Python και SQL από την αρχή. Μάθετε να συλλέγετε, να αναλύετε και να επεξεργάζεστε δεδομένα. Λύστε προβλήματα με βάση πραγματικές περιπτώσεις και προσθέστε τα στο χαρτοφυλάκιό σας. Μπορείτε να ξεκινήσετε μια καριέρα στη Μηχανική Δεδομένων ενώ σπουδάζετε.
Για προγραμματιστές
Βελτιώστε τις γνώσεις σας για την SQL για να εργαστείτε με βάσεις δεδομένων. Θα περάσετε από ολόκληρη τη διαδρομή ενός μηχανικού δεδομένων από τη συλλογή ακατέργαστων δεδομένων έως την ανάπτυξη του μοντέλου. Η εμπειρία στον προγραμματισμό θα σας βοηθήσει να κατανοήσετε γρήγορα ένα νέο επάγγελμα και να αλλάξετε τον τομέα σας.
Για αρχάριους αναλυτές
Μάθετε όλα τα στάδια εργασίας με δεδομένα. Μάθετε να συλλέγετε πληροφορίες από διαφορετικές πηγές, να δημιουργείτε μια αρχιτεκτονική για την αποθήκευσή τους και να οπτικοποιείτε αναφορές. Θα μπορείτε να προετοιμάσετε ανεξάρτητα δεδομένα για επακόλουθη ανάλυση.
Συγγραφέας του μαθήματος Machine Learning. Senior Data Scientist, Team Lead στο SberData, Sber. 5+ χρόνια στο επάγγελμα
Ομιλητής του μαθήματος, Διευθυντής Ε&Α, UBIC Tech. Περισσότερα από 15 χρόνια εμπειρίας στην ανάπτυξη
Επιστήμονας δεδομένων στη Sberbank, μαθηματικός στο Υπολογιστικό Κέντρο της Ρωσικής Ακαδημίας Επιστημών. Μπλοκ «Βασικές αρχές των μαθηματικών για την επιστήμη των δεδομένων». Περισσότερα από 4 χρόνια εμπειρίας στη διδασκαλία ανώτερων μαθηματικών
Πρώτο επίπεδο: βασική εκπαίδευση
Εξοικειωθείτε με τους κύριους τομείς της Επιστήμης Δεδομένων, εκπαιδεύστε και εφαρμόστε το πρώτο σας μοντέλο ML. Αποκτήστε βασικές γνώσεις μαθηματικών, στατιστικής και θεωρίας πιθανοτήτων. Όλα αυτά θα σας βοηθήσουν να κατανοήσετε τις βασικές αρχές της εργασίας με δεδομένα. Ο μέσος χρόνος ολοκλήρωσης είναι 6 μήνες.
Εισαγωγή στην Επιστήμη Δεδομένων
Θα περάσετε από όλα τα στάδια εργασίας με δεδομένα. Μάθετε να εντοπίζετε προβλήματα, συλλέγετε επιχειρηματικές απαιτήσεις. Θα πραγματοποιήσετε λήψη δεδομένων από διάφορες πηγές, θα πραγματοποιήσετε διερευνητική ανάλυση και θα προετοιμάσετε το σύνολο δεδομένων για περαιτέρω χρήση. Εκπαιδεύστε και εφαρμόστε ένα έτοιμο μοντέλο ML, δοκιμάστε τον εαυτό σας ως αναλυτής προϊόντων και μάρκετινγκ. Μάθετε πώς να διατυπώνετε και να δοκιμάζετε υποθέσεις. Κατακτήστε τα βασικά εργαλεία για εργασία: Python, SQL, Excel, Power Bi, Airflow.
Βασικά Μαθηματικά για Επιστήμη Δεδομένων
Αποκτήστε βασικές γνώσεις μαθηματικών για να εργαστείτε με τη μηχανική μάθηση. Θα καταλάβετε τι είναι η προσέγγιση, η παρεμβολή, οι συναρτήσεις, οι παλινδρομήσεις, οι πίνακες και τα διανύσματα. Μάθετε να εργάζεστε με μαθηματικές οντότητες στη βιβλιοθήκη SymPy Python.
Βασικές αρχές στατιστικής και θεωρία πιθανοτήτων
Θα κατανοήσετε τις αρχές της εργασίας με τυχαίες μεταβλητές και συμβάντα. Εξοικειωθείτε με ορισμένους τύπους κατανομών και στατιστικών δοκιμών που είναι χρήσιμοι για την κατασκευή μοντέλων και τον έλεγχο υποθέσεων.
Ευκαιρία πρακτικής άσκησης
Οι βασικές γνώσεις και δεξιότητες είναι αρκετές για να αποκτήσετε πρακτική άσκηση - μπορείτε να συνεχίσετε να σπουδάζετε στο μάθημα και στην εταιρεία ταυτόχρονα.
Δεύτερο επίπεδο: Data Engineer Junior
Μάθετε να συλλέγετε πολύπλοκα σύνολα δεδομένων, να προετοιμάζετε προθήκες και να δημιουργείτε αγωγούς για εργασία, να αναπτύσσετε έργα DS από την αρχή και να δοκιμάζετε κώδικα. Θα είστε έτοιμοι να εργαστείτε ως Junior Data Engineer. Ο μέσος χρόνος ολοκλήρωσης είναι 6 μήνες.
Εισαγωγικό μπλοκ
Μάθετε τι κάνει ένας Μηχανικός Δεδομένων, τι ρόλο παίζει σε ένα έργο Επιστήμης Δεδομένων και ποιες είναι οι επαγγελματικές του διαδρομές. Θα καταλάβετε πώς είναι δομημένο το μάθημα και ποια θέματα θα μελετήσετε.
SQL
Μάθετε να χειρίζεστε δεδομένα σε υπάρχοντες πίνακες, να εκτελείτε λειτουργίες εισαγωγής, διαγραφής και ενημέρωσης. Μπορείτε να αποθηκεύσετε δεδομένα από τη βάση δεδομένων σε διάφορες μορφές. Μάθετε για τις λειτουργίες παραθύρου και τα βασικά για την προετοιμασία των μαρκετών δεδομένων χρησιμοποιώντας SQL. Μάθετε να διασφαλίζετε τη σωστή εισαγωγή πληροφοριών στη λειτουργία συναλλαγής. Θα μπορείτε να διαβάσετε και να κατανοήσετε το αρχείο καταγραφής συναλλαγών. Μάθετε τι είναι τα ευρετήρια και την αρχιτεκτονική του ευρετηρίου και πού χρησιμοποιούνται. Μάθετε τεχνικές για να επιταχύνετε τα ερωτήματα.
Πύθων. LVL 2
Εξετάστε τους τύπους δεδομένων, πώς μπορούν να μετατραπούν και πώς συνεργάζονται η Python και η SQL—λήψη δεδομένων από μια βάση δεδομένων, εργασία με τα δεδομένα και εκτέλεση ερωτημάτων. Μάθετε τις βασικές έννοιες των σχημάτων δεδομένων JSON και XML. Θα μπορείτε να διαμορφώσετε τον εντοπισμό σφαλμάτων εφαρμογών, να γράψετε δοκιμές, να ανωνυμοποιήσετε και να κρυπτογραφήσετε δεδομένα.
Βιβλιοθήκες για Python
Θα μάθετε τι είναι οι βιβλιοθήκες για εργασία με γραφήματα, εποπτευόμενη μάθηση, οπτικοποίηση μετρήσεων και πηγές συνόλων δεδομένων. Μάθετε να χρησιμοποιείτε την Python και τις βιβλιοθήκες για να εργάζεστε με δεδομένα. Μπορείτε να συνεχίσετε να μαθαίνετε Pandas.
Ροή αέρα
Εξετάστε βασικές έννοιες και πρακτικές για την εργασία με το Airflow. Μάθετε βασικές αρχές αρχιτεκτονικής και διαλειτουργικότητας από το UI στο CLI. Δημιουργήστε την πρώτη σας γραμμή δεδομένων.
Spark Basics
Master Spark: μάθετε με ποιους υπολογιστικούς πόρους λειτουργεί, πώς αποθηκεύει δεδομένα και πώς λειτουργεί με τη μνήμη και το δίσκο. Στήστε το πρώτο σας τοπικό περίπτερο. Μάθετε τα βασικά της RDD: βασικές έννοιες, εργασία με πηγές, ενέργειες. Μάθετε να εργάζεστε με το Dataframe API. Μάθετε ζητήματα απόδοσης και βελτιστοποίησης κατά τη χρήση του Dataframe, πηγών και τύπων δεδομένων, εργασίας με έγκυρα/μη έγκυρα δεδομένα, διαχείριση σφαλμάτων, UDF, αλληλεπίδραση με Python και SQL.
Βασικά στοιχεία αλγορίθμων μηχανικής μάθησης
Θα κατανοήσετε τους κύριους τύπους μοντέλων μηχανικής εκμάθησης, βασικούς όρους και ορισμούς. Μάθετε αλγόριθμους παλινδρόμησης και αλγόριθμους ομαδοποίησης.
Ανάπτυξη
Μάθετε τα κύρια στάδια προετοιμασίας ενός μοντέλου για ανάπτυξη, προσεγγίσεις για τη δημιουργία ενός API και τρόπους χειρισμού σφαλμάτων και εντοπισμού σφαλμάτων εφαρμογών. Θα μπορείτε να αντιμετωπίσετε προβλήματα ανάπτυξης και να κυριαρχήσετε στα βασικά εργαλεία swagger. Εξοικειωθείτε με τις βασικές διαδικασίες του bash: σύνταξη σεναρίων, εργασία με μεταβλητές και τους επεξεργαστές κειμένου sed και awk.
Τελικά έργα
Αφού περάσετε το πρώτο επίπεδο, ετοιμάστε ένα εισαγωγικό έργο. Στο τέλος του μαθήματος θα παρουσιάσετε την τελική εργασία σας.
Εισαγωγή στην Επιστήμη Δεδομένων
Ενοποιήστε τις νέες σας γνώσεις σε ένα μεμονωμένο έργο - θα μεταβείτε από τη φόρτωση δεδομένων στην υλοποίηση ενός μοντέλου. Λύστε τα προβλήματα ενός μηχανικού δεδομένων, μηχανικού ML και αναλυτή δεδομένων για να αποφασίσετε για την εξειδίκευσή σας.
Μηχανικός Δεδομένων
Τελικό έργο σε επίπεδο Junior. Πραγματοποιήστε μια ανάλυση κοόρτης και κατεβάστε αναφορές API. Δημιουργήστε πίνακες εργαλείων με βάση τα δεδομένα που λαμβάνονται.
Μπόνους μαθήματα
Καριέρα προγραμματιστή: Απασχόληση και Ανάπτυξη
Θα μάθετε πώς να επιλέξετε μια κατάλληλη κενή θέση, να προετοιμαστείτε για μια συνέντευξη και να διαπραγματευτείτε με έναν εργοδότη. Θα μπορέσετε να αποκτήσετε γρήγορα μια θέση που να ανταποκρίνεται στις προσδοκίες και τις δεξιότητές σας.
Σύστημα ελέγχου έκδοσης Git
Μάθετε να τροποποιείτε τον κώδικα έκδοσης, να δημιουργείτε και να διαχειρίζεστε αποθετήρια, υποκαταστήματα και να επιλύετε διενέξεις εκδόσεων. Μάθετε χρήσιμους κανόνες για την εργασία με το Git.
Αγγλικά για ειδικούς πληροφορικής
Αποκτήστε γλωσσικές δεξιότητες που θα σας βοηθήσουν να περάσετε μια συνέντευξη με μια ξένη εταιρεία και να επικοινωνήσετε άνετα σε μικτές ομάδες.