MLOps - ποσοστό 80.000 τρίψιμο. από την Otus, εκπαίδευση 5 μηνών, ημερομηνία 30 Νοεμβρίου 2023.

μικροαντικείμενα / by admin / November 30, 2023

click fraud protection

Θα κατακτήσετε όλες τις απαραίτητες δεξιότητες μηχανικής εκμάθησης για ροή δεδομένων και κατανεμημένα περιβάλλοντα. Το πρόγραμμα περιλαμβάνει τις απαραίτητες γνώσεις από τους τομείς της Επιστήμης Δεδομένων και της Μηχανικής Δεδομένων, οι οποίες θα σας επιτρέψουν να επεξεργάζεστε μεγάλα δεδομένα και να γράφετε κατανεμημένους αλγόριθμους στο Spark.
Θα εξασκηθείτε σε κάθε ενότητα ολοκληρώνοντας την εργασία για το σπίτι. Στο τέλος της εκπαίδευσης, θα έχετε ένα τελικό έργο που θα σας επιτρέψει να συνοψίσετε όλες τις γνώσεις που έχετε αποκτήσει και να προσθέσετε στο χαρτοφυλάκιό σας. Μπορεί να γίνει ως μέρος εργασιών στο σύνολο δεδομένων σας ή να είναι ένα εκπαιδευτικό έργο που βασίζεται σε δεδομένα που παρέχονται από το OTUS.

Σε ποιους απευθύνεται αυτό το μάθημα;
Για ειδικούς στη Μηχανική Μάθηση ή μηχανικούς λογισμικού που θέλουν να μάθουν πώς να εργάζονται με μεγάλα δεδομένα. Τυπικά, τέτοιες εργασίες υπάρχουν σε μεγάλες εταιρείες πληροφορικής με ψηφιακό προϊόν μεγάλης κλίμακας.
Για Επιστήμονες Δεδομένων που θέλουν να ενισχύσουν το σύνολο των δεξιοτήτων τους με δεξιότητες μηχανικής. Χάρη στο μάθημα, θα μπορείτε να επεξεργάζεστε δεδομένα και να εμφανίζετε ανεξάρτητα τα αποτελέσματα των λύσεων ML στην παραγωγή.

instagram viewer

Για να μάθετε, θα χρειαστείτε βασικές δεξιότητες επιστήμης δεδομένων. Σας προτείνουμε να δείτε τα μαθήματα Map of Data Science στο OTUS για να μάθετε το απαιτούμενο επίπεδο εκπαίδευσης.

Θα μάθεις:
- Χρησιμοποιήστε τυπικά εργαλεία σωλήνωσης ML σε κατανεμημένο περιβάλλον.
- Αναπτύξτε τα δικά σας μπλοκ για αγωγούς ML.
- Προσαρμογή αλγορίθμων ML σε κατανεμημένα περιβάλλοντα και εργαλεία μεγάλων δεδομένων.
- Χρησιμοποιήστε Spark, SparkML, Spark Streaming.
- Ανάπτυξη αλγορίθμων για προετοιμασία ροής δεδομένων για μηχανική εκμάθηση.
- Εξασφάλιση ποιοτικού ελέγχου σε όλα τα στάδια της μετακίνησης των λύσεων ML στη βιομηχανική λειτουργία.

Ζήτηση για ειδικούς
Οι δεξιότητες που θα κατακτήσετε είναι όσο το δυνατόν πιο εφαρμοσμένες και υποσχόμενες. Όλο και περισσότερα ψηφιακά προϊόντα εμφανίζονται στην αγορά, η ανάπτυξη των οποίων απαιτεί εργασία με μεγάλα δεδομένα και επεξεργασία ροής. Ήδη τώρα, ειδικοί με τέτοια δεξαμενή δεξιοτήτων και κάποια εργασιακή εμπειρία μπορούν να πληρούν τις προϋποθέσεις για μισθό 270 χιλιάδων. ρούβλια Μια άλλη τάση - η αυτοματοποίηση των διαδικασιών εκπαίδευσης και επικύρωσης, αντίθετα, υποτιμά κατά κάποιο τρόπο το έργο ενός κλασικού Επιστήμονα Δεδομένων. Όλα κινούνται προς το σημείο όπου ακόμη και ένας μη ειδικός μπορεί να κάνει μια κατάλληλη πρόβλεψη. Ως εκ τούτου, όσοι έχουν τουλάχιστον επιφανειακές δεξιότητες μηχανικής έχουν ήδη ένα premium.

Χαρακτηριστικά μαθήματος
Πολλή εξάσκηση στην εργασία με δεδομένα
Ευρύ φάσμα δεξιοτήτων από την κατανεμημένη ML και την επεξεργασία δεδομένων ροής μέχρι την παραγωγή
Τρέχοντα εργαλεία και τεχνολογίες: Scala, Spark, Python, Docker
Ζωντανή επικοινωνία με ειδικούς μέσω διαδικτυακών σεμιναρίων και συνομιλίας Slack

Πάβελ Φιλόνοφ

σειρά μαθημάτων

Ασχολείται με την ανάπτυξη μιας ομάδας Επιστήμης Δεδομένων που παρέχει λειτουργικότητα με βάση τη μηχανική μάθηση για τα προϊόντα και τις υπηρεσίες της εταιρείας. Ως Επιστήμονας Δεδομένων, συμμετείχε στην ανάπτυξη των Kaspersky MLAD και MDR AI Analyst. Ως προγραμματιστής C++ συμμετείχε στη δημιουργία του MaxPatrol SIEM.Διδάσκει υπολογιστές για πολλά χρόνια. επιστημονικοί κλάδοι στο MSTU GA. Συγγραφέας μιας σειράς αναφορών σχετικά με τη διαχείριση και ανάπτυξη έργων ML, C++, DS της ομάδας. Μέλος του συνεδρίου PC C++ Ρωσία. ΔΙΑΧΕΙΡΙΣΤΗΣ προγράμματος

Ανατόλι Μπουρνάσεφ

ΚΥΚΛΟΣ ΜΑΘΗΜΑΤΩΝ

20+ χρόνια εμπειρίας σε έργα ανάπτυξης προσαρμοσμένων στον τομέα της πληροφορικής. Δεκάδες επιτυχημένα έργα, συμπεριλαμβανομένων και εκείνων με κρατικές συμβάσεις. Εμπειρία στην ανάπτυξη και υλοποίηση συστημάτων ERP, λύσεων ανοιχτού κώδικα, υποστήριξη εφαρμογών υψηλού φορτίου. Καθηγήτρια μαθημάτων για...

Ντμίτρι Μπουγκαϊτσένκο

Καλά

Ειδικός στην εργασία με μεγάλα δεδομένα και μηχανική μάθηση. Για 8 χρόνια εργάστηκε στο Odnoklassniki.ru. Διαχειρίζεται την ομάδα OK Data Lab (ένα εργαστήριο για ερευνητές στον τομέα των μεγάλων δεδομένων και των μηχανών...

Ειδικός στην εργασία με μεγάλα δεδομένα και μηχανική μάθηση. Για 8 χρόνια εργάστηκε στο Odnoklassniki.ru. Διαχειρίζεται την ομάδα του OK Data Lab (εργαστήριο για ερευνητές στον τομέα των μεγάλων δεδομένων και της μηχανικής μάθησης). Η ανάλυση μεγάλων δεδομένων στην Odnoklassniki έχει γίνει μια μοναδική ευκαιρία να συνδυαστεί η θεωρητική κατάρτιση και η επιστημονική βάση με την ανάπτυξη πραγματικών προϊόντων σε ζήτηση. Από το 2019 εργάζεται στη Sberbank ως Διευθύνων Σύμβουλος. Λειτουργεί ως ηγέτης του συμπλέγματος για την ανάπτυξη μιας πλατφόρμας για συστήματα συστάσεων στο τμήμα μαζικής εξατομίκευσης. Αποφοίτησε από το Κρατικό Πανεπιστήμιο της Αγίας Πετρούπολης το 2004, όπου υπερασπίστηκε το διδακτορικό του στις επίσημες λογικές μεθόδους το 2007. Εργάστηκα στο outsourcing για σχεδόν 9 χρόνια χωρίς να χάσω την επαφή μου με το πανεπιστημιακό και επιστημονικό περιβάλλον.

Βασική εισαγωγή για την έναρξη του μαθήματος
-Θέμα 1.Κλίση κάθοδος και γραμμικά μοντέλα
-Θέμα 2.Επισκόπηση βασικών μεθόδων μηχανικής μάθησης και μετρήσεων
-Θέμα 3.Εξέλιξη προσεγγίσεων στην εργασία με δεδομένα
-Θέμα 4.Βασικές αρχές προγραμματισμού στο Scala

Τεχνολογική βάση επεξεργασίας κατανεμημένων δεδομένων
-Θέμα 5. Κατανεμημένα συστήματα αρχείων
-Θέμα 6. Διαχειριστές πόρων σε κατανεμημένα συστήματα
-Θέμα 7. Εξέλιξη μαζικά παράλληλων και κατανεμημένων πλαισίων υπολογιστών
-Θέμα 8. Βασικά στοιχεία του Apache Spark 1
-Θέμα 9. Βασικά στοιχεία του Apache Spark 2

Κατανεμημένα Βασικά ML
-Θέμα 10. Μεταφορά αλγορίθμων ML σε κατανεμημένο περιβάλλον
-Θέμα 11.ML στο Apache Spark
-Θέμα 12.Ανάπτυξη των δικών σας μπλοκ για το SparkML
-Θέμα 13.Βελτιστοποίηση υπερπαραμέτρων και AutoML

Επεξεργασία ροής
-Θέμα 14. Επεξεργασία δεδομένων ροής
-Θέμα 15. Βιβλιοθήκες τρίτων για χρήση με το Spark
-Θέμα 16.Spark Streaming
-Θέμα 17. Δομημένο και συνεχές streaming στο Spark
-Θέμα 18.Εναλλακτικά πλαίσια ροής

Καθορισμός στόχων και ανάλυση αποτελεσμάτων
-Θέμα 19. Προσδιορισμός του στόχου του έργου ML και προκαταρκτική ανάλυση
-Θέμα 20. Μακροπρόθεσμοι στόχοι ML χρησιμοποιώντας το παράδειγμα της εργασίας μείωσης της ανατροπής
-Θέμα 21.A/B testing
-Θέμα 22.Επιπλέον θέματα

Εκπομπή αποτελεσμάτων ML στην παραγωγή
-Θέμα 23. Προσεγγίσεις για την εισαγωγή λύσεων ML στην παραγωγή
-Θέμα 24.Εκδοχή, αναπαραγωγιμότητα και παρακολούθηση
-Θέμα 25.Διαδικτυακό σερβίρισμα μοντέλων
-Θέμα 26. Μοτίβα για ασύγχρονη ροή ML και ETL
-Θέμα 27. Αν χρειάζεστε Python

ML σε Python σε παραγωγή
-Θέμα 28.Κώδικας παραγωγής σε Python. Κώδικας Οργάνωσης και Συσκευασίας
-Θέμα 29.Αρχιτεκτονική REST: Flask API
-Θέμα 30.Docker: Δομή, εφαρμογή, ανάπτυξη
-Θέμα 31.Kubernetes, ενορχήστρωση κοντέινερ
-Θέμα 32.Εργαλεία MLOPS για Kubernetes: KubeFlow, Seldon Core. Χαρακτηριστικά της λειτουργίας ετερογενών συστημάτων στον κλάδο.
-Θέμα 33.Amazon Sagemaker
-Θέμα 34.Υπηρεσία AWS ML

Προχωρημένα θέματα
-Θέμα 35. Νευρωνικά δίκτυα
-Θέμα 36. Κατανεμημένη μάθηση και εξαγωγή συμπερασμάτων νευρωνικών δικτύων
-Θέμα 37.Ενίσχυση κλίσης στα δέντρα
-Θέμα 38. Ενισχυτική μάθηση

Εργασία έργου
-Θέμα 39. Επιλογή θέματος και οργάνωση εργασιών έργου
-Θέμα 40. Διαβούλευση για έργα και εργασίες για το σπίτι
-Θέμα 41.Προστασία μελετητικών εργασιών

Ετικέτες σύννεφο

μικροαντικείμενα

Εκτίμηση

Προβολές

Σχόλια