Ανάλυση δεδομένων σε Python και βάσεις δεδομένων (SQL) - δωρεάν μάθημα από το RANEPA, εκπαίδευση, Ημερομηνία: 6 Μαρτίου 2023.
μικροαντικείμενα / / December 04, 2023
Το πρόγραμμα Python Data Analysis and Database (SQL) θα παρέχει στους μαθητές κατανόηση των βασικών αρχών του προγραμματισμού αλγορίθμων ML (Machine Learning) χρησιμοποιώντας τη γλώσσα Python. Θα σας βοηθήσει επίσης να κατακτήσετε μια σειρά από ικανότητες στον τομέα της διαχείρισης σύγχρονων σχεσιακών βάσεων δεδομένων και να αποκτήσουν πρακτικές δεξιότητες στη χρήση γλωσσικών εργαλείων DBMS (Συστήματα Διαχείρισης Βάσεων Δεδομένων δεδομένα).
Στις επιχειρήσεις και στην κυβέρνηση, τεράστιες ποσότητες δεδομένων πρέπει να αναλύονται συνεχώς να λαμβάνει πληροφορίες για τον έλεγχο της ποιότητας της εργασίας, να προτείνει νέες ιδέες και να δικαιολογεί τις αποδεκτές αποφάσεις. Οι ειδικοί που κατανοούν τεράστιες ποσότητες δεδομένων μπορούν να περιμένουν γρήγορη σταδιοδρομία με εντυπωσιακούς μισθούς.
Κατά κανόνα, η SQL και η Python αναφέρονται συχνότερα σε αγγελίες εργασίας που σχετίζονται με την ανάλυση δεδομένων.
Μόνο φοιτητές που δεν σπουδάζουν στους παρακάτω τομείς μπορούν να υποβάλουν αίτηση για το μάθημα:
Κατά τη διάρκεια της εκμάθησης του προγράμματος, οι μαθητές θα έχουν την ευκαιρία να βρουν νέα ψηφιακά προϊόντα (ανεξάρτητα ή ομαδικά). Οι συγγραφείς των καλύτερων λύσεων θα λάβουν την υποστήριξη της Ακαδημίας και την ευκαιρία να συνεργαστούν με το Εργαστήριο Τεχνητής Νοημοσύνης και το Εργαστήριο Ανάπτυξης Πλατφορμών της RANEPA.
Πύθων
Πώς λειτουργούν όλα; Χαρακτηριστικά Python.
Γιατί όλοι χρησιμοποιούν Python; Σύγκριση με άλλες γλώσσες προγραμματισμού. Πώς να γράψετε προγράμματα; Πλεονεκτήματα της Python. Πώς να χρησιμοποιήσετε την Python σε εργασίες: επεξεργασία κειμένου, εργασία με εικόνες, σύνταξη ρομπότ στοκ, εκκίνηση ρομπότ συνομιλίας. Είσοδος και έξοδος στην Python. Ονόματα σε Python. Βασικές λειτουργίες. Έλεγχος προόδου εκτέλεσης προγράμματος (κατασκευές υπό όρους). Παραδείγματα απλών προγραμμάτων.
Κύκλοι. Γραμμές. Μέθοδοι χορδών.
Βρόχος με προϋπόθεση. Δηλώσεις διάλειμμα και συνέχεια. Για βρόχο Δομή γραμμής και μήκος γραμμής. Το στοιχείο γραμμής και πώς να κόψετε γραμμές. Λήψη υποσυμβολοσειράς από συμβολοσειρά. Διάβαση γραμμής. Ενότητες.
Πλειάδες. Κονίστρα. χάρτης λειτουργιών. Γεννήτρια λίστας τυχαίων τιμών.
Γιατί χρειάζονται οι πλειάδες; Εργασία με λίστα. Λίστα στοιχείων. Εκτυπώστε τη λίστα. Σωστή αντιγραφή λιστών. Δυνατότητες χρήσης της λειτουργίας χάρτη. Τι είναι οι γεννήτριες τυχαίων τιμών; Ενα μάτσο. Λειτουργίες με σετ. Frozenset. Λεξικά. μέθοδος λήψης Διάβαση λεξικού.
Λειτουργίες. Εφαρμογή μαθηματικών συναρτήσεων. Πεδίο εφαρμογής και αποκλεισμός.
Πώς να γράψετε σωστά τις συναρτήσεις. Απλοί αλγόριθμοι. Γράψιμο των πρώτων συναρτήσεων. Πώς να προσθέσετε μαθηματικά. Προτάσεις για τη σύνταξη των δικών σας συναρτήσεων. Πώς λειτουργούν τα πεδία. Καθολικές μεταβλητές. Επιστροφή πολλαπλών τιμών από μια συνάρτηση. Εξαιρέσεις.
Εργασία με αρχεία. Πίνακες. Τύποι διαλογής
Τι μπορείτε να κάνετε με τα αρχεία; Άνοιγμα και κλείσιμο αρχείων. Ανάγνωση και σύνταξη αρχείων κειμένου. Πίνακες. Συμπλήρωση πινάκων. Εισαγωγή πινάκων σειρά προς σειρά. Πίνακες ανάγνωσης και γραφής. Ταξινόμηση φυσαλίδων. Ανάλυση του αλγορίθμου. Πολλές εκδόσεις της λύσης.
Επισκόπηση της βιβλιοθήκης NumPy. Εργασία με συναρτήσεις NumPy. Βιβλιοθήκη SciPY.
Οι βιβλιοθήκες Python και η εγκατάστασή τους. Βασικοί τύποι δεδομένων NumPy. Αριθμητικές συναρτήσεις. Εργασία με πίνακες. Λειτουργίες με πίνακες. Δισδιάστατοι πίνακες. Πίνακες. Βασικά χαρακτηριστικά της βιβλιοθήκης SciPy.
Επισκόπηση της βιβλιοθήκης Pandas. Βασικά αναλυτικά στοιχεία.
Εγκατάσταση της βιβλιοθήκης. Δημιουργία αντικειμένου σειράς. Ευρετηρίαση DataFrame. Πίνακες. Ανάγνωση και εγγραφή αρχείων. Ευρετηρίαση. Δειγματοληψία δεδομένων. Λειτουργίες με γραμμές και στήλες. Εργασία με NaN. Ταξινόμηση.
Οπτικοποιήσεις δεδομένων. Πρακτικά παραδείγματα
Μελέτη νέων δεδομένων, προεπεξεργασία, οπτικοποίηση δεδομένων, αναζήτηση συνδέσεων μεταξύ χαρακτηριστικών, προετοιμασία δεδομένων εκπαίδευσης και δημιουργία μοντέλων πρόβλεψης πιστωτικού κινδύνου. Απόκτηση ενός μοντέλου που απαντά στην ερώτηση: έκδοση ή μη χορήγηση δανείου.
Αυτοματοποίηση εργασιών ρουτίνας. Πρακτικά παραδείγματα
Ανάλυση πρακτικών παραδειγμάτων αυτοματοποίησης εργασιών που σχετίζονται με τη λήψη συγκεντρωτικών πληροφοριών από διάφορες πηγές (αρχεία Excel) ή από το Διαδίκτυο.
Ανασκόπηση των μεθόδων μηχανικής μάθησης που χρησιμοποιούνται για την ανάλυση δεδομένων. Πρακτικά παραδείγματα
Ένα πρακτικό παράδειγμα αναγνώρισης βασικών χαρακτηριστικών και ερμηνείας τους σε ένα εποπτευόμενο μαθησιακό πρόβλημα.
Ενδιάμεση αξιολόγηση ενότητας
Η ενδιάμεση πιστοποίηση πραγματοποιείται με τη μορφή δοκιμής (δοκιμή υπολογιστή). Δείγμα τυπικού κτιρίου δοκιμής:
Ποια συνάρτηση Python μπορείτε να χρησιμοποιήσετε για να μάθετε τον τύπο μιας μεταβλητής;
- hwoami
- τύπος
- του είδους
- είναι
Ποιο εύρος αριθμών θα δημιουργηθεί στον ακόλουθο κώδικα: εύρος (9, 3, -2)
- 9 8 7 6 5 4 4
- 9 7 5 3
- 9 7 5
- 11 9 8 7 6 5 4
Τι σας επιτρέπει να εκτελέσετε το απόσπασμα κώδικα στην καταχώριση;
- Απόσπασμα κώδικα: print(math.sqrt(2))
- εμφανίζοντας τον αριθμό 2 από τη βιβλιοθήκη μαθηματικών
- σύνδεση της μαθηματικής βιβλιοθήκης
- τετραγωνίζοντας έναν μαθηματικό αριθμό
- εμφανίζοντας την τετραγωνική ρίζα του δύο
SQL
Αποθήκευση και ακεραιότητα δεδομένων.
Αποθήκευση δεδομένων: αρχεία δεδομένων, αρχεία καταγραφής, επίπεδα RAID, Tempdb. Σχέσεις σε βάσεις δεδομένων, ένα προς ένα, ένα με πολλά, πολλά σε πολλά. Ακεραιότητα δεδομένων: ΚΥΡΙΟ ΚΛΕΙΔΙ, ΕΛΕΓΧΟΣ, ΜΟΝΑΔΙΚΟ και ΞΕΝΟ ΚΛΕΙΔΙ. Κανονικοποίηση πινάκων.
Δημιουργία βάσης δεδομένων και πινάκων.
Αρχιτεκτονική DBMS: λογικά (πίνακες και τύπος δεδομένων, κλειδιά, ευρετήρια, προβολές, συγκροτήματα, περιορισμοί, κανόνες, προεπιλεγμένες τιμές) και φυσικά επίπεδα (αρχεία και ομάδες αρχείων, σελίδες). Δημιουργία βάσης δεδομένων. Τύποι δεδομένων πεδίων πίνακα: Ακριβείς αριθμοί, συμβολοσειρές χαρακτήρων Unicode, κατά προσέγγιση αριθμοί, δυαδικά δεδομένα, ημερομηνία και ώρα, άλλοι τύποι δεδομένων, συμβολοσειρές χαρακτήρων. Δημιουργία πινάκων. Πού να γράψετε αιτήματα;
Ευρετήρια. Διαγράμματα.
Ευρετήρια: ομαδοποιημένο, μη συμπλεγματοποιημένο, μοναδική αναγνώριση, φιλτραρισμένο, αποθήκευση στηλών, κατακερματισμός, μη συμπλεγματοποιημένο, ευρετήριο βελτιστοποιημένης μνήμης. Διαγράμματα ER: Διαγράμματα βάσης δεδομένων, Κόμβος βάσης δεδομένων. DML και οι πιο συνηθισμένοι τελεστές SQL: SELECT, INSERT, UPDATE, DELETE. Η σημασία των μοναδικών παραγόντων.
Αιτήσεων. Εξωτερικές συνδέσεις.
Ερωτήσεις σε ένα τραπέζι. Δειγματοληψία χωρίς επαναλήψεις. Ερωτήματα σε πολλούς πίνακες. Εξωτερικές ενώσεις: ΑΡΙΣΤΕΡΑ, ΔΕΞΙΑ ή ΠΛΗΡΕΣ.
Συγκεντρωτικές συναρτήσεις. Υποερωτήματα.
Δευτερεύοντα ερωτήματα: WHERE COUNT, SUM, AVG, MAX, MIN, IN, ALL, ANY. Σύνδεση δεδομένων: ΕΠΙΛΟΓΗ ΣΥΜΜΕΤΟΧΗΣ. Συγκεντρωτικές συναρτήσεις: AVG, CHECKSUM_AGG, COUNT, COUNT_BIG, GROUPING, GROUPING_ID, MAX, MIN, STDEV, STDEVP, STRING_AGG, SUM, VAR, VARP. Προϋποθέσεις για αθροιστικές συναρτήσεις.
Χρήσιμα χαρακτηριστικά.
Λίγα περισσότερα για τους χειριστές. Βιομηχανικό αίτημα. Χρήσιμες λειτουργίες: SQRT, RAND, CONCAT, αριθμητικές και συμβολοσειρές. Προτεραιότητα λειτουργίας και μετατροπή τύπου: CAST, CONVERT.
Συναλλαγές. Αναπαράσταση.
Ένα αίτημα με τέσσερις τρόπους. Συναλλαγές: έννοια συναλλαγών - ατομικότητα, συνέπεια, απομόνωση, ανθεκτικότητα, διαχείριση συναλλαγών - COMMIT, ROLLBACK, SAVEPOINT, SET TRANSACTION. Παράλληλη πρόσβαση δεδομένων: προβλήματα βρώμικης, μη επαναλαμβανόμενης ανάγνωσης, φαντάσματα. Προβολές: ευρετηριασμένο, χωρισμένο, σύστημα.
Μεταβλητές και βρόχοι.
Έναρξη προγραμματισμού. Μεταβλητές: DECLARE, SET, SELECT. Δομή κώδικα. Χειριστές περιγραφής δεδομένων: CREATE, DROP, ALTER, κ.λπ. Τελεστές χειρισμού δεδομένων: INSERT, DELETE, SELECT, UPDATE κ.λπ. Χειριστές για τη ρύθμιση των δικαιωμάτων πρόσβασης στη βάση δεδομένων: GRANT / REEVOKE, LOCK / UNLOCK, SET LOCK MODE Χειριστές για προστασία, ανάκτηση δεδομένων και άλλοι χειριστές. Κύκλοι: WHILE.
Αποθηκευμένες διαδικασίες και λειτουργίες.
Προσωρινά τραπέζια. Transact-SQL δρομείς, διακομιστής, πελάτης. Τύποι δρομέα: μονής κατεύθυνσης, στατικό, Keyset, δυναμικό. Αποθηκευμένες διαδικασίες και λειτουργίες: CREATE PROCEDURE, CREATE PROC.
Ενεργοποιητές. Εξαιρέσεις.
Μεταφορέας HF. Έναυσμα: ΜΕΤΑ, ΑΝΤΙ. Εξαιρέσεις: ΕΚΤΟΣ. Δυναμική SQL με χρήση λέξης-κλειδιού και με χρήση αποθηκευμένης διαδικασίας: EXECUTE IMMEDIATE.
DBMS. Βάσεις δεδομένων NoSQL.
Συναλλαγές στον προγραμματισμό/DBMS/SQL. Πώς εκτελούνται τα αιτήματα. Πώς να βελτιώσετε την απόδοση του ερωτήματος. Η βάση δεδομένων NoSQL και τα πλεονεκτήματά της.
Ενδιάμεση αξιολόγηση ενότητας
Η ενδιάμεση πιστοποίηση πραγματοποιείται με τη μορφή δοκιμής (δοκιμή υπολογιστή). Δείγμα τυπικού κτιρίου δοκιμής:
Τι τύπος δεδομένων πεδίου είναι ο τύπος NUMBER;
- σειρά
- αριθμητικός
- δυάδικος
Ποια εντολή SQL ζητά δεδομένα;
- ΑΛΛΑΖΩ
- ΕΠΙΛΕΓΩ
- ΑΠΟ
Τι είναι μια συναλλαγή;
- Αυτή είναι μια ομάδα λειτουργιών που εκτελούνται από το DBMS
- είναι μια ομάδα πράξεων που έχει ιδιότητες ACID
- Αυτή είναι η λειτουργία εκτέλεσης μιας εντολής SQL