Η NVIDIA εισήγαγε ένα νευρωνικό δίκτυο για τη δημιουργία βίντεο με περιγραφή
μικροαντικείμενα / / April 20, 2023
Αν θέλετε να παρακολουθήσετε έναν Imperial stormtrooper να σκουπίζει την παραλία.
Εταιρεία NVIDIA ανακοινώθηκε ένα νέο μοντέλο VideoLDM AI που δημιουργεί σύντομα βίντεο με βάση κείμενο. Αναπτύχθηκε σε συνεργασία με ερευνητές του Πανεπιστημίου Cornell.
Το VideoLDM λαμβάνει υπόψη έως και 4,1 δισεκατομμύρια παραμέτρους, 2,7 δισεκατομμύρια από τις οποίες εκπαιδεύονται σε βίντεο. Τα κλιπ που δημιουργούνται μπορούν να είναι έως και 2048×1280 pixel στα 24 καρέ και έχουν διάρκεια έως και 4,7 δευτερόλεπτα.
Το νευρωνικό δίκτυο είναι ικανό να δημιουργήσει τόσο απλές σκηνές με δυο λέξεις στο αίτημα, όσο και κάτι πιο περίπλοκο. Μερικά παραδείγματα:
- Πυροτεχνήματα.
- Ένας θύελλας σκουπίζει την παραλία με ηλεκτρική σκούπα.
- Ένας ταξιδιώτης περπατά μόνος σε ένα ομιχλώδες δάσος το ηλιοβασίλεμα.
Περισσότερα παραδείγματα υπάρχουν ιστοσελίδα του έργου.
Αυτό το νευρωνικό δίκτυο NVIDIA δεν είναι ακόμη δημόσιο τομέα. Παρουσιάστηκε ως ερευνητική εργασία στο πλαίσιο του Συνεδρίου για τη Μηχανική Όραση και την Αναγνώριση Προτύπων.
Οι προγραμματιστές σημείωσαν εντυπωσιακή και ταχεία πρόοδο στη μάθηση, αλλά δεν μίλησαν για το πιθανό μέλλον του νευρωνικού δικτύου. Ωστόσο, μπορούμε να υποθέσουμε ότι σύντομα θα έχουμε ένα πλήρες αναλογικό βίντεο ενδιάμεσο ταξίδι.
Διαβάστε επίσης🧐
- 10 Υπηρεσίες νευρωνικών δικτύων για δημιουργία βίντεο
- 7 εργαλεία νευρωνικών δικτύων για τη βελτίωση της ποιότητας του βίντεο
- Το Runway λανσάρει ένα νέο μοντέλο νευρωνικού δικτύου για τη δημιουργία βίντεο από περιγραφή κειμένου