Το συγκεκριμένο σύστημα παρακολουθεί λιγότερα από δύο λεπτά gameplay ενός παιχνιδιού σε βίντεο και στη συνέχεια δημιουργεί το δικό του μοντέλο όσον αφορά στο πώς λειτουργεί το παιχνίδι, μελετώντας τα frames και προβαίνοντας σε προβλέψεις για τα μελλοντικά γεγονότα, όπως πχ τι πορεία θα διαλέξει ένας χαρακτήρας ή πώς μπορεί να αντιδράσουν οι εχθροί.
Για να κάνουν την τεχνητή νοημοσύνη τους να δημιουργήσει ένα ακριβές μοντέλο πρόβλεψης το οποίο θα αντιπροσώπευε όλα τα δρώμενα (κινήσεις κλπ) ενός δισδιάστατου παιχνιδιού τύπου πλατφόρμας, η ομάδα εκπαίδευσε την τεχνητή νοημοσύνη σε ένα και μόνο βίντεο «speedrunner», όπου ένας παίκτης κατευθύνεται απευθείας προς τον στόχο του. Αυτό έκανε το πρόβλημα της εκπαίδευσης της ΑΙ όσο δύσκολο ήταν δυνατόν.
Οι ερευνητές για τους σκοπούς της δουλειάς τους χρησιμοποιούν το Super Mario Bros και έχουν αρχίσει να αναπαράγουν τα πειράματα στο Mega Man και το Sonic the Hedgehog. Όπως έχουν διαπιστώσει, η μηχανή του παιχνιδιού ήταν σε θέση να προβλέπει video frames πολύ πιο παρόμοια με αυτά του αρχικού παιχνιδιού, εν συγκρίσει με το ίδιο τεστ όταν έγινε σε έναν νευρωνικό δίκτυο. Αυτό έδωσε στους ερευνητές ένα ακριβές γενικό μοντέλο του παιχνιδιού, μέσω της χρήσης απλά και μόνο του βίντεο του παιχνιδιού.
«Η τεχνητή μας νοημοσύνη δημιουργεί το μοντέλο πρόγνωσης χωρίς να αποκτά καν πρόσβαση στον κώδικα του παιχνιδιού, και πραγματοποιεί σημαντικά πιο ακριβείς προβλέψεις γεγονότων από αυτές των συνελικτικών νευρωνικών δικτύων» λέει ο Μάθιου Γκούζντιαλ, επικεφαλής ερευνητές και διδακτορικός φοιτητές στην επιστήμη υπολογιστών. «Ένα μεμονωμένο βίντεο δεν θα δημιουργήσει έναν τέλειο κλώνο της μηχανής παιχνιδιού, αλλά εκπαιδεύοντας την ΑΙ μόνο σε μερικά επιπλέον βίντεο, αποκτάς κάτι που είναι αρκετά κοντινό».
Ωστόσο, αξίζει να σημειωθεί πως η εν λόγω τεχνική λειτουργεί καλά με παιχνίδια όπου μεγάλο μέρος της δράσης λαμβάνει χώρα επί της οθόνης: Σε άλλα παιχνίδια, σύμφωνα με τον Γκούζντιαλ, όπου υπάρχει δράση εκτός οθόνης, το συγκεκριμένο σύστημα θα αντιμετώπιζε δυσκολίες.
