Μια ματιά στην πλατφόρμα «Leibniz» της Microsoft

Ο Γκότφριντ Βίλχελμ Λάιμπνιτς ήταν μαθηματικός, σύγχρονος του Νεύτωνα. Αποδεικνύεται ότι ο Λάιμπνιτς ήταν επίσης φιλόσοφος και υπάρχει κάτι που ονομάζεται Αρχή του Λάιμπνιτς που ισοδυναμεί με τη συγχώνευση δεδομένων. Στην καθομιλουμένη, η Αρχή του Leibniz λέει, "Αν μοιάζει με πάπια, περπατά σαν πάπια, κουκλάκια σαν πάπια, το πιθανότερο είναι ότι είναι πάπια". Αυτή η αρχή είναι η βάση της νέας πλατφόρμας Leibniz της Microsoft.

Επί του παρόντος οι μηχανές αναζήτησης θεωρούνται ως εργαλεία για την εύρεση κειμένου αλλά Ashok Chandra, Η Microsoft διακεκριμένος επιστήμονας και γενικός διευθυντής του Ομάδα αλληλεπίδρασης και πρόθεσης at Microsoft Research Silicon Valley, πιστεύει ότι οι άνθρωποι σύντομα θα σκεφτούν τις μηχανές αναζήτησης ως «μηχανές εργασιών».

«Η τεχνολογία αναζήτησης ξεκίνησε με λέξεις», λέει ο Chandra. «Χτίσαμε μια ολόκληρη υποδομή αναζήτησης γύρω από λέξεις. Αλλά σε αυτή τη νέα εποχή αναζήτησης, εργαζόμαστε με οντότητες, επειδή οι άνθρωποι σκέφτονται με βάση αυτές, όπως ένα ξενοδοχείο, μια ταινία, μια εκδήλωση, ένα μονοπάτι πεζοπορίας ή ένα άτομο. ο Πλατφόρμα Leibniz έχει σχεδιαστεί από την αρχή για να ασχολείται με οντότητες, με στόχο να διευκολύνει τους ανθρώπους να φέρουν εις πέρας τα καθήκοντα που σχεδιάζουν να κάνουν».

Το σύστημα επίλυσης οντοτήτων Leibniz είναι τώρα η υποκείμενη πλατφόρμα που χρησιμοποιείται για την κράτηση δωματίων ξενοδοχείων, χαρακτηριστικό του Εφαρμογή για τα Windows 8 Travel. Η δυνατότητα κράτησης ξενοδοχείων της εφαρμογής ταξιδιού είναι το αποτέλεσμα της συνεργασίας μεταξύ της Microsoft Bing Ομάδα Applications Experience (AppEx) στο Bellevue, Wash., και μια ομάδα από την ομάδα Interaction and Intent, που αποτελείται από τον Chandra, ερευνητή Μπο Ζάο, ανώτερος διευθυντής προγράμματος Dhyanesh Narayanan, και συμβόλαιο προγραμματιστή George Puchalski. Το έργο Travel-app, το οποίο ξεκίνησε τον Ιανουάριο, ήταν μια από τις πιο απαιτητικές αναπτύξεις του Leibniz μέχρι σήμερα.

Η έρευνα για τον Leibniz ξεκίνησε με μια μεγάλης κλίμακας μελέτη περίπτωσης για την επίλυση κινηματογραφικών οντοτήτων, που περιγράφεται στο τεχνικό έγγραφο Βελτίωση της ανάλυσης οντοτήτων με παγκόσμιους περιορισμούς, συνυπογράφουν τους συναδέλφους του εργαστηρίου Chandra και Silicon Valley, Jim Gemmell και Benjamin IP Rubinstein. Το σύστημα επέλυε αυτόματα οντότητες σε ιστότοπους βάσης δεδομένων ταινιών, όπως το IMDb, το Netflix, το iTunes και το AllMovie συγχωνεύοντας τα δεδομένα — αντιστοίχιση και συνδυασμόςINGπληροφορίες από διαφορετικές πηγέςγια να δημιουργήσετε ένα σύνολο δεδομένων αυτό είναι πιο χρήσιμο από τα αρχικά δεδομένα.

Η λειτουργία αναζήτησης ταινιών εισήχθη στο Bing στα τέλη του 2010. Ο Leibniz συγκέντρωσε πληροφορίες ταινιών και έδωσε στη μηχανή αναζήτησης πλουσιότερες δυνατότητες για υποστήριξηING δράσεις της οντότητας όπως "ενοίκιο,""παρακολουθώ,"και "αγορά. "

«Αν αντιμετωπίσετε μερικά σφάλματα κατά την αναζήτηση ταινιών, οι συνέπειες δεν είναι σοβαρές», λέει ο Narayanan. «Για τα ξενοδοχεία, ωστόσο, εάν μια κράτηση πάει στραβά, το ταξίδι του χρήστη μπορεί να χαλάσει. Η μεγαλύτερη πρόκληση ήταν η ακριβής συγχώνευση των πληροφοριών του ξενοδοχείου. Όταν συγκεντρώσαμε πληροφορίες για ένα ξενοδοχείο από διάφορες πηγές, έπρεπε να είμαστε σίγουροι ότι όντως αφορούσε το ίδιο ξενοδοχείο.»

Η πρόκληση ήταν να επιτευχθεί ακρίβεια δεδομένων 99.9 τοις εκατό, σε έναν κλάδο στον οποίο η ακρίβεια κυμαίνεται συνήθως μεταξύ 90 και 95 τοις εκατό. Μια άλλη πρόκληση: Επειδή η εφαρμογή Ταξίδια συσσωρεύεται ως μέρος του Windows 8, το έργο έπρεπε να τηρήσει σκληρές προθεσμίες για την υποστήριξη των παγκόσμιων αγορών, είτε κατά την αρχική κυκλοφορία είτε όχι περισσότερο από μερικές εβδομάδες μετά. Εκείνη την εποχή, η ομάδα AppEx ασχολήθηκε με ένας μεμονωμένος πάροχος ξενοδοχείων, η KAYAK.com, η οποία υποστήριζε μόνο αγορές στις Ηνωμένες Πολιτείες, την Ευρώπη και την Ινδία. Για να επιτύχει ευρύτερη παγκόσμια κάλυψη, ο όμιλος AppEx πρόσθεσε έναν άλλο πάροχο ξενοδοχείων, την Booking.com. Αυτό σήμαινε ότι ο Leibniz έπρεπε να συγχωνεύσει δεδομένα και από τους δύο εταίρους.

Οι ερευνητές ξεκίνησαν τρέχοντας ένα απλό μοντέλο αντιστοίχισης, το οποίο στη συνέχεια επέτρεψε στους αλγόριθμους μηχανικής μάθησης του Leibniz να ανακαλύψουν κανόνες σχετικά με το πώς διάφοροι πάροχοι περιέγραψαν τα ξενοδοχεία και τα χαρακτηριστικά τους, όπως τα συνώνυμα και τη σημασιολογία διαφόρων όρων. Καθώς οι κανόνες εφαρμόζονταν και επανατοποθετήθηκαν στο μοντέλο, το σύστημα θα μπορούσε να συνεχίσει να μαθαίνει περισσότερα για τον τρόπο με τον οποίο εκπροσωπούνταν τα ξενοδοχεία. Το σύστημα γινόταν πιο «έξυπνο» με κάθε επανάληψη μέχρι να επιτύχει το απαιτούμενο επίπεδο ακρίβειας. Οι ερευνητές διαπίστωσαν ότι uΤο να τραγουδούν ονόματα και διευθύνσεις ξενοδοχείων για να ταιριάζουν με πληροφορίες δεν ήταν εγγύηση επιτυχίας, ένα πρόβλημα που περιπλέκεται από σφάλματα δεδομένων και ασυνέπειες και στις δύο βάσεις δεδομένων. Ο Narayanan αναφέρει ένα χαρακτηριστικό παράδειγμα ασυνέπειας.

«Για παράδειγμα, στο Λας Βέγκας, ένας πάροχος κατέγραψε το ξενοδοχείο Bellagio ως «The Bellagio», λέει. «Ο άλλος πάροχος το ονόμασε «The Bellagio Casino Hotel». Έτσι αρχικά, η εφαρμογή δεν μπόρεσε να κάνει τον αγώνα. Αλλά στη συνέχεια ο Leibniz μας βοήθησε να παρατηρήσουμε ότι τα ξενοδοχεία και τα καζίνο του Λας Βέγκας είναι σχεδόν το ίδιο πράγμα και το σύστημα αύξησε το μοντέλο».

«Σε ορισμένες περιπτώσεις, η ίδια οντότητα φαίνεται αρκετά διαφορετική στο σύστημα», εξηγεί ο Zhao. «Ένα πανδοχείο θα μπορούσε να καταχωρηθεί ως B&B από τον έναν πάροχο και ως bed and breakfast από τον άλλο. Συχνά έπρεπε να επιλύσουμε μεταξύ διαφορετικών μορφών διευθύνσεων ή μερικές φορές να αντιμετωπίσουμε διευθύνσεις που ήταν απλώς λάθος."

Σε μια αξιομνημόνευτη περίπτωση, οι οντότητες με παρόμοιο ήχο αποδείχτηκαν αρκετά διαφορετικές: δύο ακίνητα της Marriott βρίσκονταν στην ίδια διεύθυνση και έφεραν παρόμοια ονόματα, αλλά λειτουργούσαν ως ξεχωριστά ξενοδοχεία.

«Έπρεπε να φτάσουμε σε ακρίβεια 99.9 τοις εκατό για κάθε νέα αγορά το συντομότερο δυνατό», λέει ο Zhao. «Όποτε προσθέτετε μια νέα χώρα, υπάρχουν διαφορετικές συμβάσεις για ονόματα ξενοδοχείων, διευθύνσεις και περιγραφές χαρακτηριστικών, επομένως το σύστημα πρέπει να μάθει και να εφαρμόσει μερικούς νέους κανόνες. Δεν υπάρχει λίστα με ισοδύναμα ή συνώνυμα. Ευτυχώς, ο Leibniz βασίζεται πάντα σε αυτό που ήδη καταλαβαίνει, επομένως πρέπει απλώς να μάθει μερικά ακόμη.»

«Με την πρώτη αγορά που φέραμε στο πλοίο, έπρεπε να εκτελέσουμε περίπου 20 έως 30 επαναλήψεις για να επιτύχουμε ακρίβεια 99.9 τοις εκατό», θυμάται ο Narayanan. «Αλλά πολλοί από αυτούς τους κανόνες μεταφέρθηκαν στην επόμενη αγορά, στην επόμενη, και ούτω καθεξής. Ο αριθμός των επαναλήψεων άρχισε να μειώνεται αρκετά γρήγορα. Ορισμένες από τις αγορές που επιβιβαστήκαμε κοντά στο τέλος δεν χρειάζονταν καθόλου επαναλήψεις. Η Κίνα και η Ιαπωνία ήταν αρκετά διαφορετικές, ειδικά η Ιαπωνία, αλλά ακόμη και αυτές δεν ήταν πολύ κακές».

Σε μια προηγούμενη έκδοση της εφαρμογής Ταξίδια, οι άνθρωποι θα έβλεπαν μόνο τις φθηνότερες προσφορές δωματίων για ένα ξενοδοχείο, ακόμα κι αν δεν ήταν ο τύπος δωματίου που ήθελε. Με τη νέα εφαρμογή Ταξίδια, η σελίδα κρατήσεων έχει επανασχεδιαστεί για να δείχνει πληροφορίες από το Kayak όπως πριν, αλλά φέρνει και άλλες επιλογές μέσω της Booking.com για να παρέχει δωμάτια και λεπτομέρειες σχετικά με το πρόγραμμα τιμών, δίνοντας τη δυνατότητα στους ανθρώπους να έχουν πλουσιότερες πληροφορίες για τη λήψη αποφάσεων. Ενώ το Leibniz είναι ο υποκείμενος κινητήρας για τη συγχώνευση, είναι μια πλατφόρμα που συνοδεύεται από ένα ολοκληρωμένο σύνολο εργαλείων—όλα τα οποία αποδείχθηκαν εξαιρετικά χρήσιμα για τους διαχειριστές, τους διαχειριστές προγραμμάτων, τους ετικετοποιητές, τους προγραμματιστές και τους δοκιμαστές του έργου. Τα εργαλεία απλοποίησαν το έργο της επισήμανσης και της εκπαίδευσης των μοντέλων, ενώ παράλληλα βελτίωσαν την ανάπτυξη και τη διαχείριση του συστήματος κατά την παραγωγή.

«Ο βασικός στόχος της ομάδας AppEx είναι να δημιουργήσει εμπειρίες υψηλής αξίας που βοηθούν στην προσέλκυση χρηστών στις πλατφόρμες συσκευών μας», λέει ο Batterberry. «Με την τεχνολογία Liebniz από τη Microsoft Research, είμαστε σε θέση να συνδυάσουμε περιεχόμενο από πολλαπλές πηγές με άνευ προηγουμένου τρία εννέα ακρίβειας για να βοηθήσουμε τον χρήστη να ολοκληρώσει πιο αποτελεσματικά την εργασία του με την καλύτερη δυνατή εμπειρία».

Τι ακολουθεί για τον Leibniz;

«Η πλατφόρμα Leibniz είναι αγνωστική στον τομέα», λέει ο Zhao. «Τα μοντέλα για κάθε τομέα είναι διαφορετικά, αλλά η ίδια βάση κώδικα μπορεί να χρησιμοποιηθεί για τη συγχώνευση δεδομένων, είτε πρόκειται για ταινίες είτε για τηλεοπτικές εκπομπές είτε για ξενοδοχεία. Ως εκ τούτου, το Leibniz είναι ιδανικό σε κάθε περίπτωση όπου οι εφαρμογές πρέπει να συλλέγουν δεδομένα από πολλαπλές πηγές και απαιτούν συνδυασμό υψηλής ποιότητας.»

πηγή: Microsoft Research