Πώς να καθαρίσετε διπλότυπα δεδομένα σε βάσεις δεδομένων βήμα προς βήμα

Όταν εργάζεστε με βάσεις δεδομένων, υπολογιστικά φύλλα ή συστήματα πληροφοριών, το Τα διπλότυπα δεδομένα μπορούν να γίνουν πραγματικός πονοκέφαλοςΕπαναλαμβανόμενες εγγραφές, ονόματα γραμμένα με χίλιους διαφορετικούς τρόπους, ημερομηνίες με κακή μορφοποίηση ή επιπλέον κενά καθιστούν τις αναλύσεις αναξιόπιστες και σπαταλούν τον χρόνο σας ελέγχοντας χειροκίνητα τι θα μπορούσε να σας βοηθήσει το σύστημα να καθαρίσετε σε δευτερόλεπτα.

Τα καλά νέα είναι ότι υπάρχουν Ισχυρά εργαλεία για τον εντοπισμό, την επισήμανση και την αφαίρεση διπλότυπων δεδομένων τόσο στο Excel όσο και Google Φύλλα όπως στο Βάσεις δεδομένων SQL ή εργαλεία διαχείρισης βιβλιογραφίας. Η κατανόηση του τρόπου λειτουργίας τους, του τρόπου με τον οποίο διαφέρουν και των κινδύνων που ενέχουν (όπως η διαγραφή πληροφοριών που ενδέχεται να χάσετε αργότερα) είναι το κλειδί για να διατηρείτε τα δεδομένα σας οργανωμένα και να μπορείτε να τα αναλύετε με ηρεμία.

Γιατί εμφανίζονται διπλότυπα δεδομένα και γιατί αποτελούν πρόβλημα;

Στην πράξη, Τα διπλότυπα προκύπτουν από ανθρώπινο λάθος, επαναλαμβανόμενες εισαγωγές ή κακώς συντονισμένα συστήματα.Οι φόρμες που υποβάλλονται δύο φορές, τα αρχεία που συνδυάζονται χωρίς προηγούμενο καθαρισμό ή οι ενσωματώσεις μεταξύ εφαρμογών που δεν επικυρώνουν σωστά τις πληροφορίες αποτελούν το ιδανικό έδαφος για να γεμίσει το σύστημά σας με διπλότυπα αρχεία.

Εκτός από τα προφανή αντίγραφα, θα βρείτε μικρές παραλλαγές που στην πραγματικότητα αντιπροσωπεύουν τα ίδια δεδομέναΟνόματα με ανάμεικτα κεφαλαία και πεζά γράμματα, επιπλέον κενά, διαφορετικές συντομογραφίες ή ημερομηνίες με διαφορετικές μορφές που το σύστημα δεν αναγνωρίζει ως ίδιες, παρόλο που είναι προφανές σε ένα άτομο ότι αναφέρονται στο ίδιο πράγμα.

Ο αντίκτυπος είναι σημαντικός: Τα στατιστικά στοιχεία είναι διαστρεβλωμένα· ο αριθμός των πελατών ή των ασθενών είναι διογκωμένος.Τα email επαναλαμβάνονται στις καμπάνιες email, τα τιμολόγια διπλασιάζονται ή ο αριθμός των παραγγελιών υπερεκτιμάται. Αυτό μπορεί να οδηγήσει σε κακές αποφάσεις, επιπλέον κόστος και σημαντική έλλειψη εμπιστοσύνης στην ποιότητα των δεδομένων.

Επομένως, προτού ασχοληθείτε με τη δημιουργία πινάκων ελέγχου ή προηγμένων αναλύσεων, αξίζει να επενδύσετε χρόνο σε ένα Εξαιρετικό εργαλείο καθαρισμού δεδομένων για την ανίχνευση και διόρθωση ασυνεπειώνΗ κατάργηση διπλότυπων είναι ένα κεντρικό μέρος αυτής της διαδικασίας, αλλά όχι το μόνο: πρέπει επίσης να ομογενοποίηση κειμένου, αφαιρέστε τα παράξενα κενά και κανονικοποιήστε τις ημερομηνίες.

Εντοπισμός και επισήμανση διπλότυπων δεδομένων σε υπολογιστικά φύλλα

Εργαλεία όπως το Excel προσφέρουν πολύ βολικές λειτουργίες για για να εντοπίσετε γρήγορα ποιες τιμές επαναλαμβάνονται σε μια περιοχή κελιώνΠριν διαγράψετε οτιδήποτε, συνιστάται να χρησιμοποιήσετε μια οπτική μορφή που σας βοηθά να την ελέγξετε και να αποφασίσετε με ηρεμία τι θέλετε να κρατήσετε.

Ένας πολύ συνηθισμένος τρόπος για να ξεκινήσετε είναι με... Μορφοποίηση υπό όρους για την επισήμανση τιμών που εμφανίζονται περισσότερες από μία φορέςΜε αυτόν τον τρόπο, δεν αλλάζετε το περιεχόμενο των κελιών, απλώς τα επισημαίνετε ώστε να μπορείτε να τα αναλύσετε.

Η τυπική ροή εργασίας περιλαμβάνει πρώτα την επιλογή των κελιών που θα εξεταστούν και στη συνέχεια την εφαρμογή ενός Κανόνας μορφοποίησης υπό όρους που επισημαίνει τα διπλότυπα με διαφορετικό χρώμα φόντου ή γραμματοσειράΑυτό σας επιτρέπει να εντοπίσετε μοτίβα: για παράδειγμα, να δείτε εάν ένα άτομο εμφανίζεται πολλές φορές σε μια λίστα πελατών ή εάν ορισμένοι κωδικοί προϊόντων έχουν καταχωρηθεί περισσότερες από μία φορές.

Επιπλέον, μπορείτε να συνδυάσετε αυτήν την αυτόματη επισήμανση με φίλτρα μέσα στο ίδιο το υπολογιστικό φύλλο για να Δείτε μόνο τις σειρές που επηρεάζονται από διπλότυπα και ελέγξτε τις μία προς μία.Αυτό σας δίνει τον έλεγχο και μειώνει τον κίνδυνο τυχαίας διαγραφής σημαντικών πληροφοριών.

Ασφαλής κατάργηση διπλότυπων τιμών στο Excel

Μόλις ξεκαθαρίσετε ποιες επαναλήψεις δεν είναι απαραίτητες, το Excel περιλαμβάνει μια συγκεκριμένη συνάρτηση που ονομάζεται «Κατάργηση διπλότυπων» που διαγράφει οριστικά επαναλαμβανόμενες σειρέςΕδώ πρέπει να είστε προσεκτικοί, επειδή ό,τι διαγράφετε δεν ανακτάται εύκολα αν δεν έχετε αποθηκεύσει ένα αντίγραφο.

Πριν από την εκτέλεση αυτού του εργαλείου, συνιστάται ιδιαίτερα Αντιγραφή του αρχικού εύρους δεδομένων σε άλλο φύλλο ή αρχείο αντιγράφου ασφαλείαςΜε αυτόν τον τρόπο, εάν ο καθαρισμός παράγει ένα μη αναμενόμενο αποτέλεσμα, μπορείτε να ελέγξετε τι έχετε αφαιρέσει και να ανακτήσετε πληροφορίες χωρίς προβλήματα.

Η διαδικασία βασίζεται στην επιλογή της περιοχής κελιών που θέλετε να καθαρίσετε και στη συνέχεια στην υπόδειξη των στηλών στις οποίες θα πρέπει να συγκριθούν οι τιμές για να αποφασιστεί εάν μια γραμμή αντιγράφεται. Εάν επιλέξετε πολλές στήλες, μόνο η γραμμή της οποίας ο πλήρης συνδυασμός ταιριάζει με μια άλλη γραμμή θα θεωρείται διπλότυπη.κάτι που είναι πολύ χρήσιμο όταν εργάζεστε με σύνθετα δεδομένα.

Μετά την επιβεβαίωση της λειτουργίας, το Excel αφαιρεί τις επιπλέον γραμμές και Σας δείχνει μια σύνοψη του αριθμού των διπλότυπων που έχουν διαγραφεί και του αριθμού των μοναδικών εγγραφών που έχουν απομείνει.Αυτή η σύντομη αναφορά σάς βοηθά να επαληθεύσετε εάν τα αποτελέσματα ταιριάζουν με αυτά που περιμένατε όταν ξεκινήσατε τον καθαρισμό.

Πρέπει να έχουμε κατά νου ότι Το φιλτράρισμα μοναδικών τιμών δεν είναι το ίδιο με την κατάργηση διπλότυπων.Όταν φιλτράρετε, οι διπλότυπες γραμμές αποκρύπτονται μόνο προσωρινά, αλλά εξακολουθούν να υπάρχουν. Η κατάργηση των διπλότυπων τα διαγράφει εντελώς. Γι' αυτό το λόγο, η έναρξη με ένα μοναδικό φίλτρο ή μορφοποίηση υπό όρους είναι μια πιο συνετή στρατηγική.

Κριτήρια για την εξέταση μιας τιμής ως αντιγραφής

Όταν τα εργαλεία υπολογιστικών φύλλων συγκρίνουν διπλότυπα, Το κάνουν αυτό με βάση αυτό που πραγματικά φαίνεται στο κελί και όχι με βάση την υποκείμενη ερμηνευμένη τιμή.Αυτό έχει κάποιες περίεργες συνέπειες που πρέπει να γνωρίζετε, ώστε να μην έχετε εκπλήξεις.

Για παράδειγμα, δύο ημερομηνίες που αντιπροσωπεύουν την ίδια ημέρα δεν μπορούν να θεωρηθούν διπλότυπες εάν Η μία αναγράφεται ως «08/03/2006» και η άλλη ως «8 Μαρτίου 2006»επειδή το περιεχόμενο του κειμένου είναι διαφορετικό ακόμα κι αν η σημασία είναι πανομοιότυπη. Το ίδιο μπορεί να συμβεί και με ονόματα και συμβολοσειρές με διαφορετικά κενά ή κεφαλαία γράμματα.

Ομοίως, ένας αριθμός αποθηκευμένος ως κείμενο και ο ίδιος αριθμός σε αριθμητική μορφή Μπορούν να αντιμετωπιστούν ως διαφορετικές τιμές. Γι' αυτό είναι τόσο σημαντικό να ομαλοποιήσετε τις μορφές πριν επιχειρήσετε να διαγράψετε μαζικά διπλότυπες γραμμές.

Πριν εκτελέσετε έναν επιθετικό καθαρισμό, αξίζει πρώτα να φιλτράρετε για μοναδικές τιμές ή να χρησιμοποιήσετε μορφοποίηση υπό όρους για επιβεβαίωση. ότι το κριτήριο σύγκρισης λειτουργεί όπως νομίζετεΟ καθορισμός αυτών των κανόνων του παιχνιδιού στην αρχή αποτρέπει την απώλεια έγκυρων δεδομένων ή την παραμονή συγκαλυμμένων διπλότυπων.

Συναρτήσεις κειμένου σε υπολογιστικά φύλλα για τον καθαρισμό βρώμικων δεδομένων

Ένα τεράστιο μέρος των προβλημάτων με τα διπλότυπα δεν πηγάζει από την επανάληψη της ίδιας ακριβώς τιμής, αλλά από το γεγονός ότι Οι ίδιες πληροφορίες γράφονται με ελαφρώς διαφορετικούς τρόπουςΕκεί ακριβώς έρχονται στο προσκήνιο οι συναρτήσεις κειμένου του Excel ή των Υπολογιστικών Φύλλων Google για να τυποποιήσουν και να προετοιμάσουν το έδαφος πριν από την αφαίρεση των επαναλήψεων.

Είναι πολύ συνηθισμένο να βρίσκουμε στήλες όπου ορισμένα ονόματα είναι με κεφαλαία γράμματα, άλλα με πεζά και άλλα αναμεμειγμένα τυχαία. Για να τις ενοποιήσετε, έχετε συναρτήσεις που Μετατρέπουν τα πάντα σε πεζά, τα πάντα σε κεφαλαία ή γράφουν με κεφαλαίο μόνο το πρώτο γράμμα κάθε λέξης.Αυτό διασφαλίζει ότι οι όροι «ANA PÉREZ», «ana pérez» και «Ana Pérez» αντιμετωπίζονται με τον ίδιο τρόπο.

Κείμενα με επιπλέον κενά, τόσο εντός της αλυσίδας όσο και στην αρχή ή στο τέλοςΜια εξειδικευμένη συνάρτηση μπορεί να αφαιρέσει επιπλέον κενά και να αφήσει μόνο ένα κανονικό κενό μεταξύ των λέξεων, εξαλείφοντας έτσι τη φράση «Juan García» ή παρόμοιες φράσεις που διακόπτουν τις συγκρίσεις.

Για δεδομένα που είναι πυκνά συσκευασμένα μεταξύ τους, όπως συνδυασμένοι κωδικοί ή ονόματα και επώνυμα στο ίδιο κελί, είναι χρήσιμο να χρησιμοποιείτε συναρτήσεις εξαγωγής και ένωσης. Μπορείτε εξάγω ένα μέρος του κειμένου υποδεικνύοντας από ποια θέση και πόσους χαρακτήρες θέλετε να εξαγάγετε ή να ενώσετε πολλές συμβολοσειρές σε μία για να ανακατασκευάσετε πιο συνεκτικά πεδία.

Στην περίπτωση των ημερομηνιών, εάν φτάσουν ως κείμενο με διαφορετικά στυλ, είναι καλή ιδέα να τις μετατρέψετε σε τυπική μορφή ημερομηνίας με βάση το έτος, τον μήνα και την ημέραΜε αυτόν τον τρόπο, τα υπολογιστικά φύλλα τα αντιμετωπίζουν ως πραγματικές ημερομηνίες, μπορείτε να τα ταξινομήσετε σωστά και οι συγκρίσεις δεν εξαρτώνται πλέον από την οπτική εμφάνιση του κελιού.

Φιλτράρετε μοναδικές τιμές και καταργήστε διπλότυπα σε υπολογιστικά φύλλα

Εκτός από τα εργαλεία μορφοποίησης και τις συναρτήσεις κειμένου, τόσο το Excel όσο και το Google Sheets επιτρέπουν Γρήγορο φιλτράρισμα για να βλέπετε μόνο μοναδικές τιμές από μια στήλη ή ένα σύνολο στηλώνΑυτός είναι ένας πολύ αποτελεσματικός τρόπος για να αξιολογήσετε τα αποτελέσματα πριν πάρετε μη αναστρέψιμες αποφάσεις.

Σε ορισμένα περιβάλλοντα, μπορείτε να χρησιμοποιήσετε προηγμένες επιλογές φιλτραρίσματος για να υποδείξετε ότι θέλετε να εμφανίζονται γραμμές με μοναδικές τιμές μόνο σε μία ή περισσότερες συγκεκριμένες στήλες. Αυτό το φιλτράρισμα δεν διαγράφει δεδομένα, απλώς αποκρύπτει προσωρινά τα διπλότυπα., γεγονός που το καθιστά ένα πολύ συνετό ενδιάμεσο βήμα.

Μόλις επιβεβαιώσετε ότι η μοναδική προβολή είναι αυτή που σας ενδιαφέρει, έχετε εντολές ειδικά για Αφαίρεση διπλότυπων απευθείας από τα μενού δεδομένωνΣυνήθως, έχετε πρόσβαση σε κάτι όπως "Δεδομένα > Κατάργηση διπλότυπων", όπου επιλέγετε σε ποιες στήλες θα βασίσετε τη σύγκριση.

Μια άλλη επιλογή είναι να χρησιμοποιήσετε μορφοποίηση υπό όρους για να επισημάνετε τόσο διπλότυπες όσο και μοναδικές τιμές, ανάλογα με τις ανάγκες σας. Για παράδειγμα, μπορείτε να: Επισημάνετε με έντονο χρώμα τις γραμμές που εμφανίζονται μόνο μία φορά και να αναλύσουν εάν πρόκειται για άτυπα αρχεία, σφάλματα φόρτωσης ή απλώς για σπάνιες περιπτώσεις που πρέπει να διατηρηθούν.

Εάν εργάζεστε με αναπτυσσόμενες λίστες ή επικύρωση δεδομένων, είναι πολύ λογικό να τις καθαρίσετε και αυτές. Μπορείτε να το κάνετε αυτό μέσω των μενού επικύρωσης. ορίστε κλειστές λίστες που αποτρέπουν την εισαγωγή τυπογραφικών παραλλαγών, μειώνοντας έτσι την εμφάνιση ψευδών διπλότυπων εντολών που στην πραγματικότητα είναι απλώς τυπογραφικά λάθη.

Καθαρισμός διπλότυπων σε βάσεις δεδομένων SQL με SELECT DISTINCT

Όταν μετακομίσαμε από τον κόσμο των υπολογιστικών φύλλων στον κόσμο των βάσεις δεδομένωνΗ προσέγγιση αλλάζει ελαφρώς. Στην SQL, ένα από τα πρώτα εργαλεία για τη διαχείριση επαναλαμβανόμενων πληροφοριών είναι ο τελεστής DISTINCT, η οποία χρησιμοποιείται σε συνδυασμό με την εντολή SELECT για την επιστροφή γραμμών χωρίς διπλότυπα στα αποτελέσματα ενός ερωτήματος.

Η ιδέα είναι απλή: κατά την κατασκευή μιας πρότασης SELECT, μπορείτε να προσθέσετε τη λέξη-κλειδί DISTINCT για να υποδείξετε ότι Θέλετε μόνο μία εμφάνιση κάθε συνδυασμού τιμών στις επιλεγμένες στήλες. Με αυτόν τον τρόπο, εάν η ίδια λογική γραμμή επαναληφθεί αρκετές φορές στον πίνακα, το ερώτημα θα επιστρέψει μία μόνο γραμμή.

Είναι σημαντικό να κατανοήσετε ότι η εντολή SELECT DISTINCT δεν διαγράφει τίποτα από τη βάση δεδομένων: Επηρεάζει μόνο το αποτέλεσμα που βλέπετε όταν εκτελείτε το ερώτημα.Οι αρχικές πληροφορίες παραμένουν αμετάβλητες στους πίνακες, κάτι που είναι ιδανικό για διερευνητική ανάλυση όπου δεν θέλετε να τροποποιήσετε δεδομένα ακόμα.

Όσον αφορά τη σύνταξη, το γενικό μοτίβο συνίσταται στον συνδυασμό της συνάρτησης SELECT DISTINCT με τη λίστα στηλών που σας ενδιαφέρουν, ακολουθούμενη από την πρόταση FROM για να υποδείξει τον πίνακα και, προαιρετικά, μια ρήτρα WHERE για φιλτράρισμα βάσει συγκεκριμένων συνθηκώνΜε αυτόν τον τρόπο μπορείτε να ζητήσετε, για παράδειγμα, μοναδικούς πελάτες από μία μόνο χώρα ή διαφορετικά προϊόντα από μια συγκεκριμένη κατηγορία.

Αυτή η προσέγγιση είναι πολύ χρήσιμη όταν θέλετε να περιορίσετε τα αποτελέσματα σε μη διπλότυπες καταχωρήσεις, είτε πρόκειται για Λήψη λίστας πελατών χωρίς διπλές παραγγελίες λόγω πολλαπλών παραγγελιών, εμφανίστε μια λίστα με διακριτούς κωδικούς προϊόντων ή δημιουργήστε έναν αριθμό μοναδικών στοιχείων σε ένα σύνολο δεδομένων.

Διαφορές μεταξύ του DISTINCT και άλλων τρόπων αποφυγής διπλότυπων σε SQL

Αν και οι λέξεις DISTINCT και UNIQUE μπορεί να ακούγονται παρόμοιες, Δεν παίζουν τον ίδιο ρόλο στο οικοσύστημα SQLΗ συνάρτηση DISTINCT δρα σε ερωτήματα SELECT, επηρεάζοντας τις γραμμές που επιστρέφονται. Η συνάρτηση UNIQUE συνήθως σχετίζεται με περιορισμούς στον ορισμό των πινάκων, υποδεικνύοντας ότι ορισμένα πεδία δεν μπορούν να περιέχουν επαναλαμβανόμενες τιμές.

Επιπλέον, σε περιβάλλοντα με μεγάλες ποσότητες δεδομένων, η χρήση της συνάρτησης SELECT DISTINCT μπορεί να είναι απαιτητική σε απόδοση, επειδή Η μηχανή βάσης δεδομένων πρέπει να συγκρίνει όλες τις επιλεγμένες στήλες. για να προσδιορίσετε ποιες γραμμές είναι ίδιες. Σε μεγάλους πίνακες ή πίνακες με πολλές στήλες, αυτό μπορεί να γίνει δυσκίνητο.

Επομένως, σε ορισμένες περιπτώσεις αξίζει να εξεταστούν εναλλακτικές λύσεις. Μία από τις πιο συνηθισμένες είναι η χρήση GROUP BY για ομαδοποίηση γραμμών κατά μία ή περισσότερες στήλες και εφαρμόστε συναρτήσεις συγκέντρωσης (όπως COUNT, MIN ή MAX) που σας επιτρέπουν να συνοψίσετε τα δεδομένα αποτελεσματικά.

Μπορείτε επίσης να βασιστείτε σε όρους όπως EXISTS για ελέγξτε αν υπάρχουν συγκεκριμένες τιμές σε άλλον πίνακαΑυτό αποφεύγει την ένωση περιττών διπλότυπων γραμμών. Εναλλακτικά, μπορείτε να χρησιμοποιήσετε δευτερεύοντα ερωτήματα με σαφώς καθορισμένους όρους SELECT, FROM και WHERE για να καθορίσετε καλύτερα ποιες εγγραφές θέλετε να ανακτήσετε.

Όταν θέλετε να μετρήσετε πόσες μοναδικές τιμές υπάρχουν σε μια στήλη, είναι σύνηθες να συνδυάζετε τη συνάρτηση COUNT με τη συνάρτηση DISTINCT, έτσι ώστε Λαμβάνετε απευθείας τον αριθμό των διαφορετικών στοιχείων. χωρίς να χρειάζεται να ελέγξετε το καθένα από αυτά χειροκίνητα.

Πρακτικά παραδείγματα: ερωτήσεις πελατών και διευθύνσεις χωρίς διπλότυπα

Φανταστείτε ότι εργάζεστε με έναν πίνακα παραγγελιών όπου κάθε γραμμή αντιπροσωπεύει μια αγορά που πραγματοποιήθηκε. Είναι σύνηθες αυτό Ο ίδιος πελάτης θα εμφανιστεί πολλές φορές εάν έχει κάνει περισσότερες από μία παραγγελίες.Αν θέλετε να βλέπετε κάθε πελάτη μόνο μία φορά, το SELECT DISTINCT είναι ένα πολύ σαφές εργαλείο.

Σε αυτό το σενάριο, θα δημιουργούσατε ένα ερώτημα που επιλέγει τις στήλες αναγνώρισης πελάτη (για παράδειγμα, το αναγνωριστικό και το όνομά του) και εφαρμόζει την συνάρτηση DISTINCT σε λαμβάνετε μια λίστα με κάθε πελάτη μόνο μία φορά., αν και ο αρχικός πίνακας έχει δέκα διαφορετικές παραγγελίες.

Κάτι παρόμοιο συμβαίνει αν χρειαστεί να δείτε όλα τα μοναδικές διευθύνσεις αποστολής στις οποίες έχουν αποσταλεί τα προϊόνταΕάν κάθε παραγγελία περιλαμβάνει μια διεύθυνση, ο πίνακας θα είναι γεμάτος με επαναλήψεις. Ωστόσο, με την επιλογή DISTINCT στις στήλες διευθύνσεων, μπορείτε να δημιουργήσετε μια συνοπτική λίστα σημείων αποστολής.

Όταν θέλετε να εστιάσετε σε πελάτες από μια συγκεκριμένη περιοχή, μπορείτε να προσθέσετε μια ρήτρα WHERE για να υποδείξετε, για παράδειγμα, ότι Ενδιαφέρεστε μόνο για αρχεία από μια συγκεκριμένη χώραΜε αυτόν τον τρόπο, η συνάρτηση SELECT DISTINCT επιδρά σε ένα υποσύνολο του πίνακα και όχι σε όλα τα δεδομένα.

Στον τομέα της υγειονομικής περίθαλψης ή στον ακαδημαϊκό τομέα, ο χειριστής είναι επίσης πολύ πρακτικός για δεδομένα ομάδας από ασθενείς ή συγγραφείς που εμφανίζονται πολλές φορές σε διαφορετικές μελέτες ή άρθρα, με την εμφάνιση μόνο μίας καταχώρησης ανά οντότητα για σκοπούς ανάλυσης.

Διαχείριση διπλότυπων αναφορών σε βιβλιογραφικές βάσεις δεδομένων

Στον τομέα της επιστημονικής τεκμηρίωσης, οι βιβλιογραφικές βάσεις δεδομένων συνήθως προσφέρουν συγκεκριμένα εργαλεία για την αφαίρεση διπλότυπων αναφορών Όταν πραγματοποιείτε αναζητήσεις σε διαφορετικές πηγές, αυτό είναι ζωτικής σημασίας για να αποτρέψετε το ενδεχόμενο οι βιβλιογραφικές σας ανασκοπήσεις να γεμίζουν με διπλότυπα άρθρα.

Σε αυτά τα συστήματα, υπάρχει συνήθως μια εντολή "Κατάργηση διπλότυπων" στο μενού εργαλείων, η οποία Αναλύει το σύνολο αποτελεσμάτων και αφαιρεί αυτόματα τις διπλότυπες αναφορές.Το σύστημα συνήθως αναφέρει πόσα στοιχεία έχουν διαγραφεί και πόσα παραμένουν στο τρέχον σύνολο.

Σε πολλές πλατφόρμες μπορείτε να διαμορφώσετε, από μια ενότητα προτιμήσεων, ότι Η αφαίρεση διπλότυπων αναφορών γίνεται αυτόματα. κάθε φορά που εκτελείτε μια νέα αναζήτηση. Αυτό εξοικονομεί πολλή χειροκίνητη εργασία, αν και συνιστάται να ελέγχετε τακτικά ότι τα διπλότυπα κριτήρια είναι σωστά.

Εκτός από τη μαζική διαγραφή, αυτοί οι διαχειριστές σάς επιτρέπουν να επιλέγετε χειροκίνητα συγκεκριμένες αναφορές για να αποφασίσετε εάν θα τις διατηρήσετε ή θα τις διαγράψετε. Αυτή η χειροκίνητη αναθεώρηση είναι χρήσιμη όταν το σύστημα δεν είναι σίγουρο εάν δύο εγγραφές είναι στην πραγματικότητα το ίδιο στοιχείο. ή αν αντιστοιχούν σε διαφορετικές εκδόσεις (για παράδειγμα, προεκτυπώσεις και τελικές εκδόσεις).

Μετά την αφαίρεση των διπλότυπων, το σύνολο αποτελεσμάτων ενημερώνεται και δείχνει τον μειωμένο αριθμό αναφορώνΑυτός ο αριθμητικός έλεγχος βοηθά στην επικύρωση ότι η διόρθωση σφαλμάτων είχε κάποιο αποτέλεσμα και στην τεκμηρίωση της διαδικασίας σε συστηματικές ανασκοπήσεις ή αναφορές αναζήτησης.