Kā soli pa solim iztīrīt dublētus datus datubāzēs

Strādājot ar datubāzēm, izklājlapas vai informācijas sistēmām, Dublēti dati var sagādāt īstas galvassāpesAtkārtoti ieraksti, tūkstoš dažādos veidos uzrakstīti vārdi, slikti formatēti datumi vai liekas atstarpes padara analīzes neuzticamas un tērē jūsu laiku, manuāli pārbaudot, ko sistēma varētu palīdzēt jums sakārtot dažu sekunžu laikā.

Labā ziņa ir tā, ka ir Jaudīgi rīki dublētu datu atrašanai, iezīmēšanai un noņemšanai gan programmā Excel, gan google Loksnes kā SQL datu bāzes vai bibliogrāfiskās pārvaldības rīki. Izpratne par to darbību, atšķirībām un riskiem, ko tie rada (piemēram, informācijas dzēšana, ko vēlāk varētu palaist garām), ir būtiska, lai dati būtu sakārtoti un tos varētu analizēt ar mierīgu prātu.

Kāpēc parādās datu dublikāti un kāpēc tie rada problēmas?

Praksē, Dublikāti rodas cilvēcisku kļūdu, atkārtotas importēšanas vai slikti koordinētu sistēmu dēļ.Divreiz iesniegtas veidlapas, faili, kas apvienoti bez iepriekšējas tīrīšanas, vai integrācijas starp lietojumprogrammām, kas nepareizi validē informāciju, ir ideāla augsne, lai jūsu sistēma piepildītos ar dublētiem ierakstiem.

Papildus acīmredzamajiem dublikātiem jūs atradīsiet nelielas variācijas, kas faktiski atspoguļo tos pašus datusVārdi ar jauktiem lielajiem un mazajiem burtiem, papildu atstarpēm, dažādiem saīsinājumiem vai datumiem dažādos formātos, ko sistēma neatpazīst kā vienu un to pašu, pat ja personai ir acīmredzams, ka tie attiecas uz vienu un to pašu.

Ietekme ir ievērojama: Statistika ir sagrozīta; klientu vai pacientu skaits ir pārspīlēts.E-pasta kampaņās tiek atkārtoti e-pasti, rēķini tiek dublēti vai pasūtījumu skaits tiek pārvērtēts. Tas var novest pie sliktiem lēmumiem, papildu izmaksām un ievērojama neuzticēšanās datu kvalitātei.

Tāpēc, pirms ķerties pie informācijas paneļu vai padziļinātas analīzes izveides, ir vērts ieguldīt laiku Lielisks datu tīrīšanas rīks neatbilstību atklāšanai un labošanaiDublikātu noņemšana ir šī procesa centrālā sastāvdaļa, taču ne vienīgā: jums ir arī homogenizēt tekstu, noņemiet dīvainas atstarpes un normalizējiet datumus.

Atklāt un iezīmēt dublētus datus izklājlapās

Tādi rīki kā Excel piedāvā ļoti ērtas funkcijas lai ātri noteiktu, kuras vērtības atkārtojas šūnu diapazonāPirms jebkādu datu dzēšanas ieteicams izmantot vizuālu formātu, kas palīdz pārskatīt un mierīgi izlemt, ko vēlaties paturēt.

Ļoti izplatīts veids, kā sākt, ir... Nosacījuma formatēšana, lai izceltu vērtības, kas parādās vairāk nekā vienu reiziTādā veidā jūs nemaināt šūnu saturu, bet vienkārši atzīmējat tās, lai varētu tās analizēt.

Tipiskā darbplūsma ietver vispirms pārskatāmo šūnu atlasi un pēc tam atzīmes pielietošanu. Nosacījuma formatēšanas noteikums, kas atzīmē dublikātus ar citu fona krāsu vai fontuTas ļauj identificēt modeļus: piemēram, lai redzētu, vai persona klientu sarakstā parādās vairākas reizes vai vai noteikti produktu kodi ir reģistrēti vairāk nekā vienu reizi.

Turklāt šo automātisko iezīmēšanu var apvienot ar filtriem pašā izklājlapā, lai Skatiet tikai tās rindas, kuras ietekmē dublikāti, un pārskatiet tās pa vienai.Tas dod jums kontroli un samazina svarīgas informācijas nejaušas izdzēšanas risku.

Droši noņemiet dublētās vērtības programmā Excel

Kad esat skaidri noskaidrojis, kuri atkārtojumi nav nepieciešami, programmā Excel tiek iekļauta īpaša funkcija ar nosaukumu “Noņemt dublikātus”, kas neatgriezeniski izdzēš atkārtotas rindasŠeit ir jābūt uzmanīgiem, jo ​​izdzēsto informāciju nevar viegli atgūt, ja neesat saglabājis tās kopiju.

Pirms šī rīka palaišanas ir ļoti ieteicams Kopēt sākotnējo datu diapazonu uz citu lapu vai dublējuma failuTādā veidā, ja tīrīšanas laikā rodas negaidīts rezultāts, varat pārskatīt noņemto saturu un bez problēmām atgūt informāciju.

Procedūra balstās uz šūnu diapazona izvēli, kuru vēlaties tīrīt, un pēc tam norādiet, kurās kolonnās vērtības jāsalīdzina, lai izlemtu, vai rinda ir dublēta. Ja atlasīsiet vairākas kolonnas, par dublikātu tiks uzskatīta tikai tā rinda, kuras pilnā kombinācija atbilst citai rindai.kas ir ļoti noderīgi, strādājot ar sarežģītiem datiem.

Pēc darbības apstiprināšanas programma Excel noņem papildu rindas un Tas parāda kopsavilkumu par to, cik dublikātu ir dzēsti un cik unikālu ierakstu ir palikuši.Šis īsais ziņojums palīdz jums pārbaudīt, vai rezultāti atbilst tam, ko gaidījāt, sākot tīrīšanu.

Tas jāpatur prātā Unikālu vērtību filtrēšana nav tas pats, kas dublikātu noņemšana.Filtrējot, dublētās rindas tiek tikai īslaicīgi paslēptas, taču tās joprojām ir pieejamas; dublikātu noņemšana tos izdzēš pilnībā. Tāpēc prātīgāka stratēģija ir sākt ar unikālu filtru vai nosacījumformatējumu.

Kritēriji vērtības atzīšanai par dublētu

Kad izklājlapu rīki salīdzina dublikātus, Viņi to dara, pamatojoties uz to, kas faktiski ir redzams šūnā, nevis uz pamatā esošo interpretēto vērtību.Tam ir dažas interesantas sekas, kas jums jāzina, lai nerastos nekādi pārsteigumi.

Piemēram, divi datumi, kas apzīmē vienu un to pašu dienu, var netikt uzskatīti par dublikātiem, ja Viens ir rakstīts kā “08/03/2006”, bet otrs kā “2006. gada 8. marts”.jo teksta saturs atšķiras pat tad, ja nozīme ir identiska. Tas pats var notikt ar nosaukumiem un virknēm ar atšķirīgām atstarpēm vai lielo burtu lietojumu.

Līdzīgi, skaitlis, kas saglabāts kā teksts, un tas pats skaitlis skaitliskā formātā Tos var uzskatīt par dažādām vērtībām. Tāpēc ir tik svarīgi normalizēt formātus, pirms mēģināt masveidā dzēst dublētas rindas.

Pirms agresīvas tīrīšanas ir vērts vispirms filtrēt unikālas vērtības vai izmantot nosacījumformatējumu, lai apstiprinātu. ka salīdzināšanas kritērijs darbojas tā, kā jūs domājatŠo spēles noteikumu iestatīšana jau sākumā novērš derīgu datu zaudēšanu vai maskētu dublikātu atstāšanu.

Teksta funkcijas izklājlapās, lai attīrītu netīrus datus

Liela daļa problēmu ar dublikātiem neizriet no tā, ka tiek atkārtota tieši tā pati vērtība, bet gan no tā, ka Viena un tā pati informācija ir uzrakstīta nedaudz atšķirīgos veidosTieši šeit noder Excel vai Google Sheets teksta funkcijas, lai standartizētu un sagatavotu pamatu pirms atkārtojumu noņemšanas.

Ļoti bieži var atrast kolonnas, kurās daži nosaukumi ir ar lielajiem burtiem, citi ar mazajiem burtiem, bet citi ir sajaukti nejauši. Lai tos apvienotu, ir funkcijas, kas Viņi visu pārveido par mazajiem burtiem, visu par lielajiem burtiem vai arī katra vārda pirmo burtu raksta ar lielo burtu.Tas nodrošina, ka pret “ANA PÉREZ”, “ana pérez” un “Ana Pérez” izturas vienādi.

Īsziņas ar papildu atstarpes gan ķēdes iekšpusē, gan sākumā vai beigāsSpecializēta funkcija var noņemt liekās atstarpes un atstāt starp vārdiem tikai normālu atstarpi, tādējādi likvidējot "Juan García" vai līdzīgas frāzes, kas pārtrauc salīdzinājumus.

Datiem, kas ir cieši saspiesti kopā, piemēram, apvienotiem kodiem vai vārdiem un uzvārdiem vienā šūnā, ir lietderīgi izmantot ekstrakcijas un apvienošanas funkcijas. Jūs varat izvilkt daļu no teksta norādot, no kuras pozīcijas un cik rakstzīmju vēlaties iegūt vai apvienot vairākas virknes vienā, lai rekonstruētu saskaņotākus laukus.

Datumu gadījumā, ja tie tiek piegādāti kā teksts ar dažādiem stiliem, ieteicams tos pārveidot par standarta datuma formāts, kas balstīts uz gadu, mēnesi un dienuTādā veidā izklājlapas tos apstrādā kā reālus datumus, tos var pareizi kārtot, un salīdzinājumi vairs nav atkarīgi no šūnas vizuālā izskata.

Filtrējiet unikālas vērtības un noņemiet dublikātus izklājlapās

Papildus formatēšanas rīkiem un teksta funkcijām gan Excel, gan Google Sheets ļauj Ātri filtrējiet, lai redzētu tikai unikālas vērtības no kolonnas vai kolonnu kopasŠis ir ļoti efektīvs veids, kā pārskatīt rezultātus pirms neatgriezenisku lēmumu pieņemšanas.

Dažās vidēs varat izmantot papildu filtrēšanas opcijas, lai norādītu, ka vēlaties rādīt tikai rindas ar unikālām vērtībām vienā vai vairākās konkrētās kolonnās. Šī filtrēšana neizdzēš datus, tā vienkārši īslaicīgi paslēpj dublikātus., kas padara to par ļoti piesardzīgu starpposmu.

Kad esat apstiprinājis, ka unikālais skats ir tas, kas jūs interesē, jums ir komandas specifisks Noņemiet dublikātus tieši no datu izvēlnēmParasti jūs piekļūstat kaut kam līdzīgam kā "Dati > Noņemt dublikātus", kur varat izvēlēties, kuras kolonnas izmantot salīdzināšanai.

Vēl viena iespēja ir izmantot nosacījumformatējumu, lai izceltu gan dublikātus, gan unikālas vērtības atkarībā no jūsu vajadzībām. Piemēram, varat: Iezīmējiet spilgtā krāsā rindas, kas parādās tikai vienu reizi un analizēt, vai tie ir netipiski ieraksti, ielādes kļūdas vai vienkārši reti gadījumi, kas ir jāsaglabā.

Ja strādājat ar nolaižamajiem sarakstiem vai datu validāciju, ir ļoti lietderīgi arī tos iztīrīt. To var izdarīt, izmantojot validācijas izvēlnes. definēt slēgtus sarakstus, kas neļauj ieviest tipogrāfiskas variācijas, tādējādi samazinot viltus dublikātu rašanos, kas patiesībā ir tikai drukas kļūdas.

Dublikātu tīrīšana SQL datubāzēs, izmantojot SELECT DISTINCT

Kad mēs pārgājām no izklājlapu pasaules uz datu bāzesPieeja nedaudz mainās. SQL valodā viens no pirmajiem atkārtotas informācijas pārvaldības rīkiem ir operators DISTINCT, kas tiek izmantota kopā ar komandu SELECT, lai atgrieztu rindas bez dublikātiem vaicājuma rezultātos.

Ideja ir vienkārša: veidojot SELECT priekšrakstu, var pievienot atslēgvārdu DISTINCT, lai norādītu, ka Jums ir nepieciešams tikai viens katras vērtību kombinācijas gadījums atlasītajās kolonnās. Tādā veidā, ja viena un tā pati loģiskā rinda tabulā atkārtojas vairākas reizes, vaicājums atgriezīs vienu rindu.

Ir svarīgi saprast, ka SELECT DISTINCT neko neizdzēš no datubāzes: Tas ietekmē tikai rezultātu, ko redzat, palaižot vaicājumu.Sākotnējā informācija tabulās paliek nemainīga, kas ir ideāli piemērots izpētes analīzei, kurā vēl nevēlaties modificēt datus.

Runājot par sintaksi, vispārējais modelis sastāv no SELECT DISTINCT apvienošanas ar interesējošo kolonnu sarakstu, kam seko FROM klauzula, lai norādītu tabulu, un, pēc izvēles, WHERE klauzula filtrēšanai pēc noteiktiem nosacījumiemTādā veidā jūs varat pieprasīt, piemēram, unikālus klientus tikai no vienas valsts vai dažādus produktus no noteiktas kategorijas.

Šī pieeja ir ļoti noderīga, ja vēlaties sašaurināt rezultātus līdz nedublētiem ierakstiem, neatkarīgi no tā, vai tie ir paredzēti Iegūt klientu sarakstu bez dublēšanās vairāku pasūtījumu dēļ, parādīt atšķirīgu produktu kodu sarakstu vai ģenerēt unikālu vienumu skaitu datu kopā.

Atšķirības starp DISTINCT un citiem veidiem, kā izvairīties no dublikātiem SQL valodā

Lai gan DISTINCT un UNIQUE var izklausīties līdzīgi, Viņiem nav vienādas lomas SQL ekosistēmā.DISTINCT darbojas SELECT vaicājumos, ietekmējot atgrieztās rindas; UNIQUE parasti ir saistīts ar ierobežojumiem tabulu definīcijā, norādot, ka noteikti lauki nevar saturēt atkārtotas vērtības.

Turklāt kontekstos ar lielu datu apjomu SELECT DISTINCT izmantošana var būt veiktspējas ziņā ietilpīga, jo Datu bāzes dzinējam ir jāsalīdzina visas atlasītās kolonnas. lai noteiktu, kuras rindas ir vienādas. Lielās tabulās vai tabulās ar daudzām kolonnām tas var kļūt apgrūtinoši.

Tāpēc dažos gadījumos ir vērts apsvērt alternatīvas. Viena no visizplatītākajām ir izmantot GROUP BY, lai grupētu rindas pēc vienas vai vairākām kolonnām un lietot apkopošanas funkcijas (piemēram, COUNT, MIN vai MAX), kas ļauj efektīvi apkopot datus.

Varat arī paļauties uz tādām klauzulām kā EXISTS, lai pārbaudiet, vai noteiktas vērtības ir citā tabulāTas ļauj izvairīties no nevajadzīgu dublētu rindu apvienošanas. Vai arī varat izmantot apakšvaicājumus ar precīzi definētām SELECT, FROM un WHERE klauzulām, lai labāk norādītu, kurus ierakstus vēlaties izgūt.

Ja vēlaties saskaitīt, cik unikālu vērtību ir kolonnā, parasti COUNT tiek apvienots ar DISTINCT, lai Jūs tieši iegūstat dažādu elementu skaitu. bez nepieciešamības katru no tiem manuāli pārbaudīt.

Praktiski piemēri: klientu pieprasījumi un adreses bez dublikātiem

Iedomājieties, ka strādājat ar pasūtījumu tabulu, kur katra rinda apzīmē veikto pirkumu. Bieži vien Viens un tas pats klients parādīsies vairākas reizes, ja viņš ir veicis vairākus pasūtījumus.Ja vēlaties katru klientu redzēt tikai vienu reizi, SELECT DISTINCT ir ļoti skaidrs rīks.

Šajā scenārijā jūs izveidotu vaicājumu, kas atlasa klienta identifikācijas kolonnas (piemēram, ID un vārdu) un tām piemēro funkciju DISTINCT. saņemt sarakstu ar katru klientu tikai vienu reizi., lai gan sākotnējā tabulā ir desmit dažādas secības.

Kaut kas līdzīgs notiek, ja jums ir jāredz viss unikālas piegādes adreses, uz kurām produkti ir nosūtītiJa katrā pasūtījumā ir iekļauta adrese, tabulā būs daudz atkārtojumu; tomēr, izmantojot DISTINCT adreses kolonnās, varat ģenerēt kompaktu piegādes punktu sarakstu.

Ja vēlaties koncentrēties uz klientiem no konkrēta apgabala, varat pievienot WHERE klauzulu, lai norādītu, piemēram, ka Jūs interesē tikai ieraksti no konkrētas valstsTādā veidā SELECT DISTINCT iedarbojas uz tabulas apakškopu, nevis uz visiem datiem.

Arī veselības aprūpes vai akadēmiskajā jomā operators ir ļoti praktisks grupējiet datus no pacientiem vai autoriem, kuri parādās vairākas reizes dažādos pētījumos vai rakstos, analīzes nolūkos parādot tikai vienu ierakstu par katru vienību.

Dublētu atsauču pārvaldība bibliogrāfiskajās datubāzēs

Zinātniskās dokumentācijas jomā bibliogrāfiskās datubāzes parasti piedāvā īpaši rīki dublētu atsauču noņemšanai Veicot meklēšanu dažādos avotos, tas ir ļoti svarīgi, lai jūsu literatūras apskati netiktu piepildīti ar dublētiem rakstiem.

Šajās sistēmās rīku izvēlnē parasti ir komanda “Noņemt dublikātus”, kas Tas analizē rezultātu kopu un automātiski noņem dublētās atsauces.Sistēma parasti ziņo, cik elementu ir dzēsti un cik to ir palicis pašreizējā kopā.

Daudzās platformās preferenču sadaļā var konfigurēt, ka Dublēto atsauču noņemšana tiek veikta automātiski. katru reizi, kad veicat jaunu meklēšanu. Tas ietaupa daudz manuāla darba, lai gan ieteicams regulāri pārbaudīt, vai dublikātu kritēriji ir pareizi.

Papildus masveida dzēšanai šie pārvaldnieki ļauj manuāli atlasīt konkrētas atsauces, lai izlemtu, vai tās saglabāt vai dzēst. Šī manuālā pārskatīšana ir noderīga, ja sistēma nav pārliecināta, vai divi ieraksti patiešām ir viens un tas pats elements. vai arī, ja tie atbilst dažādām versijām (piemēram, pirmsdrukas un galīgās versijas).

Pēc dublikātu noņemšanas rezultātu kopa tiek atjaunināta un parāda samazinātu atsauču skaituŠī skaitliskā kontrole palīdz apstiprināt, ka atkļūdošanai ir bijusi ietekme, un dokumentēt procesu sistemātiskās pārskatos vai meklēšanas ziņojumos.

saistīto rakstu:

Dublikātu atrašana un noņemšana programmā Access: pilnīga rokasgrāmata

Isaac

Kaislīgs rakstnieks par baitu pasauli un tehnoloģiju kopumā. Man patīk dalīties savās zināšanās rakstot, un tieši to es darīšu šajā emuārā, parādot visu interesantāko informāciju par sīkrīkiem, programmatūru, aparatūru, tehnoloģiju tendencēm un daudz ko citu. Mans mērķis ir palīdzēt jums vienkāršā un izklaidējošā veidā orientēties digitālajā pasaulē.