Verkkotietojen kaapiminen BeautifulSoupilla ja Seleniumilla

Jos joutuisit nykyään manuaalisesti keräämään hintoja, arvosteluja tai täydellisiä tuoteluetteloita verkosta, turhautuisit todennäköisesti.Rivi riviltä kopioiminen ja liittäminen on paitsi uskomattoman työlästä, myös täydellinen resepti inhimillisille virheille. Onneksi meillä on työkaluja, kuten PythonKauniskeitto ja seleeni jotka mahdollistavat koko prosessin automatisoinnin hallitusti ja toistettavasti.

Tässä artikkelissa tarkastelemme perusteellisesti, mutta helposti lähestyttävästi ja käytännöllisesti, kuinka yhdistää staattinen kaavinta BeautifulSoupin kanssa ja dynaaminen kaavinta Seleniumin kanssa.Näet milloin kutakin lähestymistapaa kannattaa käyttää, miten ne täydentävät toisiaan ja mitä tyypillisiä ongelmia kohtaat (iframe-kehykset, JavaScript, CAPTCHA-koodit, rakenteelliset muutokset jne.). Käsittelemme myös keskeisiä aiheita, kuten laillisuutta, etiikkaa, robots.txt-tiedostoa ja vaihtoehtoja, kuten API-rajapintoja tai koodaamattomia työkaluja.

Mitä tarkalleen ottaen on verkkokaavinta ja milloin sitä on järkevää käyttää?

Verkkotietojen kaappaaminen on prosessi, jossa tietoa poimitaan automaattisesti ihmisille suunnitelluilta verkkosivuilta.muuntamalla kyseisen HTML-sisällön (ja joskus myös JavaScriptillä luodun sisällön) strukturoiduksi dataksi, jota voit käyttää: taulukoina, JSON-tiedostoina, CSV-tiedostoina, tietokantaan ladattavina tiedostoina jne.

Ajatuksena on, että ohjelma tekee saman, mitä käyttäjä tekisi selaimen edessä.: vieraile URL-osoitteissa, seuraa linkkejä, paikanna sivun tiettyjä osia (otsikot, hinnat, kommentit, kuvat, painikkeet), poimi sisältö ja tallenna se myöhempää analyysia varten.

Yleisimmät käyttötapaukset verkkotietojen kaappaukselle ovat hyvin vaihtelevia.Eri verkkokauppasivustojen tuotehintojen vertailusta kilpailun seurantaan, arvostelujen tai kommenttien keräämiseen, brändimainintojen seuraamiseen, liidien generointiin julkisista listauksista tai koneoppimisprojekteihin tarkoitettujen tietojoukkojen luomiseen.

Tietojen kaappaamisen tulisi kuitenkin aina olla "viimeinen keinosi", kun sinulla ei ole virallista API:a tai muuta jäsenneltyä tapaa käyttää tietoja.Se on hauras (sivut muuttuvat), se voi olla ristiriidassa sivuston käyttösääntöjen kanssa, ja jos sinun täytyy kahlata paljon "roskaa" päästäksesi kiinnostuksen kohteisiisi, se voi olla hidasta tai resursseja kuluttavaa.

Ennen kuin kirjoitat riviäkään kaavintakoodia, on suositeltavaa kysyä itseltäsi muutamia keskeisiä kysymyksiä.Onko olemassa virallista API:a? Rikonko sivuston käyttöehtoja? Noudatanko paikallista tietosuojaa ja tietojen käyttöä koskevaa lainsäädäntöä? Onko tapani käyttää tietoja laillisesti ja eettisesti oikea?

Näin "oikea" verkko toimii: HTML, CSS, JavaScript, iframe-elementit ja DOM

Paperilla verkkosivusto on melko suoraviivainen: HTML rakenteelle, CSS ulkoasulle ja JavaScript sen elävöittämiseksi.Mutta kun alat raapaista oikeiden verkkosivujen pintaa, huomaat, että HTML voi olla painajainen, CSS ei ole olennainen tietojesi kannalta ja JavaScript musta laatikko, joka manipuloi sisältöä mielensä mukaan.

Kun painat selaimessa Enter-näppäintä, se lähettää HTTP-pyynnön palvelimelle, vastaanottaa vastauksen ja näyttää sen muotoiltuna.Jos valitset "Näytä sivun lähdekoodi", näet HTML-koodin täsmälleen sellaisena kuin se tuli palvelimelta, ennen kuin JavaScript sotkee ​​DOM:ia.

DOM (Document Object Model) on sivun reaaliaikainen esitys selaimessa.JavaScript voi lisätä, poistaa tai muokata DOM-solmuja alkuperäisen HTML-koodin lataamisen jälkeen. Siksi näytöllä näkemäsi sisältö ei aina näy lähdekoodissa.

Tyypillinen esimerkki ovat kommentointijärjestelmät, kuten Disqus, tai kolmannen osapuolen upotukset, jotka lisätään iframe-kehysten kautta.Voi käydä niin, että alkuperäistä HTML-koodia tarkasteltaessa iframea ei löydy lainkaan, koska siihen on dynaamisesti lisätty JavaScriptiä sivun latauduttua.

Tämä ero "katselemasi lähdekoodin" ja lopullisen DOM:n välillä on se, mikä rajaa staattisen ja dynaamisen kaapimisen välillä.Ensimmäisessä näet vain palvelimelta tulevan HTML:n; toisessa tarvitset selaimen (reaaliaikaisen tai headless-selaimen), joka suorittaa JavaScriptiä ja antaa sinun käyttää tuloksena olevaa DOM:ia.

Staattinen kaavinta Pythonilla, Requestsilla ja BeautifulSoupilla

Aina kun tarvitsemasi sisältö on palvelimelta tulevassa HTML-muodossa "sellaisenaan", yksinkertaisin, nopein ja luotettavin menetelmä on suorittaa staattinen kaavinta.Tätä tarkoitusta varten Pythonissa kirjasto yleensä yhdistetään pyynnöt (HTTP-pyyntöjen tekemiseksi) Kaunis keitto (HTML-koodin jäsentämiseen ja selaamiseen).

Requests-funktion avulla voit tehdä kutsun yhtä helposti kuin r = requests.get(url) ja tarkista vastausobjektin perusteella, menikö pyyntö hyvin r.ok tai tarkista HTTP-tilakoodi ja vastaanotettu sisältö. Tekstiä työskenneltäessä on yleensä hyvä idea dekoodata UTF-8-muodossa.

BeautifulSoup ottaa lataamasi HTML-koodin ja muuntaa sen Python-objektipuuksi josta voit etsiä tageja, attribuutteja, tekstiä, sisäkkäisiä elementtejä jne. Luo vain jotain tällaista: keitto = BeautifulSoup(vastaus.teksti, 'html.parser') aloittaa pelaaminen.

Sieltä voit paikantaa käytännössä minkä tahansa elementin käyttämällä metodeja, kuten find, find_all tai select.Esimerkiksi kaikkien linkkien poimiminen sivulta olisi yhtä yksinkertaista kuin kaikkien tagien hankkiminen ja lue sen ominaisuus href.

Hyvin tyypillinen kaava on selata toistuvia listauksia, kuten artikkeleita, tuotteita tai blogikirjoituksia.Kuvittele sivu, jossa jokainen tutoriaali on tagin sisällä Voit etsiä kaikkia näitä tunnisteita, mennä kuhunkin, paikantaa linkin, otsikon, päivämäärän jne. ja luoda sanakirjaluettelon tai Pandas DataFramen.

BeautifulSoup on myös erittäin hyödyllinen tiedon poimimiseen HTML-taulukoista, kuten wikipediaYleinen tekniikka on etsiä etiketti joka kiinnostaa sinua ja jota käytät pandas.read_html muuntaaksesi sen suoraan DataFrameksi, jonka voit sitten viedä CSV-muotoon tai käsitellä tilastollista analyysia tai koneoppimismalleja varten.

Vakavammissa projekteissa on yleistä käytäntöä kääriä kaapimislogiikka funktioiden sisään.: yksi, joka lataa ja jäsentää sivun, toinen, joka poimii asiaankuuluvat linkit, ja kolmas, joka palauttaa yksityiskohtaisesta URL-osoitteesta sanakirjan, jossa kaikki kiinnostuksen kohteena olevat kentät ovat valmiita tallennettavaksi tietokantaan.

Älä unohda käsitellä virheitä try-except-komennollaJos pyyntö epäonnistuu tai HTML-rakenne muuttuu, käsittelemättömän poikkeuksen heittäminen voi kaataa koko prosessin. Poikkeusten käsittely antaa sinun ohittaa ongelmalliset sivut, kirjata virheet ja siirtyä eteenpäin.

Dynaaminen kaapiminen: kun BeautifulSoup ei enää riitä

Staattinen kaavinta ei riitä, kun haluamasi sisältö luodaan JavaScriptillä.valikot, jotka lataavat tietoja napsautuksella, upotetut kommentit, sivutetut luettelot, jotka päivittyvät ilman sivun uudelleenlatausta, kentät, jotka näkyvät vasta kirjautumisen jälkeen jne.

Näissä tapauksissa, vaikka käyttäisit requests.get(url)-metodia, vastaanottamasi HTML-tiedosto ei sisällä lopullisia tietoja.Näet vain malleja, lyhennettyjä skriptejä, epätäydellisiä merkintäkatkelmia ja vähän muuta. JavaScript lisää puuttuvat elementit, kun sivu on käynnissä selaimessa.

Dynaaminen kaappaaminen esittelee oikean tai "päättömän" selaimen, joka todella suorittaa JavaScriptin ja rakentaa lopullisen DOM:n. Sinä käsikirjoitus Se ei ainoastaan ​​lataa sivua, vaan myös "navigoi" sitä: se napsauttaa painikkeita, täyttää lomakkeita, vaihtaa välilehteä, odottaa elementtien latautumista ja sitten poimii tiedot.

Tämän alan johtava työkalu on Selenium WebDriver.Se luotiin verkkosovellusten automaattiseen testaukseen, mutta sen kyky hallita selainta tekee siitä erinomaisen liittolaisen monimutkaisten ja dynaamisten sivustojen kaapimiseen.

Seleniumin avulla hallitset selainta aivan kuin olisit oikea käyttäjäVoit avata URL-osoitteen, paikantaa elementtejä id:n, luokan, CSS-valitsimen tai XPath:n perusteella, napsauttaa, lähettää tekstiä (kirjautumisia, lomakkeita, hakukoneita varten), vaihtaa iframe-kehyksiä, hallita ikkunoita tai välilehtiä ja lopuksi lukea sen palauttaman DOM:n. ajuri.sivun_lähde tai poimia tekstiä suoraan elementeistä.

Asenna ja määritä Selenium, ajurit ja selaimet

Seleniumin kanssa työskentelyyn tarvitset kaksi osaa: Python-kirjaston ja selainohjaimen automatisoitavalle prosessille.Voit käyttää Chromea, Firefoxia tai muita selaimia, mutta Chrome ja Firefox ovat yleensä turvallisin vaihtoehto.

Perusasennus Pythonissa on yhtä helppoa kuin `pip install selenium` -komennon suorittaminen.Sieltä sinun on ladattava vastaava ajuri (esimerkiksi geckodriver Firefoxille tai chromedriver Chromelle), sijoitettava se helppokäyttöiseen polkuun ja lisättävä kyseinen polku järjestelmän polkuun, jos haluat välttää absoluuttisen polun antamisen skriptissäsi.

En WindowsVoit esimerkiksi sijoittaa ajurin .exe-tiedoston haluamaasi kansioon ja lisätä kyseisen kansion PATH-ympäristömuuttujaan.. sisään Linux macOS:ssä prosessi on samanlainen, ja ympäristömuuttujien konfigurointitapa muuttuu.

Nykyään monissa tapauksissa riittää, että määrität ajuripolun WebDriver-objektia luotaessa.Esimerkiksi Chromessa: a:n määrittäminen Chrome-palvelu chromedriver-polun kanssa ja välittämällä kyseisen palvelun kohteelle webdriver.Chrome yhdessä selainasetusten kanssa.

Voit käyttää selaimia, joissa on näkyvä käyttöliittymä, tai selaimessa on näkymätön tila.Näkyvä tila säästää resursseja ja sopii erinomaisesti palvelinpuolen automatisointiin, mutta on suositeltavaa testata ensin näkyvässä tilassa sivun vuorovaikutusongelmien vianmäärityksen varmistamiseksi.

Todellinen dynaaminen kaavinta: kirjautumistiedot, iframe-kehykset ja JS:llä luodut elementit

Kun WebDriver on alustettu, voit alkaa automatisoida skenaarioita, jotka olisivat hankalia BeautifulSoupin kanssa.Esimerkiksi kirjautuminen sivustolle, joka vaatii käyttäjätunnuksen ja salasanan ennen tarvittavien tietojen näyttämistä.

Tyypillinen Seleniumin työnkulku kirjautumisella suojatulle sivulle on seuraava: avaa URL-osoite, etsi käyttäjätunnus- ja salasanakentät, lähetä tunnistetiedot, napsauta kirjautumispainiketta ja odota, että yksityinen sisältö latautuu.Sieltä voit poimia tietoja aivan kuten millä tahansa muullakin sivulla.

Toinen tehokas esimerkki on kommenttien laskeminen alustalta, kuten Disqus, integroituna tutoriaalisivulle.Usein nämä kommentit ovat iframe-kehyksen sisällä, jota ei edes näy alkuperäisessä HTML-koodissa: se luodaan JavaScriptillä ja lisätään id:llä, kuten disqus_thread.

Seleniumin avulla voit paikantaa kyseisen säilön, vaihtaa kontekstin vastaavaan iframeen, odottaa elementtien, kuten kommenttilaskurin, latautumista ja lukea arvon.Ilman seleeniä, pelkillä pyynnöillä ja BeautifulSoupilla, tässä tapauksessa sinulla on vain vähän voitettavaa.

Iframe-kehykset ja myöhäinen sisältö tarkoittavat, että pelkkä page_source-muuttujaa ei pyydetä heti sivun latautumisen jälkeen.Usein on tarpeen käyttää eksplisiittisiä odotusaikoja (odottaa elementin tai elementin näkyvyyttä) ennen tiedon poimimista, jotta ei juututa puoliväliin.

Tukityökalujen osalta Seleniumia ohjaavan selaimen lisäksi voit käyttää DevToolsia DOM:n tarkastamiseen ja tarvitsemiesi CSS-luokkien, tunnisteiden tai valitsimien löytämiseen.Tämä on ratkaisevan tärkeää toistuvien kuvioiden (taulukon rivit, tuotekortit, kommenttilohkot) löytämiseksi, joiden läpi sitten käydään.

Seleenin ja BeautifulSoupin yhdistäminen: molempien maailmojen parhaat puolet

Hyvin tehokas strategia on käyttää Seleeniä vain siihen, mitä selain todella tarvitsee, ja delegoida raskas jäsentäminen BeautifulSoupille.Tällä tavoin Selenium huolehtii sivun "valmistelusta" (klikkaukset, kirjautumiset, vieritys, suodattimet) ja sitten välität tuloksena olevan HTML-koodin BeautifulSoupille helpompaa poimintaa varten.

Kuvittele esimerkiksi, että haluat kaapata sivun, joka luo 100 Tähtien sota -nimen taulukon, kun painat painiketta.Seleenin avulla voit etsiä radionapin, jonka arvo on 100, napsauttaa sitä, etsiä sitten "Luo!"-painikkeen ja napsauttaa sitä uudelleen täyttääksesi taulukon.

Kun taulukko on DOM:ssa, voit hakea driver.page_source-tiedoston ja syöttää sen BeautifulSoupille.Sieltä etsit tiettyä taulukkoa (indeksin, tunnuksen tai luokan perusteella) ja iteroit solujen läpi. Puhdistat tekstin (poistat välilyönnit, rivinvaihdot ja oudot merkit, kuten u'\xa0′) ja lisäät jokaisen nimen listaan ​​tarkistaen, ettei siinä ole kaksoiskappaleita.

Jos toistat kyseistä sykliä silmukassa, kunnes saavutat esimerkiksi 100 000 nimeä, Selenium hoitaa interaktiivisen osan ja BeautifulSoup hoitaa poiminnan.Tulos voidaan tallentaa Pandas DataFrameen ja viedä CSV-tiedostoon, mikä sopii täydellisesti koneoppimismallin tai muun jatkoanalyysin syöttämiseen.

Samaa ”Seleeniä vuorovaikutukseen, BeautifulSoupia jäsentämiseen” -mallia voidaan soveltaa lukuisiin dynaamisiin sivustoihin.Valitset suodattimia, vaihdat sivuja, vierität ladataksesi lisää tuloksia, ja kun DOM sisältää jo haluamasi tiedot, välität HTML-koodin BeautifulSoupille sen tarkan purkamisen suorittamiseksi.

Laajamittaista kaapimista, oikeita projekteja ja täydentäviä työkaluja

Ammatillisissa yhteyksissä harvoin pysytään pienessä skriptissä: lopulta rakennetaan monimutkaisempia kaapimia, jotka indeksoivat useita sivuja ja tuottavat suuria tietomääriä.Tässä kohtaa työkalut, kuten Scrapy, projektin skaalaamiseen ja organisointiin tulevat myös mukaan kuvaan.

Klassinen esimerkki koulutusprojektista on uutiskaapurin rakentaminen verkkolehdelle, kuten Sivu 12Voit tehdä tämän pyyntöjen ja BeautifulSoupin avulla lataamalla kotisivun, paikantamalla osiot, poimimalla linkit kustakin ja sitten käymällä jokaisessa uutisessa erikseen.

Logiikka jaetaan yleensä useisiin funktioihin: yksi hakee osiot, toinen listaa uutisten URL-osoitteet osiossa ja kolmas poimii kunkin muistiinpanon yksityiskohtaisen sisällön.Jälkimmäinen voi palauttaa sanakirjan, jossa on otsikko, päivämäärä, uutisen leipäteksti, kirjoittaja, kategoria, pääkuva jne.

Tekstin lisäksi on yleistä ladata siihen liittyvää multimediasisältöä, kuten pääkuva.Voit tehdä tämän sinun tarvitsee vain etsiä tagin src-attribuutti. josta olet kiinnostunut, ja käynnistä uusi pyyntö komennolla requests.get tallentaaksesi tiedoston levylle.

Käytännössä, kun samalle sivustolle tehdään useita pyyntöjä, on tärkeää olla kohtelias palvelimelle.Pidä pyyntöjen välissä, noudata robots.txt-tiedostossa olevia indeksointiviiveohjeita ja vältä satojen ketjujen käynnistämistä, jotka voisivat kaataa kohdesivuston.

Scrapy tulee mukaan kuvioihin, kun tarvitset laajamittaista kaapimista.Se tarjoaa täydellisen kehyksen, joka sisältää robottihakurobotit, pyyntöjonot, virheenkäsittelyn, tiedonkäsittely- ja tallennusputket sekä ominaisuudet robots.txt-tiedoston ja käyttöoikeussääntöjen noudattamiseen.

Laillisuus, etiikka ja robots.txt verkkotietojen kaapimisessa

Verkkokaappauksen oikeudelliset näkökohdat eivät ole mustavalkoisia, vaan harmaa alue, jota on käsiteltävä huolellisesti.Se, että jokin on teknisesti saavutettavissa, ei tarkoita, että sillä voi tehdä mitä haluaa.

On neljä peruskysymystä, jotka sinun tulisi aina kysyä itseltäsi ennen sivuston kaappaamistaRikonko paikallisia tai alueellisia lakeja? Rikonko palvelun käyttöehtoja? Käytänkö osioita, joita omistaja ei pidä julkisina? Onko tietojen lopullinen käyttötapa laillinen?

Yksi tärkeä tiedosto, joka kannattaa tarkistaa, on robots.txt.Löydät sen lisäämällä /robots.txt verkkotunnuksen juureen, esimerkiksi: https://www.ejemplo.com/robots.txtSiellä omistaja ilmoittaa, millä reiteillä indeksoijat voivat käydä ja mitä he haluavat pysyä poissa.

Yleisimmät direktiivit ovat Disallow, joka merkitsee ei-toivotut reitit, ja Crawl-delay, joka määrittää pyyntöjen välisen odotusajan sekunneissa.Vaikka robots.txt ei sinänsä ole laki, sen noudattaminen on hyvä käytäntö ja yleensä osoitus sivuston omistajan halukkuudesta.

Ammattieettisestä näkökulmasta on tärkeää, ettei palvelimia ylikuormiteta tai arkaluonteisia tai yksityisiä tietoja kerätä.Jos sinulla on epäilyksiä, on parasta ottaa yhteyttä sivuston ylläpitäjiin tai tarkistaa, tarjoavatko he virallista API:a tai käyttövalmiita tietojoukkoja.

Eikä pidä unohtaa henkilötietojen suojaa koskevia säännöksiä.Jos aiot käsitellä käyttäjätietoja, mielipiteitä, profiileja jne., sinun on oltava selvillä oikeusperustasta ja yksityisyydensuojaan liittyvistä vaikutuksista.

Yleisiä teknisiä haasteita: rakenteelliset muutokset, bottien vastaiset toimenpiteet ja skaalautuvuus

Yksi suurimmista ongelmakohdista tiedon kaappauksessa on se, että verkkosivustot muuttavat rakennettaan ilman ennakkoilmoitusta.CSS-luokan muutos, mallin uudelleensuunnittelu tai uusi tapa ladata sisältöä voi rikkoa kaapijan yhdessä yössä.

Siksi on tärkeää suunnitella koodi niin, että siinä on jonkin verran toleranssia pienille muutoksille.Älä luota liikaa hauraisiin valitsimiin, varmista elementtien olemassaolo ennen niiden käyttöä ja kirjoita funktioita, joita on helppo päivittää, jos jokin hajoaa.

Toinen rintama on monien sivustojen toteuttamat bottien vastaiset toimenpiteetIP-osoitteiden esto, liikennekuvioiden tunnistus, edistyneet JavaScript-haasteet, CAPTCHA-koodit, automaattinen selaimen tunnistus jne.

Näiden esteiden ratkaisemiseksi käytetään tekniikoita, kuten välityspalvelimia (joskus kiertäviä), oikeita selaimia simuloivia otsikoita, satunnaisia ​​odotusaikoja pyyntöjen välillä ja mahdollisimman inhimillisesti käyttäytyviä selaimia ilman päätä.On jopa "tunnistusta estäviä" selaimia ja erikoispalveluita, jotka yrittävät peittää automaatiota.

Esimerkiksi Seleniumin avulla voit muodostaa yhteyden mukautettuihin tai petostenvastaisiin selaimiin etävirheenkorjausosoitteiden avulla.Jotkin palvelut sallivat selaimen käynnistämisen tietyllä sormenjäljellä (käyttäjäagentti, laitteisto, käyttöjärjestelmä) ja muodosta yhteys WebDriveriin debug-portin kautta.

Skaalautuvuus on toinen haaste: datan ja vierailtavien sivujen määrän kasvaessa kaappausta on rinnastettava tai hajautettava.Tämä voi sisältää useiden prosessien käynnistämisen tai jopa robottien sijoittamisen eri palvelimille, aina kohdesivustolle kohdistuvan kuormituksen hallinnassa.

Vaihtoehtoja klassiselle verkkokaavinnalle: API:t ja koodittomat työkalut

Vaikka suora HTML-kaavinta on uskomattoman joustavaa, se ei ole aina paras tai ainoa vaihtoehto.Monissa tapauksissa kannattaa tutkia vaihtoehtoja.

Ensimmäinen vaihtoehto on viralliset API:tJotkut sivustot tarjoavat hyvin dokumentoituja päätepisteitä, jotka palauttavat dataa JSON- tai XML-muodossa jäsennellyllä ja vakaalla tavalla. Niillä on yleensä käyttörajoituksia, mutta vastineeksi ne ovat paljon vankempia ja juridisesti selkeämpiä kuin HTML:n suoraan kaaviminen.

Toinen vaihtoehto on hankkia tai käyttää uudelleen valmiiksi valmisteltuja tietojoukkojaSaatavilla on sekä ilmaisia ​​että maksullisia vaihtoehtoja. Jos tarvitset historiallista dataa ja joku on jo koonnut sen kohtuullisella laadulla, ei ehkä ole järkevää keksiä pyörää uudelleen rakentamalla omaa kaavinta.

Niille, jotka eivät halua tai osaa ohjelmoida, on olemassa koodin kaavintatyökaluja, kuten Octoparse.Ne tarjoavat visuaalisen käyttöliittymän, jonka avulla voit valita poimittavat elementit, ajoittaa säännöllisiä suorituksia pilvessä ja viedä tulokset CSV-, Excel- tai JSON-muotoon ilman riviäkään koodia.

Octoparse on usein hyvä valinta, kun tarvitset nopeutta ja sinulla ei ole teknistä asiantuntemusta.Sen avulla voit kaapia staattisia ja dynaamisia sivustoja integroitujen selainten avulla ja helpottaa tehtävien automatisointia ja suunnittelua ilman, että sinun tarvitsee kamppailla Seleniumin tai BeautifulSoupin kanssa.

Valinta BeautifulSoupin ja Octoparsen kaltaisen työkalun välillä riippuu pitkälti profiilistasi ja tarpeistasi.Jos etsit tarkkaa hallintaa, täydellistä vapautta ja ilmaisia ​​ratkaisuja, Pythonilla ohjelmointi on looginen polku; jos taas yksinkertaisuus ja alhainen oppimiskäyrä ovat etusijalla, kooditon ympäristö saattaa olla mukavampi.

Hyvät kehityskäytännöt: ympäristöt, virheet ja koodin organisointi

Kun alat tottua verkkotietojen kaappaukseen, on helppo langeta kaoottisiin skripteihin; siksi on suositeltavaa soveltaa vähintäänkin kehityskuria.Virtuaaliympäristöjen luominen, koodin jakaminen moduuleihin ja kunkin osan toiminnan dokumentointi säästää sinulta päänsärkyä.

Ammattimaisissa projekteissa on yleistä käytäntöä luoda projektille kansio, perustaa virtuaaliympäristö venv- tai pipenv-komennolla ja asentaa vain tarvittavat riippuvuudet.: requests, beautifulsoup4, selenium, pandas, jupyter, jos aiot tehdä kokeita muistikirjoilla jne.

Jupyterissa tai vastaavassa työskentely voi auttaa prototyyppien kehittämisessä ja debugaamisessa.Mutta kun kaavin on vakaa, on järkevää pakata logiikka uudelleenkäytettäviksi skripteiksi tai moduuleiksi, joissa on selkeät funktiot jokaiselle tehtävälle: lataa, jäsentää, käsitellä, tallentaa.

Virheiden käsittely try-except-funktiolla on olennaista scraping-funktion kanssa.Kaikki sivut eivät reagoi oikein; joskus on aikakatkaisuja, joskus HTML-luokat muuttuvat ja joskus kenttä on tyhjä. Sen sijaan, että ohjelma kaatuisi, se nappaa poikkeukset, tallentaa epäonnistuneen URL-osoitteen ja jatkaa lopuilla.

Lopuksi on hyvä idea kapseloida poimintalogiikka funktioihin, jotka palauttavat homogeenisia rakenteita, kuten sanakirjoja tai datakehyksiä.Tämä helpottaa tulosten tallentamista tietokannatCSV- tai JSON-tiedostoihin tai jopa integroida ne monimutkaisempiin data-analyysiputkiin ja Inteligencia keinotekoinen.

Lyhyesti sanottuna staattisen kaapimisen yhdistäminen BeautifulSoupin kanssa ja dynaamisen kaapimisen Seleniumin kanssa antaa sinun käsitellä käytännössä mitä tahansa verkkotietojen poimintaskenaariota yksinkertaisesta Wikipedia-taulukosta portaaliin, jossa on kirjautuminen, raskas JavaScript ja upotetut iframe-kehykset.Kiinnittämällä hieman huomiota oikeudellisiin ja eettisiin näkökohtiin, käyttämällä hyvää koodiarkkitehtuuria ja aputyökaluja, kuten pyyntöjä, pandoja tai jopa koodittomia alustoja, voit muuntaa kaoottisen HTML-vuorten määrän strukturoiduksi tiedoksi, joka on valmis päätöksentekoon, koulutusmalleihin tai seuraavien dataprojektien syöttämiseen.