Struganje web podataka pomoću BeautifulSoup-a i Seleniuma

Da danas morate ručno sastavljati cijene, recenzije ili kompletirati popise proizvoda s interneta, vjerovatno biste se frustrirali . Kopiranje i lijepljenje reda po red nije samo nevjerovatno zamorno, već je i plodno tlo za ljudske greške. Srećom, imamo alate poput Pythona , BeautifulSoup-a i Seleniuma koji nam omogućavaju da automatiziramo cijeli ovaj proces na kontroliran i ponovljiv način.

U ovom članku ćemo detaljno, ali pristupačno i praktično pogledati kako kombinirati statičko struganje s BeautifulSoup-om i dinamičko struganje s Selenium-om . Vidjet ćete kada koristiti svaki pristup, kako se međusobno nadopunjuju, s kojim tipičnim problemima ćete se susresti (iframe-ovi, JavaScript, CAPTCHA-e, strukturne promjene itd.), a dotaknućemo se i ključnih tema kao što su zakonitost, etika, robots.txt datoteke i alternative poput API-ja ili alata bez koda.

Šta je tačno web scraping i kada ga je korisno koristiti?

Web scraping je proces automatskog izdvajanja informacija sa web stranica dizajniranih za ljude , transformirajući taj HTML sadržaj (a ponekad i onaj generiran JavaScriptom) u strukturirane podatke koje možete koristiti: tabele, JSON, CSV, prijenos u bazu podataka itd.

Ideja je da program radi ono što bi korisnik radio ispred preglednika : posjećuje URL-ove, prati linkove, locira određene dijelove stranice (naslove, cijene, komentare, slike, dugmad), izdvaja sadržaj i sprema ga za kasniju analizu.

Najčešći slučajevi upotrebe za prikupljanje podataka s weba su vrlo raznoliki : od poređenja cijena proizvoda na različitim e-trgovina stranicama, do praćenja konkurencije, prikupljanja recenzija ili komentara, praćenja spominjanja brendova, generiranja potencijalnih klijenata iz javnih oglasa ili kreiranja skupova podataka za projekte mašinskog učenja.

Međutim, scraping bi uvijek trebao biti vaša posljednja opcija kada nemate službeni API ili neki drugi strukturirani način pristupa podacima . To je osjetljivo (stranice se mijenjaju), može biti u sukobu s pravilima korištenja web-mjesta, a ako trebate pregledati mnogo nepotrebnih podataka da biste došli do onoga što vas zanima, to može biti sporo ili zahtijevati puno resursa.

Prije nego što napišete i jednu liniju koda za scraping, preporučljivo je da sebi postavite nekoliko ključnih pitanja : Postoji li službeni API? Kršim li uvjete i odredbe stranice? Pridržavam li se lokalnih zakona o zaštiti podataka i korištenju informacija? Je li korištenje tih podataka legalno i etično?

Kako funkcioniše "pravi" web: HTML, CSS, JavaScript, iframeovi i DOM

Na papiru, web stranica je prilično jednostavna: HTML za strukturu, CSS za izgled i JavaScript da je oživi . Ali kada počnete istraživati ​​prave web stranice, otkrit ćete da HTML može biti noćna mora, CSS irelevantan za vaše podatke, a JavaScript crna kutija koja manipulira sadržajem po volji.

Kada pritisnete Enter u vašem pregledniku, on šalje HTTP zahtjev serveru, prima odgovor i prikazuje ga u formatiranom obliku . Ako kliknete na "Prikaži izvorni kod stranice", vidjet ćete HTML tačno onako kako je došao sa servera, prije nego što JavaScript modificira DOM.

DOM (Document Object Model) je živa reprezentacija stranice unutar preglednika . JavaScript može dodavati, uklanjati ili mijenjati DOM čvorove nakon što je početni HTML preuzet. Stoga se sadržaj koji zapravo vidite na ekranu ponekad ne pojavljuje u izvornom kodu.

Tipičan primjer su sistemi za komentiranje poput Disqusa ili ugrađeni elementi trećih strana, koji se ubacuju putem iframeova . Moguće je da prilikom pregleda originalnog HTML-a nećete pronaći tragove iframea, jer se dinamički ubrizgava pomoću JavaScripta nakon što se stranica učita.

Ova razlika između "pregleda izvornog koda" i konačnog DOM-a označava granicu između statičkog i dinamičkog struganja : u prvom vidite samo HTML koji dolazi sa servera; u drugom vam je potreban preglednik (pravi ili bez headlessa) koji izvršava JavaScript i omogućava vam pristup rezultirajućem DOM-u.

Statičko skrapingovanje pomoću Pythona, Requestsa i BeautifulSoup-a

Kad god se sadržaj koji vam je potreban nalazi u HTML-u "kakav jeste" koji dolazi sa servera, najjednostavnija, najbrža i najrobustnija metoda je statičko struganje . U Pythonu se to obično radi kombinovanjem biblioteke requests (za pravljenje HTTP zahtjeva) sa BeautifulSoup-om (za parsiranje i navigaciju HTML-om).

Requests vam omogućava da uputite jednostavan poziv kao što je r = requests.get(url) i, iz objekta odgovora, provjerite da li je zahtjev bio uspješan sa r.ok ili pregledajte HTTP statusni kod i primljeni sadržaj. Prilikom rada sa tekstom, obično je dobra ideja dekodirati u UTF-8.

BeautifulSoup uzima HTML koji ste preuzeli i pretvara ga u stablo Python objekata koje možete pretraživati ​​​​u potrazi za oznakama, atributima, tekstom, ugniježđenim elementima i još mnogo toga. Jednostavno kreirajte nešto poput ` soup = BeautifulSoup(response.text, 'html.parser')` da biste započeli eksperimentiranje.

Odatle možete locirati gotovo bilo koji element koristeći metode poput find, find_all ili select . Na primjer, pronalaženje svih linkova na stranici bilo bi jednostavno kao dohvaćanje svih <a> oznaka i čitanje njihovog atributa href.

Vrlo tipičan obrazac je iteracija kroz ponavljajuće liste, kao što su članci, proizvodi ili objave na blogu . Zamislite stranicu na kojoj se svaki tutorijal nalazi unutar oznake <article> : mogli biste pretraživati ​​sve te oznake, ući u svaku od njih, pronaći link, naslov, datum itd. i generirati listu rječnika ili Pandas DataFrame.

BeautifulSoup je također vrlo koristan za izdvajanje podataka iz HTML tabela, kao što su one na Wikipediji . Uobičajena tehnika je lociranje oznake `<table> ` koja vas zanima i korištenje `pandas.read_html` za njeno direktno pretvaranje u DataFrame, koji zatim možete izvesti u CSV ili obraditi za statističku analizu ili modele mašinskog učenja.

U ozbiljnijim projektima, uobičajena praksa je da se logika struganja sadržaja umota u funkcije : jedna preuzima i parsira stranicu, druga izdvaja relevantne linkove i treća koja, iz detaljnog URL-a, vraća rječnik sa svim poljima od interesa spremnim za spremanje u bazu podataka.

Ne zaboravite obraditi greške pomoću try-except blokova . Ako zahtjev ne uspije ili se HTML struktura promijeni, izbacivanje neobrađenog izuzetka može srušiti cijeli proces. Obrada izuzetaka vam omogućava da preskočite problematične stranice, zabilježite greške i krenete dalje.

Dinamičko struganje: kada BeautifulSoup više nije dovoljan

Statičko scrapingovanje nije dovoljno kada se željeni sadržaj generira pomoću JavaScripta : meniji koji učitavaju podatke klikom, ugrađeni komentari, paginirane liste koje se ažuriraju bez ponovnog učitavanja stranice, polja koja se pojavljuju tek nakon prijave itd.

U ovim slučajevima, čak i ako koristite `requests.get(url)`, HTML koji primate ne sadrži konačne informacije . Vidite samo predloške, minificirane skripte, nepotpune isječke oznaka i malo toga drugog. JavaScript ubacuje nedostajuće elemente nakon što se stranica izvrši u pregledniku.

Dinamičko scraping uvodi pravi ili "headless" preglednik koji zapravo izvršava JavaScript i gradi konačni DOM . Vaš skript ne samo da preuzima stranicu, već je i "navigira": klika na dugmad, popunjava obrasce, mijenja kartice, čeka da se elementi učitaju, a zatim izdvaja podatke.

Vodeći alat u ovoj oblasti je Selenium WebDriver . Prvobitno je dizajniran za automatizirano testiranje web aplikacija, ali njegova sposobnost kontrole preglednika čini ga odličnim saveznikom za struganje složenih i dinamičkih web stranica.

Pomoću Seleniuma kontrolišete preglednik kao da ste pravi korisnik : možete otvoriti URL, locirati elemente po ID-u, klasi, CSS selektoru ili XPath-u, kliknuti, poslati tekst (za prijave, obrasce, pretraživače), prebacivati ​​između iframeova, upravljati prozorima ili karticama i, na kraju, pročitati DOM koji vraća driver.page_source ili direktno izdvojiti tekst iz elemenata.

Instalirajte i konfigurirajte Selenium, drajvere i preglednike

Za rad sa Seleniumom potrebne su vam dvije stvari: Python biblioteka i drajver preglednika koji želite automatizirati . Možete koristiti Chrome, Firefox ili druge preglednike, ali Chrome i Firefox su obično najsigurnija opcija.

Osnovna instalacija u Pythonu je jednostavna kao pokretanje naredbe `pip install selenium` . Odatle trebate preuzeti odgovarajući drajver (na primjer, `geckodriver` za Firefox ili `chromedriver` za Chrome), postaviti ga na dostupnu lokaciju i dodati tu lokaciju u PATH vašeg sistema ako želite izbjeći navođenje apsolutne putanje u vašem skriptu.

Na primjer, u Windowsu biste .exe datoteku upravljačkog programa smjestili u mapu po vašem izboru i dodali tu mapu u varijablu okruženja PATH . Proces je sličan u Linuxu ili macOS-u, ali se način na koji konfigurirate varijable okruženja razlikuje.

Danas je u mnogim slučajevima dovoljno navesti putanju drajvera prilikom kreiranja objekta WebDriver , na primjer s Chromeom: konfiguriranje ChromeService-a s putanjom do chromedriver-a i prosljeđivanje te usluge webdriver.Chrome -u zajedno s opcijama preglednika.

Možete koristiti preglednike s vidljivim interfejsom ili u headless modu . Headless mod štedi resurse i idealan je za automatizaciju na strani servera, ali je preporučljivo prvo testirati u vidljivom modu kako biste otklonili probleme s interakcijom sa stranicom.

Pravo dinamičko struganje: prijava, iframeova i elemenata generiranih pomoću JS-a

Nakon što je vaš WebDriver inicijaliziran, možete započeti automatizaciju scenarija koji bi bili mučni s BeautifulSoup-om . Na primjer, prijava na stranicu koja zahtijeva korisničko ime i lozinku prije prikaza potrebnih informacija.

Tipičan tijek rada sa Seleniumom za stranicu zaštićenu prijavom je: otvorite URL, pronađite polja za korisničko ime i lozinku, unesite vjerodajnice, kliknite na dugme za prijavu i sačekajte da se učita privatni sadržaj . Odatle možete izdvojiti podatke kao što biste to učinili na bilo kojoj drugoj stranici.

Još jedan snažan primjer je brojanje komentara s platforme poput Disqusa ugrađenih u stranicu tutorijala . Često se ovi komentari nalaze unutar iframe-a koji se čak ni ne pojavljuje u početnom HTML-u: generiran je JavaScriptom i umetnut s ID-om poput disqus_thread.

Sa Seleniumom možete locirati taj kontejner, promijeniti kontekst u odgovarajući iframe, pričekati da se učitaju elementi poput brojača komentara i pročitati vrijednost . Bez Seleniuma, koristeći samo zahtjeve i BeautifulSoup, ne možete mnogo učiniti u ovom slučaju.

Iframe-ovi i zakašnjeli sadržaj znače da jednostavno zahtijevanje `page_source` odmah nakon učitavanja stranice nije dovoljno . Često je potrebno koristiti eksplicitna čekanja (čekanje vidljivog `oa` elementa) prije preuzimanja podataka kako bi se izbjeglo zaglavljivanje usred procesa.

Što se tiče pomoćnih alata, pored preglednika koji kontrolira Selenium, možete koristiti DevTools za pregled DOM-a i lociranje CSS klasa, ID-ova ili selektora koji su vam potrebni . Ovo je ključno za pronalaženje ponavljajućih obrazaca (redova tabela, kartica proizvoda, blokova komentara) kroz koje ćete zatim prolaziti.

Kombinacija Seleniuma i BeautifulSoup-a: najbolje iz oba svijeta

Vrlo moćna strategija je koristiti Selenium samo za ono što pregledniku zapravo treba, a teški parsiranje prepustiti BeautifulSoupu . Na taj način, Selenium se brine o "pripremi" stranice (klikovi, prijave, skrolovanje, filteri), a zatim prosljeđujete rezultirajući HTML BeautifulSoupu radi lakšeg izdvajanja.

Na primjer, zamislite da želite da prikupite sadržaj sa stranice koja generiše tabelu sa 100 imena iz Ratova zvijezda kada pritisnete dugme . Pomoću Seleniuma možete pronaći radio dugme sa vrijednošću 100, kliknuti na njega, zatim pronaći dugme "Generiraj!" i ponovo kliknuti na njega da biste popunili tabelu.

Nakon što se tabela nalazi u DOM-u, možete preuzeti `driver.page_source` i proslijediti ga BeautifulSoup-u . Odatle tražite određenu tabelu (po indeksu, ID-u ili klasi), iterirate kroz ćelije `<td>` , čistite tekst (uklanjajući razmake, prijelome redova i posebne znakove poput `u'\xa0'') i dodajete svako ime na listu, provjeravajući duplikate.

Ako ponavljate ovaj ciklus u petlji dok ne dostignete, na primjer, 100.000 imena, Selenium će se pobrinuti za interaktivni dio, a BeautifulSoup za ekstrakciju . Rezultat zatim možete izvesti u Pandas DataFrame kao CSV datoteku, što je idealno za model mašinskog učenja ili bilo koju naknadnu analizu.

Isti obrazac „Selenium za interakciju, BeautifulSoup za parsiranje“ može se primijeniti na mnoštvo dinamičkih web stranica : odabirete filtere, mijenjate stranice, skrolate da biste učitali više rezultata, a kada DOM već sadrži ono što vas zanima, prosljeđujete HTML BeautifulSoupu da ga precizno izdvoji.

Skraping velikih razmjera, stvarni projekti i komplementarni alati

U profesionalnom kontekstu, rijetko se držite malog skripta: na kraju gradite složenije scrapere koji indeksiraju mnogo stranica i generiraju velike količine podataka . Tu dolaze do izražaja alati poput Scrapyja za skaliranje i organiziranje projekta.

Klasičan primjer obrazovnog projekta je izrada alata za prikupljanje vijesti za online novine poput Página 12. Da biste to učinili, možete koristiti zahtjeve i BeautifulSoup za preuzimanje početne stranice, lociranje odjeljaka, izdvajanje linkova iz svakog od njih, a zatim zasebno posjetiti svaki članak vijesti.

Logika je obično podijeljena u nekoliko funkcija: jedna za dobijanje sekcija, druga za listanje URL-ova novinskih članaka u sekciji i treća za izdvajanje detaljnog sadržaja svakog članka . Ova posljednja funkcija može vratiti rječnik s naslovom, datumom, tijelom članka, autorom, kategorijom, glavnom slikom itd.

Pored teksta, uobičajeno je preuzeti i povezani multimedijalni sadržaj, kao što je glavna slika . Da biste to učinili, jednostavno pronađite atribut `src` oznake `<img>` koja vas zanima i pošaljite još jedan zahtjev koristeći `requests.get` da biste sačuvali datoteku na disk.

U praksi, prilikom slanja mnogo zahtjeva istoj web stranici, bitno je biti pristojan prema serveru : rasporediti zahtjeve, poštovati sve upute o kašnjenju indeksiranja u robots.txt datoteci i izbjegavati pokretanje stotina niti koje bi mogle srušiti ciljnu web stranicu.

Scrapy dolazi do izražaja kada vam je potrebno veliko scrapingovanje : pruža kompletan okvir sa paucima, redovima zahtjeva, rukovanjem greškama, cjevovodima za obradu i pohranjivanje podataka i mogućnostima za poštivanje robots.txt i pravila pristupa.

Legalnost, etika i robots.txt u prikupljanju podataka s weba

Pravni aspekti web scrapinga nisu crno-bijeli, već siva zona s kojom se mora pažljivo postupati . Samo zato što je nešto tehnički dostupno ne znači da s tim možete raditi šta god želite.

Postoje četiri osnovna pitanja koja biste uvijek trebali sebi postaviti prije nego što skidate sadržaj sa stranice : Kršim li neke lokalne ili regionalne zakone? Kršim li uvjete i odredbe korištenja usluge? Pristupam li dijelovima koje vlasnik ne smatra javnim? Je li konačna upotreba podataka koju ću imati legitimna?

Ključna datoteka koju vrijedi pregledati je robots.txt . Pronaći ćete je dodavanjem /robots.txt u korijen vaše domene, na primjer: https://www.example.com/robots.txt . Tamo vlasnik određuje koje rute roboti za indeksiranje mogu posjećivati, a koje žele spriječiti.

Najčešće direktive su Disallow, koja označava neželjene putanje, i Crawl-delay, koja određuje broj sekundi čekanja između zahtjeva . Iako robots.txt sam po sebi nije zakon, njegovo poštivanje je dobra praksa i obično je pokazatelj namjere vlasnika web-stranice.

Sa stanovišta profesionalne etike, važno je ne preopteretiti servere ili ne izdvajati osjetljive ili privatne informacije . Ako imate bilo kakvih nedoumica, najbolje je da kontaktirate administratore stranice ili provjerite da li nude službeni API ili skupove podataka spremne za upotrebu.

Ne smijemo zaboraviti ni propise o zaštiti ličnih podataka . Ako ćete obrađivati ​​korisničke podatke, mišljenja, profile itd., morate biti jasni u vezi s pravnom osnovom i implikacijama na privatnost.

Uobičajeni tehnički izazovi: strukturne promjene, anti-botovi i skalabilnost

Jedna od najvećih glavobolja kod web scrapinga je to što web stranice mijenjaju svoju strukturu bez upozorenja . Promjena CSS klase, redizajn predloška ili novi način učitavanja sadržaja mogu preko noći uništiti vaš scraper.

Zato je važno dizajnirati kod s određenom tolerancijom za manje promjene : nemojte se previše oslanjati na krhke selektore, provjerite postoje li elementi prije nego što ih upotrijebite i pišite funkcije koje je lako ažurirati kada nešto pokvari.

Drugi front su mjere protiv botova koje implementiraju mnoge stranice : blokiranje IP adresa, otkrivanje obrazaca prometa, napredni JavaScript izazovi, CAPTCHA testovi, automatsko otkrivanje preglednika itd.

Da bi se prevazišle ove barijere, koriste se tehnike kao što su upotreba proxyja (ponekad rotirajućih), zaglavlja koja simuliraju stvarne preglednike, nasumični periodi čekanja između zahtjeva i preglednici bez zaglavlja koji se ponašaju što je moguće ljudskije . Postoje čak i preglednici "protiv detekcije" i specijalizirane usluge koje pokušavaju kamuflirati automatizaciju.

Na primjer, pomoću Seleniuma možete se povezati s prilagođenim ili anti-fraud preglednicima koristeći udaljene debug adrese . Neke usluge vam omogućavaju pokretanje preglednika s određenim otiskom prsta (korisnički agent, hardver , operativni sistem) i povezivanje s WebDriverom putem debug porta.

Skalabilnost je još jedan izazov: kako količina podataka i stranica koje treba posjetiti raste, potrebno je paralelizovati ili distribuirati streganje . To može uključivati ​​pokretanje više procesa ili čak postavljanje paukova na različite servere, uvijek kontrolirajući opterećenje koje stavljate na ciljnu stranicu.

Alternative klasičnom web scrapingu: API-ji i alati bez koda

Iako je direktno skidanje HTML-a nevjerovatno fleksibilno, nije uvijek najbolja ili jedina opcija . U mnogim slučajevima, vrijedi istražiti alternative.

Prva alternativa su službeni API-ji . Neke stranice pružaju dobro dokumentirane krajnje tačke koje vraćaju podatke u JSON-u ili XML-u na strukturiran i stabilan način. Obično imaju ograničenja korištenja, ali zauzvrat su mnogo robusniji i pravno jasniji od direktnog scrapinga HTML-a.

Druga opcija je nabavka ili ponovna upotreba unaprijed pripremljenih skupova podataka , bilo besplatnih ili plaćenih. Ako su vam potrebni historijski podaci, a neko ih je već sastavio s razumnom kvalitetom, možda nema smisla ponovo izmišljati točak izgradnjom vlastitog scrapera.

Za one koji ne žele ili ne mogu programirati, postoje alati za scraping bez koda poput Octoparse-a . Oni nude vizualni interfejs za odabir elemenata koje želite izdvojiti, zakazivanje periodičnih izvršavanja u oblaku i izvoz rezultata u CSV, Excel ili JSON bez pisanja ijedne linije koda.

Octoparse je često dobar izbor kada vam je potrebna brzina, a nedostaje vam tehničkog iskustva : omogućava vam da skenirate statičke i dinamičke web stranice pomoću integriranih preglednika, te olakšava automatizaciju i planiranje zadataka bez potrebe za mučenjem sa Seleniumom ili BeautifulSoupom.

Izbor između BeautifulSoupa i alata poput Octoparsea uveliko zavisi od vašeg profila i potreba : ako tražite finu kontrolu, potpunu slobodu i besplatna rješenja, programiranje s Pythonom je logičan put; ako dajete prioritet jednostavnosti i niskoj krivulji učenja, okruženje bez koda bi moglo biti ugodnije.

Dobre razvojne prakse: okruženja, greške i organizacija koda

Kada počnete s web scrapingom, lako je upasti u haotične skripte; zato je dobra ideja primijeniti minimalnu razvojnu disciplinu . Kreiranje virtualnih okruženja, odvajanje koda u module i dokumentiranje onoga što svaki dio radi uštedjet će vam glavobolje.

U profesionalnim projektima uobičajeno je kreirati mapu za projekat, postaviti virtualno okruženje s venv ili pipenv i instalirati samo potrebne zavisnosti : requests, beautifulsoup4, selenium, pandas, jupyter ako ćete eksperimentirati na prijenosnim računalima itd.

Rad prvo u Jupyteru ili sličnom programu može vam pomoći u izradi prototipa i otklanjanju grešaka , ali kada scraper postane stabilan, ima smisla pakirati logiku u skripte ili module za višekratnu upotrebu, s jasnim funkcijama za svaki zadatak: preuzimanje, parsiranje, obrada, spremanje.

Obrada grešaka pomoću try-except blokova je fundamentalna u web scrapingu . Ne odgovaraju sve stranice ispravno; ponekad postoje timeouti, ponekad se HTML klase mijenjaju, a ponekad je polje prazno. Umjesto da dozvoli da se program sruši, on hvata izuzetke, bilježi koji URL nije uspio i nastavlja s ostatkom.

Konačno, dobra je ideja enkapsulirati logiku ekstrakcije u funkcije koje vraćaju homogene strukture kao što su rječnici ili okviri podataka . To olakšava spremanje rezultata u baze podataka , CSV ili JSON datoteke, ili čak njihovu integraciju u složenije analize podataka i cjevovode umjetne inteligencije.

Ukratko, kombinovanje statičkog scrapinga sa BeautifulSoup-om i dinamičkog scrapinga sa Selenium-om omogućava vam da se uhvatite u koštac sa praktično bilo kojim scenarijem ekstrakcije web podataka, od jednostavne Wikipedia tabele do portala sa prijavama, teškim JavaScript-om i ugrađenim iframe-ovima . Uz pažljivu pažnju na pravna i etička razmatranja, dobru arhitekturu koda i pomoćne alate poput zahtjeva, pandi ili čak platformi bez koda, možete transformisati planine haotičnog HTML-a u strukturirane informacije spremne za donošenje odluka, modele za obuku ili hranjenje vaših sljedećih projekata sa podacima.