Kompletný návod na príkaz wget v Linuxe: praktický sprievodca

Ak používate Linux denne, skôr či neskôr ho budete potrebovať sťahovať súbory z terminál rýchlo a flexibilneA tu prichádza na rad wget, malý klenot z projektu GNU, ktorý potichu robí špinavú prácu už desaťročia.

S niekoľkými možnosťami vám wget umožňuje Stiahnite si jeden súbor, stovky súborov, celé webové stránky, obsah cez FTPObmedzte šírku pásma, obnovte prerušené sťahovanie, automatizujte úlohy pomocou cronu a oveľa viac. Všetko bez okien alebo sprievodcov: len vy, konzola a jeden veľmi výkonný príkaz.

Čo presne je príkaz wget v Linuxe?

Príkaz wget spustí program príkazového riadka wget z projektu GNUUrčené na sťahovanie obsahu zo siete pomocou rôznych protokolov. Jeho názov pochádza zo spojenia „World Wide Web“ + „get“, čo znamená „získať z webu“.

Tento nástroj je vyvinutý v C prenosný a distribuovaný ako slobodný softvértakže funguje bez problémov prakticky na akomkoľvek type systému unixDistribúcie GNU/Linux, BSD a macOS s použitím dodatočných nástrojov a dokonca aj v Windows prostredníctvom prostredí ako Cygwin alebo vstavanej konzoly Ubuntu Bash.

S wgetom môžete Načítanie súborov cez HTTP, HTTPS a FTPa dokonca ho použiť s autentifikáciou, keď server vyžaduje používateľské meno a heslo, a to pre HTTP aj FTP. Okrem toho rozumie presmerovaniam, certifikátom TLS a typickým odpovediam webového servera.

Jednou z jeho najväčších výhod je, že súbory na stiahnutie sú neinteraktívnewget nevyžaduje otvorenú reláciu na počítači. Môžete ho spustiť z scenár, nechajte cron úlohu bežať na vzdialenom serveri alebo ju použite na pozadí bez obáv o reláciu SSH Vypína sa to.

Vo väčšine populárnych distribúcií, ako napr. Štandardne je nainštalovaný wget pre Debian, Ubuntu alebo Linux MintV iných stačí stiahnuť príslušného správcu balíkov a budete ho mať spustený do minúty.

Ako nainštalovať wget na Linux a iné systémy

V typickom prostredí Linuxu stačí jednoduchý príkaz Nainštalujte alebo skontrolujte, či je k dispozícii wgetNapríklad v Ubuntu alebo Debiane môžete urobiť niečo také jednoduché ako:

Rýchla inštalácia: sudo apt-get install wget

Po dokončení inštalácie budete mať binárny súbor. wget ready vo vašej ceste PATHMôžete si to overiť pomocou:

Skontrolujte verziu: wget --version

V iných distribúciách sa správca balíkov zmení, ale myšlienka je rovnaká: yum, dnf, pacman alebo zypper Umožňujú vám nainštalovať wget z oficiálnych repozitárov jediným príkazom.

V systéme macOS systém štandardne neobsahuje wget, ale môžete ho použiť. Homebrew na inštaláciu konzolového nástrojaKeď máte nakonfigurované varenie, jednoducho:

Homebrew: brew install wget

V tradičnom ekosystéme Windows nie je takýto priamy prístup k wgetu z príkazový riadok klasické, hoci Cygwin a konzola Ubuntu Bash vo Windowse 10/11 Zahŕňajú wget a ďalšie GNU nástroje. Ak pracujete s linuxovou vrstvou systému Windows, budete ju používať prakticky rovnako ako v akejkoľvek inej distribúcii.

Základná syntax a najdôležitejšie možnosti wgetu

Celková štruktúra príkazu je veľmi jednoduchá: wget, za ktorým nasledujú možnosti a jedna alebo viac URL adriesKanonický tvar by vyzeral nejako takto:

formát: wget [opciones] URL1 URL2 URL3 ...

Ak nepridáte nič iné, wget stiahne súbor zadaný URL adresou a... Automaticky sa uloží do aktuálneho pracovného adresára. s použitím rovnakého názvu, aký má na vzdialenom serveri.

Skutočná sila príkazu pramení z obrovského množstva dostupných možností. Medzi najčastejšie používané v každodennom živote patria:

• -co – pokračovať: obnoví prerušené sťahovanie bez toho, aby sa začalo odznova.
• -N: súbor stiahnite iba v prípade, že vzdialená kópia je novšia ako tá, ktorú už máte na disku.
• -t [číslo]: označuje, koľko pokusov by mal wget vykonať pri sťahovaní súboru, kým sa vzdá.
• -w [sekundy]: označuje čakaciu dobu medzi po sebe idúcimi sťahovaniami, aby sa predišlo preťaženiu servera.
• -r: aktivuje rekurzívny režim pre sledovanie odkazov alebo prechádzanie adresármi.
• -P [trasa]Vyberte adresár, kam chcete uložiť stiahnuté súbory.
• –limit-rýchlosť=[rýchlosť]: obmedzuje šírku pásma spotrebovanú programom wget (napríklad 200k).

Tieto možnosti je možné kombinovať, aby prispôsobte správanie wgetu presne tomu, čo potrebujeteod jednoduchého jednorazového stiahnutia až po plnohodnotné prehľadávače webových stránok alebo pravidelné úlohy zálohovania.

Základné príklady: sťahovanie jedného alebo viacerých súborov

Najzákladnejšie použitie wgetu pozostáva z stiahnite si jeden súbor do priečinka, v ktorom sa nachádzateNapríklad, ak chcete stiahnuť ISO obraz distribúcie Ubuntu, môžete spustiť niečo ako:

Rýchly príklad: wget http://releases.ubuntu.com/14.04/ubuntu-14.04-desktop-amd64.iso

Počas sťahovania uvidíte na obrazovke percento dokončenia, celková veľkosť, rýchlosť a čas zamestnanecZahŕňa to rozlíšenie DNS a pripojenie k serveru. Po dokončení budete mať súbor vo vašom aktuálnom adresári s rovnakým názvom ako v odkaze.

Ak namiesto súboru chcete Stiahnite viacero súborov naraz zadaním všetkých URL adries v jednom príkazeStačí spojiť odkazy oddelené medzerami, dokonca aj kombináciou protokolov HTTP a FTP:

Viacero súborov: wget http://ejemplo.com/programa.tar.gz ftp://otrositio.com/descargas/video.mpg

Okrem toho wget rozumie určité vzory rozšírenia v URL adreseNapríklad, ak máte na serveri kolekciu obrázkov očíslovaných od 1 do 50, môžete urobiť nasledovné:

Vzor expanzie: wget http://example.com/images/{1..50}.jpg

Ďalším veľmi praktickým spôsobom, ako spravovať viacero sťahovaní, je Pripravte textový súbor s URL adresou na každom riadku a potom povedzte wget, aby si prečítal tento zoznam. Napríklad:

Vytvoriť zoznam: nano archivos.txt

vnútri súbor files.txt napíšete niečo ako:

http://ejemplo.com/programa.tar.gz
http://ejemplo.com/rpm/paquete.rpm
ftp://otrositio.com/descargas/distro.iso

Potom už len stačí spustiť:

Stiahnuť zo zoznamu: wget -i archivos.txt

S možnosťou -iwget prečíta textový súbor a stiahne každú z uvedených adries, čo je ideálne na to, aby ste nechali počítač bežať na pozadí, zatiaľ čo robíte niečo iné.

Zmena názvu priečinka a obmedzenie rýchlosti sťahovania

Ak nemáte záujem o zachovanie pôvodného názvu vzdialeného súboru, môžete použiť možnosť -Alebo premenovať výsledokNapríklad, ak chcete uložiť predchádzajúci ISO súbor s kratším názvom:

Premenovať: wget -O ubuntu_amd64.iso http://releases.ubuntu.com/14.04/ubuntu-14.04-desktop-amd64.iso

Tento istý trik je veľmi užitočný, keď vždy chcete stiahnuť niečo s pevným názvom prepísať ho v skriptoch, ako napríklad zálohovanie denník.

Ak chcete ovládať cieľový adresár, kde sa ukladajú stiahnuté súboryMôžete použiť parameter -P, za ktorým nasleduje cesta:

Cieľový adresár: wget -P documentos/isos/ http://releases.ubuntu.com/14.04/ubuntu-14.04-desktop-amd64.iso

Týmto spôsobom sa súbor dostane do dokumenty/isos/ namiesto aktuálneho adresáračo je skvelé na usporiadanie sťahovaných súborov bez nutnosti vykonávať ďalšie kroky.

Ďalším kľúčovým aspektom je spotreba šírky pásma. Wget to umožňuje Obmedzte rýchlosť, aby ste predišli monopolizácii celého pripojenia.Toto je obzvlášť dôležité na serveroch alebo zdieľaných pripojeniach. Napríklad, ak chcete nastaviť maximálnu rýchlosť 500 KB/s:

Obmedzenie rýchlosti: wget --limit-rate=500k https://wordpress.org/latest.zip

Môžete tiež zadať hodnotu, ako napríklad 50 000, 2 milióny atď., prispôsobenie sadzby vašim potrebámTakto môžete pokračovať v prehliadaní alebo používaní iných služieb, zatiaľ čo sa na pozadí sťahujú veľké súbory.

Obnoviť sťahovanie, kontrolovať opakované pokusy a pracovať na pozadí

Jedným z typických prípadov je, že vy prerušiť spojenie alebo vypadnúť prúd uprostred veľkého výbojaNamiesto straty všetkých stiahnutých údajov vám wget umožňuje obnoviť súbor tam, kde ste ho prestali používať, pomocou voľby -c:

Stiahnutia životopisov: wget -c http://releases.ubuntu.com/14.04/ubuntu-14.04-desktop-amd64.iso

Hoci server podporuje obnovenie čiastočných sťahovaní, wget bude pokračovať od bodu, kde sa zastavilAk nepoužijete -cy a súbor už existuje, program ho uloží s príponou „.1“, aby sa predišlo prepísaniu pôvodného súboru.

V prostrediach s nestabilným pripojením alebo silne preťaženými servermi je tiež dôležité monitorovať počet pokusov o stiahnutiePredvolene wget vykoná 20 pokusov, ale túto hodnotu môžete zvýšiť alebo znížiť pomocou -t:

Kontrola pokusu: wget -t 50 http://ejemplo.com/pelicula.mpg

Ak chcete, môžete dokonca použiť -t inf takže wget sa bude pokúšať o pripojenie donekonečna, kým sa mu nepodarí pripojiť, čo môže byť užitočné v skriptoch, kde je prioritou nezlyhať.

Pri práci s veľkými súbormi je najlepšie spustiť sťahovanie na pozadí. aby bolo možné zatvoriť terminál alebo pokračovať v používaní danej relácieWget na to ponúka parameter -b:

V pozadí: wget -b http://example.com/beefy-file.tar.gz

Použitím parametra -b sa program „odpojí“ od terminálu a Zaznamenáva svoj priebeh do súboru s názvom wget-log v aktuálnom adresári. Postup si môžete pozrieť takto:

Zobraziť priebeh: tail -f wget-log

Ak chcete aj podrobnú správu o celom procese sťahovania – ideálne pre ladenie problémov – môžete presmerovať výstup príkazu wget do súboru denníka pomocou možnosti -o:

Podrobný záznam: wget -o reporte.txt http://ejemplo.com/programa.tar.gz

Práca s chránenými servermi a FTP pomocou wgetu

Mnohé online zdroje nie sú verejné a vyžadujú používateľské meno a heslo na sťahovanie súborovWget vie, ako s týmito prostrediami zaobchádzať, a to pridaním prihlasovacích údajov do príkazového riadku.

Napríklad na HTTP serveri so základným overovaním môžete použiť niečo ako:

Overené HTTP: wget --http-user=admin --http-password=secreto http://ejemplo.com/archivo.mp3

Podobne príkaz funguje perfektne s tradičné FTP serveryAk chcete stiahnuť konkrétny súbor zo súkromného FTP servera, jednoducho:

FTP s prihlasovacími údajmi: wget --ftp-user=TU_USUARIO --ftp-password=TU_PASSWORD ftp://example.com/something.tar

Ak to, čo chceš, je vziať kompletný adresár z FTP serveraRekurzívny režim môžete kombinovať s FTP trasami:

Stiahnutie adresára FTP: wget -r ftp://example.com/folder

Ak pridáte možnosť –bez rodiča Zabezpečíte, aby wget neprechádzal do vyšších adresárov v strome FTP a zameriaval sa iba na zadaný priečinok a jeho podadresáre.

Stiahnite si celé webové stránky a prezerajte si ich offline

Jednou z najsilnejších funkcií wgetu je jeho schopnosť stiahnuť obsah celej webovej stránky a mať možnosť si ho zobraziť lokálne Bez internetového pripojenia. Toto môže byť neuveriteľne užitočné pri dlhých cestách, v prostrediach bez prístupu k sieti alebo pri offline analýze webových stránok.

Pokročilý príklad: wget --mirror --convert-links --page-requisites --no-parent -P documentos/websites/ https://some-website.com

Každá možnosť tu prispieva niečím veľmi špecifickým k procesu klonovania webových stránok:

• –zrkadlo: aktivuje režim určený pre zrkadlá, ktorý kombinuje hlbokú rekurziu so správou časových pečiatok.
• –konvertovať-odkazy: upravuje interné odkazy tak, aby smerovali na stiahnuté súbory, čo umožňuje prehliadanie offline.
• –Stránka-náležitosti: obsahuje všetky zdroje potrebné na to, aby stránka vyzerala dobre (CSS, JavaScript, obrázky atď.).
• –bez rodiča: vyhnite sa nahrávaniu do vyšších adresárov, obmedzte sťahovanie na rozsah stránky, ktorá vás zaujíma.
• -P dokumenty/webové stránky/: označuje adresár, kam sa uloží celá stiahnutá štruktúra.

Po dokončení sťahovania budete môcť Otvorte hlavný index pomocou vášho obľúbeného prehliadača a prechádzajte kópiou, akoby ste boli online. Súbory budú usporiadané v priečinku dokumenty/webové stránky/ s podadresármi, ktoré replikujú štruktúru vzdialeného servera.

Pre určité stránky je tiež užitočné použiť –html-prípona alebo skratka -ETým sa zabezpečí, že všetky dokumenty budú uložené s príponou .html, aj keď boli pôvodne .php, .asp alebo .cgi, čo uľahčí ich neskoršie otvorenie v lokálnych prehliadačoch.

Vyhľadajte nefunkčné odkazy a použite wget ako webového „pavúka“

Okrem sťahovania obsahu sa wget dá použiť aj ako druh Ľahký prehľadávač na posúdenie stavu odkazov na stránkeVďaka režimu pavúka program prehľadáva stránky bez ich ukladania, jednoducho kontroluje, na čo server reaguje.

Režim pavúka: wget -o wget-log -r -l 5 --spider http://example.com

V tomto riadku každý parameter plní svoju úlohu:

• -o wget-log: odošle všetok výstup do súboru wget-log na neskoršie prehliadnutie.
• -r: aktivuje rekurziu pre sledovanie vnútorných odkazov.
• -l 5: definuje maximálnu hĺbku rekurzie v 5 úrovniach.
• –pavúk: premení wget na pavúka, ktorý kontroluje odkazy, ale nesťahuje súbory.

Neskôr môžete súbor denníka spracovať do rýchlo extrahovať odkazy, ktoré vracajú chybu 404Typický príklad príkazu na ich filtrovanie by bol:

Filter 404: grep -B 2 '404' wget-log | grep "http" | cut -d " " -f 4 | sort -u

Takto získate čistý zoznam problematických URL adries, čo je ideálne pre správcov webových stránok na opravu presmerovaní alebo odstráneného obsahu.

Obnovte kompletnú webovú stránku s pokročilými možnosťami

Existujú scenáre, v ktorých chcete Stiahnite si webovú stránku s oveľa väčšou kontrolou nad tým, čo wget zobrazuje.Napríklad pre podrobnú analýzu, audity obsahu alebo dlhodobé offline dopyty.

Rozšírené sťahovanie: wget -m -F -p -np -k -erobots=off -U mozilla --limit-rate=50K --wait=2 --html-extension sitioweb

Táto línia kombinuje niekoľko zaujímavých parametrov:

• -m: zrkadlový režim, ekvivalentný určitým kombináciám rekurzie a časových pečiatok.
• -F: vynúti sťahovanie, aj keď sú v odpovediach malé chyby.
• -p: zabezpečuje stiahnutie všetkých pomocných zdrojov pre každú stránku.
• -npbez rodiča, zabraňuje presunu do vyšších adresárov počas rekurzie.
• -k: konvertuje odkazy tak, aby smerovali na lokálnu kópiu.
• -erobots=vypnuté: ignoruje súbor robots.txt stránky a nerešpektuje jeho obmedzenia.
• -U Mozilla: nastavuje reťazec používateľského agenta podobný prehliadaču Mozilla.
• –limitná rýchlosť=50K: obmedzuje rýchlosť na 50 KB/s, aby sa predišlo preťaženiu linky.
• –čakať=2: zavádza 2-sekundovú pauzu medzi po sebe idúcimi požiadavkami.
• –rozšírenie html: vynúti použitie prípony .html pre všetky stiahnuté dokumenty.

Výsledkom je veľmi kompletná a ľahko ovládateľná kópia stránky, určené pre offline konzultácie a podrobnú analýzuJe však vhodné sledovať miesto na disku, pretože tento typ operácie môže zaplniť gigabajty bez toho, aby ste si to uvedomili, najmä ak je na rozsiahlej stránke povolená rekurzia.

Extrémne príklady: filtrovanie typov súborov a obchádzanie robotov

Wget sa hodí aj na „extrémnejšie“ použitie, ako napríklad vyhľadávať iba určité typy súborov v dlhom zozname stránokTypickým príkladom je sťahovanie súborov mp3 z adries uložených v textovom súbore:

Filtrovať mp3: wget -r -l1 -H -t1 -nd -N -np -A.mp3 -erobots=off -i sitiosmp3.txt

Správanie každej možnosti v tejto kombinácii veľmi dobre ilustruje potenciál wgetu:

• -r -l1rekurzia povolená, ale obmedzená na jednu úroveň podadresárov.
• -H: umožňuje sledovanie odkazov na iné domény ako je hlavná (span hosts).
• -t1: iba jeden pokus o pripojenie na URL adresu; ak zlyhá, prejde sa na ďalší.
• -ndNevytvára lokálne podadresáre; všetky súbory ukladá na to isté miesto.
• -N: rešpektuje časovú pečiatku pôvodného súboru a stiahne iba v prípade zmien.
• -np: zabráni nahrávaniu do nadradených adresárov.
• -A.mp3: obmedzuje sťahovanie súborov s príponou .mp3.
• -erobots=vypnuté: ignoruje obmedzenia súboru robots.txt a prehliada všetky adresáre.
• -i sitiosmp3.txt: prečíta počiatočný zoznam stránok na prehľadávanie zo súboru sitiosmp3.txt.

Príkazy ako tieto umožňujú montáž automatizované procesy, ktoré bežia denne pomocou cronu, sťahovanie iba nových súborov vďaka možnosti -N a udržiavanie lokálneho repozitára vždy aktuálneho.

Ďalšie užitočné možnosti a osvedčené postupy zabezpečenia

Okrem všetkého vyššie uvedeného, ​​wget obsahuje ďalšie veľmi praktické parametre na riadenie jeho správaniaMedzi najzaujímavejšie patria:

• -b: spúšťa sťahovanie na pozadí, ideálne pre skripty alebo vzdialené relácie.
• -t 10: definuje konkrétny počet opakovaní v prípade dočasných chýb.
• –limitná sadzba=200k: upraví maximálnu šírku pásma na stiahnutie na určitú hodnotu.
• -pPri sťahovaní HTML stránok presuňte aj obrázky, CSS a ďalšie zdroje.
• –konvertovať-odkazy: transformuje absolútne odkazy na relatívne odkazy pre prácu offline.

Odporúča sa však použiť wget s minimálna starostlivosť, aby sa predišlo problémom súvisiacim s bezpečnosťou alebo spotrebou zdrojovNiektoré základné odporúčania sú:

• Vždy skontrolujte URL pred sťahovaním čohokoľvek, najmä ak spustíte príkaz ako koreňaby sa vyhol pádu malware alebo nechcený obsah.
• Pochopte možnosti, ktoré používate, najmä rekurzia (-r, -mirror, -H, -np), aby ste predišli sťahovaniu väčšieho množstva údajov, ako ste zamýšľali, alebo preťaženiu servera.
• Riadiaca rekurzia Aby sa predišlo zobrazovaniu rozsiahlych stránok, úprava parametra -ly -np pomáha obmedziť rozsah prehľadávania.
• Rešpektujte súbor robots.txt vždy, keď je to možnéPokiaľ nemáte výslovné povolenie ho ignorovať, označuje oblasti webovej stránky, ktoré ich vlastníci radšej nevystavujú pavúkom a sťahovačom.
• Rýchlostné limity s –limit-rate Dôrazne sa odporúčajú v zdieľaných sieťach, aby neobťažovali ostatných používateľov.
• Nevypínajte overovanie HTTPS Pokiaľ naozaj neviete, čo robíte, certifikáty sa štandardne kontrolujú a predstavujú dôležitú vrstvu zabezpečenia.

Celá táto sada funkcií robí z wgetu Švajčiarsky nôž na sťahovanie obsahu v LinuxeOd sťahovania jednoduchého súboru krátkym príkazom až po klonovanie celých stránok, filtrovanie konkrétnych typov súborov, obnovenie prerušených sťahovaní, prácu s FTP alebo generovanie hlásení o nefunkčných odkazoch, vždy z terminálu a s možnosťami, ktoré sa dajú ľahko automatizovať v skriptoch a cron úlohách.