Ako používať gdbserver na vzdialené ladenie v systéme Linux

Ak programujete v jazyku C alebo C++ Linux a nikdy si sa nedotkol gdbserveraPrichádzate o jeden z najužitočnejších nástrojov na ladenie procesov na diaľku, či už na serveri, vstavanom systéme alebo dokonca vo virtuálnom stroji alebo WSL. gdbserver nie je ničím „magickým“ alebo vyhradeným pre expertov, je to jednoducho malý program, ktorý komunikuje s gdb a riadi vykonávanie cieľového procesu.

Kľúčová myšlienka je veľmi jednoduchá.na počítači, kde beží binárny súbor, ktorý chcete ladiť ( terč) spustíte gdbserver; na vašom pracovnom počítači ( hostiteľSpustíte gdb alebo dokonca WinDbg s podporou protokolu gdb. Oba sa pripájajú cez TCP alebo sériový port a odtiaľ môžete nastavovať body prerušenia, kontrolovať premenné, prezerať si zásobník alebo sledovať vykonávanie krok za krokom, akoby program bežal na vašom vlastnom počítači.

Čo je gdbserver a kedy má zmysel ho používať?

gdbserver je vzdialený ladiaci „agent“ pre GNU gdbJeho funkcia je veľmi špecifická: beží na počítači, kde beží analyzovaný program, riadi tento proces (alebo procesy) a komunikuje s klientom gdb umiestneným na inom počítači (alebo na tom istom) prostredníctvom vzdialeného pripojenia.

V každodennom používaní sa gdbserver používa v dvoch typických scenárochLadiaci softvér, ktorý beží vo vstavaných prostrediach (routre, dosky s odľahčeným Linuxom, zariadenia) IoTatď.) a ladiace procesy na vzdialených počítačoch so systémom Linux, kde nie je vhodné alebo jednoducho nie je možné mať „tučnú“ gdb so všetkými knižnicami a symbolmi.

V praxi gdbserver rieši úlohy ako napríklad Čítanie a zapisovanie procesných registrov a pamäte, riadenie vykonávania (pokračovanie, pozastavenie, krokovanie), správa bodov prerušenia a odosielanie všetkých týchto údajov do gdb pomocou vzdialeného protokolu GDB. Táto filozofia je veľmi podobná filozofii nástrojov ako OpenOCD, ktoré fungujú ako most medzi gdb a... technické vybavenie externý, s tým rozdielom, že gdbserver beží na rovnakom systéme, kde beží binárny súbor.

Ak pochádzate z prostredia Windows Je tiež zaujímavé vedieť Ladiace programy ako WinDbg dokážu komunikovať s gdbserverom v systéme Linux, takže môžete ladiť používateľské procesy v systéme Linux z WinDbg pomocou podpory vzdialeného ladenia prostredníctvom protokolu gdb, ktorý spoločnosť Microsoft začlenila do posledných verzií.

Základné požiadavky na ladenie s gdb a gdbserver

Predtým, ako začnete s ladením na diaľku, musíte pochopiť vzťah medzi hostiteľom a cieľom.. terč Je to počítač, na ktorom beží program, ktorý sa má ladiť, a na ktorom sa bude vykonávať gdbserver; hostiteľ Toto je počítač, z ktorého budete spúšťať gdb (alebo WinDbg) a kde budete mať zdrojový kód a najlepšie aj ladiace symboly.

Základným východiskovým bodom je kompilácia binárneho súboru so symbolmiV GCC alebo g++ sa to dosiahne pomocou príznaku -ga zvyčajne sa odporúča tiež vypnúť optimalizácie (napríklad pomocou -O0To umožňuje ladiacemu programu presnejšie zobraziť premenné, makrá a štruktúru kódu. Pre konkrétne makrá môžete použiť vyššie úrovne ladenia, ako napríklad -g3.

Na strane hostiteľa budete potrebovať kompatibilnú verziu gdb s cieľovou architektúrou. Na ladenie vstavaného systému s MIPS, ARM alebo inou architektúrou musíte použiť gdb príslušného cross-toolchainu (napríklad) arm-none-eabi-gdb o gdb-multiarch) a v prípade potreby nakonfigurujte architektúru a endiannosť pomocou príkazy ako set arch y set endian.

Pokiaľ ide o pripojenie, gdbserver podporuje dva hlavné typySériové prepojenie (veľmi bežné vo vstavanom hardvéri, cez UART) a TCP/IP, čo je najpohodlnejšie, keď je cieľ v rovnakej sieti alebo je to počítač so systémom Linux prístupný cez sieť. V oboch prípadoch sa príkaz používa z gdb. target remote na pripojenie ku koncovému bodu sprístupnenému serverom gdbserver.

Spôsoby spustenia gdbservera: režim jedného procesu a režimu viacerých procesov

gdbserver môže fungovať dvoma hlavnými spôsobmi Keď hovoríme o ladení v používateľskom režime: priamo spojené s jedným procesom alebo ako „server procesov“, ktorý umožňuje vypisovanie a pripojenie k rôznym systémovým procesom.

V režime jedného procesu Spustíte gdbserver, zadáte host:port a program, ktorý sa má spustiť. V jednoduchom príklade na desktopovom počítači so systémom Linux by ste mohli urobiť niečo takéto:

Príkaz: gdbserver localhost:3333 foo

Týmto príkazom gdbserver spustí binárny súbor. foo a on zostane počúvať na porte 3333Kým sa nepripojí vzdialená gdb, program zostane zastavený; keď sa gdb pripojí k target remote localhost:3333, proces začína byť riadený drvičom.

V multiprocesovom režime (procesový server) sa táto možnosť používa --multiV tomto prípade gdbserver priamo nespúšťa žiadny program, ale jednoducho počúva prichádzajúce pripojenia a umožňuje klientovi (gdb alebo WinDbg) spravovať, ktorý proces má vytvoriť alebo ku ktorému sa má pripojiť:

Príkaz: gdbserver --multi localhost:1234

Pri práci s WinDbg v systéme Linux je tento multimód obzvlášť zaujímavý.Pretože zo samotného WinDbg môžete zobraziť zoznam procesov na vzdialenom systéme, zobraziť PID, používateľa a príkazový riadok a pripojiť sa k tomu, ktorý vás zaujíma, podobným spôsobom, ako sa to robí s procesným serverom. dbgsrv.exe vo Windows.

Vzdialené ladenie pomocou gdbserver a gdb krok za krokom

Priblížme si to na veľmi typickom príklade.Ladenie jednoduchej aplikácie na rovnakom počítači (hostiteľ a cieľ sa zhodujú) pomocou gdbserver na simuláciu vzdialeného scenára.

Najprv napíšete a skompilujete malý programNapríklad hlúpa slučka, ktorá vypíše počítadlo:

Príkaz: gcc -g foo.c -o foo

Kľúčom je tu vlajka -gToto pridá do binárneho súboru potrebné ladiace informácie, aby gdb mohol zobraziť riadky kódu, názvy premenných, typy atď. V „skutočnom“ prostredí krížovej kompilácie by ste túto kompiláciu vykonali pomocou cross-toolchainu a potom by ste skopírovali binárny súbor aj jeho závislosti do cieľa.

Ďalším krokom je spustenie gdbservera na cieliAk sú hostiteľský a cieľový počítač ten istý počítač, potom:

Príkaz: gdbserver localhost:3333 foo

Zobrazí sa vám správa podobná „Proces foo vytvorený; pid = XXXX; Počúva na porte 3333“. Toto znamená, že gdbserver vytvoril proces a čaká na pripojenie gdb. Ak sa nachádzate v systéme, kde sa vyžadujú ďalšie privilégiá (napríklad na pripojenie k systémovým procesom), možno budete musieť spustiť príkaz s sudoPri udeľovaní povolenia je však vždy múdre byť opatrný. koreň do odsirovača.

Na hostiteľovi spustíte gdb so zadaním lokálneho spustiteľného súboru (ten istý, ktorý beží na cieli, alebo identická kópia so symbolmi):

Príkaz: gdb foo

Keď sa nachádzate vo vnútri gdb, nadviažete vzdialené pripojenie s:

Príkaz: target remote localhost:3333

V tomto bode gdb načíta symboly z lokálneho binárneho súboru.Synchronizuje sa s gdbserverom a preberá kontrolu nad procesom, ktorý v skutočnosti beží pod gdbserverom. Odtiaľ je postup obvyklý: príkazy ako break stanoviť body zlomu, continue, step, next, print kontrolovať premenné, backtrace vidieť batériu atď.

Pripájanie k spusteným procesom pomocou gdbserver

Nie vždy chcete spúšťať program od začiatku.Často máte záujem zapojiť sa do procesu, ktorý už beží (napríklad httpd О routersystémový démon alebo produkčná služba).

Typickým postupom je použitie možnosti --attach z gdbserveraodovzdaním portu, na ktorom bude počúvať, a PID cieľového procesu. Napríklad na routeri, kde ste skopírovali gdbserver skompilovaný pre jeho architektúru, by ste mohli urobiť:

Príkaz: gdbserver localhost:3333 --attach <pid_de_httpd>

Na strane hostiteľa budete používať verziu gdb, ktorá podporuje architektúru smerovača.napríklad gdb-multiarchvopred nakonfigurujte architektúru a endiannosť:

Príkaz: set arch mips
set endian big

Potom zadáte lokálny súbor, ktorý obsahuje symboly. vzdialeného binárneho súboru (napríklad file httpd) a ak je to potrebné, poviete gdb, kde binárny súbor v cieli skutočne beží pomocou set remote exec-file /usr/bin/httpdNakoniec, rovnako ako predtým, sa spojíte s:

Príkaz: target remote 192.168.0.1:3333

Po pripojeníBody prerušenia môžete nastaviť na špecifických funkciách (napríklad break checkFirmware), pokračujte v vykonávaní a nechajte normálny tok programu (napríklad nahrávanie firmvéru z webového rozhrania) spustiť bod prerušenia.

Používanie gdbservera s WinDbg v systéme Linux

V posledných rokoch spoločnosť Microsoft pridala podporu pre ladenie procesov Linuxu vo WinDbg. Používanie gdbserveru ako backendu. Táto funkcionalita je určená pre scenáre, kde pracujete vo Windowse, ale kód beží na Linuxe (vrátane WSL).

Ladenie konkrétneho procesu v systéme Linux pomocou WinDbg pomocou gdbserverPostup by bol asi takýto: najprv vyhľadáte cieľový proces na počítači so systémom Linux pomocou príkazu ako ps -A (napríklad a python3 (ktorý beží), potom spustíte gdbserver na cieli:

Príkaz: gdbserver localhost:1234 python3

Ak si to prostredie vyžaduje, možno budete musieť použiť sudo gdbserver ...s rovnakými bezpečnostnými opatreniami ako vždy. Keď gdbserver indikuje, že „počúva na porte 1234“, prejdite vo WinDbg do časti „Súbor / Pripojiť sa k vzdialenému debuggeru“ a zadajte pripojovací reťazec nasledujúceho typu:

Príkaz: gdb:server=localhost,port=1234

WinDbg používa malý ovládač protokolu gdb na komunikáciu so serverom gdb. a po nadviazaní spojenia zostane zastavené v bode topánka procesu. Odtiaľ môžete použiť jeho okná zásobníka, moduly, pamäť, body prerušenia, ako aj príkazy ako k vidieť batériu alebo lm na zobrazenie modulov (majte na pamäti, že niektoré príkazy očakávajú formát PE a nie ELF, takže v určitých prípadoch môžu zobrazovať zvláštne údaje).

gdbserver a procesný server WinDbg

Okrem prípadu s jedným procesom sa WinDbg môže pripojiť k gdbserveru, ktorý funguje ako procesný server. aby fungoval podobne ako so vzdialenými procesmi systému Windows. V tomto režime sa gdbserver spúšťa pomocou --multi a bez pridruženého procesu:

Príkaz: sudo gdbserver --multi localhost:1234

Vo WinDbg vyberte „Súbor / Pripojiť sa k procesnému serveru“ a znova použijete pripojovací reťazec gdb:server=localhost,port=1234Keď je pripojenie aktívne, môžete zobraziť zoznam dostupných procesov systému Linux a pripojiť sa k požadovanému alebo dokonca spustiť nový proces.

Treba mať na pamäti jeden jemný detail.WinDbg rozlišuje medzi „procesovým serverom“ a „jediným cieľom“ v závislosti od toho, či je gdbserver už pri pripojení pripojený k procesu. Ak ste nechali gdbserver pripojený k procesu, zatvorili WinDbg a potom sa pokúsili znova pripojiť, nemusí byť detekovaný ako procesový server a možno budete musieť reštartovať gdbserver.

Ukončenie relácie procesného serveraZvyčajne stačí stlačiť CTRL+D v konzole, kde beží gdbserver, a zastaviť ladenie z WinDbg. V niektorých extrémnych prípadoch, ak sa vyskytnú problémy so synchronizáciou, môže byť potrebné úplne zatvoriť ladiaci program a reštartovať gdbserver od začiatku.

Správa symbolov a zdrojového kódu pri vzdialenom ladení

Jedným z kľúčov k pohodlnému vzdialenému ladeniu je dobre rozlíšené symboly a písma.Bez symbolov sa navigácia v zásobníku alebo nastavovanie bodov prerušenia na konkrétnych funkciách stáva mučením.

V klasických scenároch gdb + gdbserver je ideálne uchovávať kópiu spustiteľného súboru so symbolmi na hostiteľskom počítači. (neopracované) a strom zdrojového kódu. gdb nevyžaduje, aby vzdialený binárny súbor obsahoval symboly; stačí, aby lokálny súbor, ktorý načítate pomocou file zhoduje sa so vzdialeným spustiteľným súborom na úrovni offsetu.

Vo svete ladenia WinDbg a Linuxu sa objavili aj služby ako DebugInfoD.ktoré sprístupňujú symboly a písma cez HTTP. WinDbg môže použiť špeciálne cesty typu DebugInfoD*https://debuginfod.elfutils.org ako v .sympath ako v .srcpath stiahnuť si zdrojový kód symbolov DWARF a binárnych súborov Linux ELF na požiadanie.

V konkrétnom príklade s WSL, kde sa používateľský kód nachádza pod C:\Users\Bob\Mohli by ste povedať WinDbg:

Príkaz: .sympath C:\Users\Bob\
.srcpath C:\Users\Bob\

A ak chcete použiť aj DebugInfoD pre systémové binárne súbory:

Príkaz: .sympath+ DebugInfoD*https://debuginfod.elfutils.org
.srcpath+ DebugInfoD*https://debuginfod.elfutils.org

S touto konfiguráciou, keď prehliadate zásobník alebo zadávate funkcie libcWinDbg sa môže pokúsiť stiahnuť zodpovedajúce symboly DWARF a ak server sprístupní aj kód, zobraziť zdrojový kód s dostatočnými detailmi, hoci interné nástroje systému Windows nespracúvajú ELF a DWARF tak „natívne“ ako PE a PDB.

Praktický príklad: ladenie programu v jazyku C++ pomocou gdbserver a WinDbg

Ilustratívnym príkladom je malá C++ aplikácia, ktorá vypíše pozdrav na obrazovku., skompilovaný v jazyku WSL s ladiacimi symbolmi. Predstavte si program, ktorý si rezervuje std::array<wchar_t, 50> a skopíruje doň dlhšiu správu, čo spôsobí skrátenie textu a zobrazenie znakov ???? na konci

Po kompilácii s niečím podobným:

Príkaz: g++ DisplayGreeting.cpp -g -o DisplayGreeting

Spustíte gdbserver proti tomuto binárnemu súboru:

Príkaz: gdbserver localhost:1234 DisplayGreeting

Vo WinDbg sa pripájate k reťazcu gdb:server=localhost,port=1234 A keď je relácia nadviazaná a cesty k symbolom a písmu sú nakonfigurované, nastavíte bod prerušenia v DisplayGreeting!mainmôžete použiť dx greeting skontrolovať lokálne pole a vidieť jeho veľkosť (50 pozícií) a vizuálne skontrolovať na karte pamäte alebo v zobrazení premenných, ako je pozdrav orezaný.

Krása tohto príkladu spočíva v tom, že demonštruje, že aj bez plnej podpory všetkých formátov ELF/DWARF vo WinDbgPomocou gdbserveru ako vzdialeného backendu môžete pomerne pohodlne prechádzať zásobníkmi, kontrolovať typy, nastavovať body prerušenia podľa názvu funkcie a prechádzať kódom C++.

Ladenie linuxového jadra pomocou qemu a gdb

gdbserver sa nepoužíva iba v používateľskom režime; v režime jadra existujú aj veľmi výkonné scenáre.najmä ak kombinujete QEMU s podporou ladenia. Hoci tu úlohu „gdbservera“ plní vlastná možnosť QEMU, prístup je identický: jeden koniec spúšťa systém, ktorý sa má ladiť, a otvára port gdb; druhý koniec je buď gdb, alebo debugger, ktorý hovorí vzdialeným protokolom.

Na ladenie jadra ho musíte skompilovať so špecifickými možnosťami ladenia.: aktivovať generovanie ladiacích informácií (CONFIG_DEBUG_INFO), skripty jadra GDB (CONFIG_GDB_SCRIPTS) a vlastný ladiaci režim jadra (CONFIG_DEBUG_KERNELJe tiež dôležité vypnúť možnosti, ktoré odstraňujú symboly počas linkovania, napríklad „Odstraňovať symboly generované assemblerom počas linkovania“.

Po kompilácii získate binárny súbor vmlinux „nevyzlečený“ktorý použijete z gdb. Potrebujete tiež základný initramfs, ktorý môžete vygenerovať príkazom ako:

Príkaz: mkinitramfs -o ramdisk.img

Potom spustíte QEMU s ladiacimi parametramiTypický príklad zahŕňa možnosť -gdb tcp::1234 otvoriť vzdialený koncový bod kompatibilný s gdb a -S aby sa virtuálny stroj spustil pozastavený od začiatku. Taktiež špecifikujete jadro pomocou -kernel vmlinux, -initrd ramdisk.img, pamäť s -m 512 a konzolu zvyčajne presmerujete na ttyS0 spravovať všetko od terminál.

Zadržaná QEMU čaká na gdbZ hostiteľského počítača spustíte gdb smerujúci na vmlinux a spojíte sa s target remote localhost:1234Odtiaľ môžete nastaviť skoré body prerušenia, napríklad hb start_kernela ovládať vykonávanie pomocou príkazov ako napríklad c (pokračovať) a CTRL+C pre opätovné pozastavenie.

Nedávne zmeny a nuansy v gdb a gdbserver

V moderných distribúciách, ako je Red Hat Enterprise Linux 8, existuje niekoľko zmien v gdb a gdbserver, ktoré stoja za to mať na pamäti.najmä ak používate staršie verzie alebo máte skripty, ktoré analyzujú výstup ladiaceho programu.

Na jednej strane gdbserver teraz spúšťa „nižšie“ procesy pomocou shelluRovnako ako gdb, aj toto umožňuje rozšírenie a substitúcie premenných v príkazovom riadku. Ak z akéhokoľvek dôvodu potrebujete toto správanie zakázať, v RHEL 8 sú zdokumentované špecifické nastavenia na návrat do predchádzajúceho režimu.

Niekoľko vecí bolo tiež odstránených alebo zmenených: podpora ladenia pre programy Java kompilované s gcj, režim kompatibility HP-UX XDB, príkazy ako napríklad set remotebaud (nahradené set serial baud) alebo kompatibilitu s určitým starším formátom stabsOkrem toho, číslovanie závitov už nie je globálne, ale podľa „nižšieho“ závitu a zobrazuje sa ako inferior_num.thread_nums novými premennými pre pohodlie, ako napríklad $_gthread odkazovať na globálny identifikátor.

Ďalšou dôležitou novou funkciou je úprava max-value-sizeToto obmedzuje množstvo pamäte, ktorú môže gdb prideliť na zobrazenie obsahu hodnoty. Predvolená hodnota je 64 KiB, takže pokusy o výpis obrovských polí alebo masívnych štruktúr môžu namiesto zobrazenia všetkej dostupnej pamäte viesť k varovaniu „hodnota je príliš veľká“.

Taktiež bol upravený spôsob, akým gdb spracováva sysrootPredvolená hodnota je teraz target:To znamená, že pre vzdialené procesy sa najprv pokúsi nájsť knižnice a symboly v cieľovom systéme. Ak chcete, aby uprednostňoval lokálne symboly, mali by ste spustiť set sysroot s trasou, ktorá vás zaujíma, predtým, ako vyrazíte target remote.

Pokiaľ ide o históriu príkazov, premenná prostredia, ktorá sa teraz používa, je GDBHISTSIZE namiesto HISTSIZETo vám umožňuje jemne doladiť, ako dlho chcete uchovávať príkazy zadané v ladiacích reláciách bez toho, aby to ovplyvňovalo správanie iných aplikácií, ktoré používajú knižnicu na čítanie riadkov.

Tipy na pracovný postup a riešenie problémov s gdbserverom

Pre pohodlný pracovný postup existujú určité vzory, ktoré fungujú veľmi dobre. Pri vývoji pre vstavané systémy alebo vzdialené servery je prvým krokom čo najviac automatizovať kompiláciu symbolov a nasadenie binárnych súborov na cieľ. Týmto spôsobom vždy viete, ktorá verzia spustiteľného súboru je spustená, a máte kópiu symbolov ľahko dostupnú na hostiteľovi.

V prostrediach s mnohými jadrami spôsobujúcimi pády sa oplatí naučiť sa používať gdb v dávkovom režime.s vlajkami ako --batch, --ex y -x automaticky spúšťať príkazy na zozname jadier a spracovávať ich spätné stopy zo skriptov (napríklad v PytónTo vám umožňuje rýchlo filtrovať opakované problémy, zoskupovať zlyhania podľa trasovania zásobníka atď.

Keď sa niečo pokazí so vzdialeným pripojením, možnosť --debug gdbserver je tvoj najlepší priateľAk napríklad spustíte procesný server s:

Príkaz: gdbserver --debug --multi localhost:1234

Konzola gdbserveru zobrazí podrobné záznamy o tom, čo sa deje. Na úrovni vzdialeného protokolu to zahŕňa prichádzajúce pakety, chyby formátovania, problémy s odpojením atď. Toto je veľmi užitočné, keď sa váš gdb server náhle odpojí, proces zlyhá hneď po nastavení bodu prerušenia alebo vaše ladiace grafické rozhranie odošle niečo, čomu gdbserver nerozumie.

V kontextoch, ako je napríklad router TP-Link, kde pripojíte gdbserver ku kritickému procesu, ako napríklad httpdJe pomerne bežné, že určité body prerušenia vytvárajú súbehy alebo watchdogy, ktoré ukončia proces, keď zostane príliš dlho „zaseknutý“ v ladiacim programe. V týchto situáciách môže byť potrebné upraviť, ktoré signály sú blokované, ktoré vlákna sú riadené a v prípade potreby upraviť samotnú konfiguráciu systému (časové limity, hardvérové ​​watchdogy), aby sa umožnili dlhšie ladenie.

Správne používanie gdbserveru zahŕňa kombináciu niekoľkých častíKompilujte s vhodnými symbolmi, vyberte správny gdb pre danú architektúru, nakonfigurujte cesty k symbolom a zdrojom, pochopte dva hlavné režimy gdbservera (jednoprocesový a viacprocesový) a nebojte sa z režimu čerpať kód. --debug keď sa pripojenie nespráva podľa očakávaní. S týmto základom sa ladenie aplikácií bežiacich na vzdialenom systéme Linux, routeri alebo virtuálnom počítači s vlastným jadrom z vášho počítača stáva celkom rutinnou a predovšetkým neuveriteľne užitočnou záležitosťou.