Kā izmantot gdbserver attālinātai atkļūdošanai operētājsistēmā Linux

Ja programmējat C vai C++ valodā Linux un tu nekad neesi pieskāries gdbserverJūs palaidāt garām vienu no visnoderīgākajiem rīkiem procesu attālinātai atkļūdošanai neatkarīgi no tā, vai tas notiek serverī, iegultā sistēmā vai pat virtuālajā mašīnā vai WSL. Gdbserver nebūt nav kaut kas "maģisks" vai paredzēts tikai ekspertiem, bet gan vienkārši neliela programma, kas sazinās ar gdb un kontrolē mērķa procesa izpildi.

Galvenā ideja ir ļoti vienkārša.: datorā, kurā darbojas atkļūdojamais binārais fails ( mērķis) jūs startējat gdbserver; savā darba datorā ( saimnieksJūs startējat gdb vai pat WinDbg ar gdb protokola atbalstu. Abi izveido savienojumu, izmantojot TCP vai seriālo portu, un no turienes varat iestatīt pārtraukuma punktus, pārbaudīt mainīgos, skatīt steku vai soli pa solim sekot izpildei tā, it kā programma darbotos jūsu datorā.

Kas ir gdbserver un kad ir jēga to lietot?

gdbserver ir attālās atkļūdošanas “aģents” GNU gdbTās funkcija ir ļoti specifiska: tā darbojas datorā, kurā darbojas analizējamā programma, kontrolē šo procesu (vai procesus) un sazinās ar gdb klientu, kas atrodas citā datorā (vai tajā pašā), izmantojot attālinātu savienojumu.

Ikdienas lietošanā gdbserver tiek izmantots divos tipiskos scenārijosKļūdu novēršanas programmatūra, kas darbojas iegultās vidēs (maršrutētāji, plates ar vienkāršotu Linux sistēmu, ierīces) IoT, etc.) y depurar procesos en máquinas Linux remotas, donde no es cómodo o directamente no es posible tener gdb “gordo” con todas las librerías y símbolos.

Praktiskā līmenī gdbserver apstrādā tādus uzdevumus kā Lasīt un rakstīt procesa reģistrus un atmiņu, kontrolēt izpildi (turpināt, apturēt, soli pa solim veikt), pārvaldīt pārtraukumpunktus un nosūtīt visus šos datus uz gdb, izmantojot GDB attālo protokolu. Šī filozofija ir ļoti līdzīga tādiem rīkiem kā OpenOCD, kas darbojas kā tilts starp gdb un detaļas ārējs, ar atšķirību, ka gdbserver darbojas tajā pašā sistēmā, kur darbojas binārais fails.

Ja jūs nākat no vides Windows Ir arī interesanti zināt Atkļūdotāji, piemēram, WinDbg, var sazināties ar gdbserver operētājsistēmā Linux, tāpēc jūs varat atkļūdot lietotāju procesus Linux operētājsistēmā no WinDbg, izmantojot attālās atkļūdošanas atbalstu, izmantojot gdb protokolu, ko Microsoft ir iekļāvis jaunākajās versijās.

Pamatprasības atkļūdošanai ar gdb un gdbserver

Pirms sākat attālinātu atkļūdošanu, jums ir jāsaprot resursdatora/mērķa attiecības.. mērķis Tā ir mašīna, kurā darbojas atkļūdojamā programma un kurā tiks izpildīts gdbserver; saimnieks Šī ir mašīna, no kuras jūs darbināsiet gdb (vai WinDbg) un kur jums būs avota kods un, vēlams, atkļūdošanas simboli.

Būtiskākais sākumpunkts ir binārā faila kompilēšana ar simboliemGCC vai g++ tas tiek panākts ar karodziņu -gun parasti ieteicams arī atspējot optimizācijas (piemēram, ar -O0Tas ļauj atkļūdotājam precīzāk attēlot mainīgos, makro un koda struktūru. Konkrētiem makro var izmantot augstākus atkļūdošanas līmeņus, piemēram, -g3.

Resursdatora pusē būs nepieciešama saderīga gdb versija. ar mērķa arhitektūru. Lai atkļūdotu MIPS, ARM vai citas arhitektūras iegulto sistēmu, jāizmanto atbilstošās starprīku ķēdes gdb (piemēram). arm-none-eabi-gdb o gdb-multiarch) un, ja nepieciešams, konfigurējiet arhitektūru un beigu precizitāti ar komandas kā set arch y set endian.

Attiecībā uz savienojumu gdbserver atbalsta divus galvenos savienojuma veidusSeriālais savienojums (ļoti izplatīts iegultajā aparatūrā, izmantojot UART) un TCP/IP, kas ir visērtāk, ja mērķis atrodas tajā pašā tīklā vai ir Linux mašīna, kas pieejama tīklā. Abos gadījumos komanda tiek izmantota no gdb. target remote lai izveidotu savienojumu ar galapunktu, ko nodrošina gdbserver.

gdbserver palaišanas veidi: viena procesa un vairāku procesu režīms

gdbserver var darboties divos galvenajos veidos Runājot par lietotāja režīma atkļūdošanu: tieši saistīts ar vienu procesu vai kā "procesa serveris", kas ļauj uzskaitīt un pievienoties dažādiem sistēmas procesiem.

Viena procesa režīmā Jūs palaižat gdbserver, norādot resursdatora portu un palaižamo programmu. Vienkāršā piemērā Linux darbvirsmas datorā varat rīkoties šādi:

Komanda: gdbserver localhost:3333 foo

Ar šo komandu gdbserver startē bināro failu. foo un viņš paliek klausīties 3333. ostāKamēr attālināts gdb neizveido savienojumu, programma paliek apturēta; kad gdb izveido savienojumu ar target remote localhost:3333, procesu sāk kontrolēt descrusher.

Vairākprocesu režīmā (procesu serveris) tiek izmantota šī opcija. --multiŠajā gadījumā gdbserver tieši nepalaiž nevienu programmu, bet vienkārši klausās ienākošos savienojumus un ļauj klientam (gdb vai WinDbg) pārvaldīt, kuru procesu izveidot vai kuram pievienoties:

Komanda: gdbserver --multi localhost:1234

Strādājot ar WinDbg operētājsistēmā Linux, šis vairāku režīmu režīms ir īpaši interesants.Jo no paša WinDbg var uzskaitīt procesus attālajā sistēmā, redzēt PID, lietotāju un komandrindu un pievienoties tam, kas jūs interesē, līdzīgi kā tas tiek darīts ar procesu serveri. dbgsrv.exe operētājsistēmā Windows.

Attālā atkļūdošana ar gdbserver un gdb soli pa solim

Īsumā aplūkosim to ar ļoti tipisku piemēru.Atkļūdot vienkāršu lietojumprogrammu tajā pašā datorā (resursdators un mērķis sakrīt), izmantojot gdbserver, lai simulētu attālo scenāriju.

Vispirms uzrakstiet un kompilējiet nelielu programmuPiemēram, muļķīgs cikls, kas izdrukā skaitītāju:

Komanda: gcc -g foo.c -o foo

Šeit galvenais ir karogs -gTas pievieno binārajam failam nepieciešamo atkļūdošanas informāciju, lai gdb varētu parādīt koda rindiņas, mainīgo nosaukumus, tipus utt. "Īstā" krustkompilācijas vidē jūs veiktu šo kompilāciju ar krustenisko rīku ķēdi un pēc tam kopētu gan bināro failu, gan tā atkarības uz mērķi.

Nākamais solis ir palaist gdbserver mērķī.Ja resursdators un mērķis ir viena un tā pati mašīna, tad:

Komanda: gdbserver localhost:3333 foo

Jūs redzēsiet ziņojumu, kas ir līdzīgs šim “Process foo izveidots; pid = XXXX; Klausās 3333. portā”. Tas norāda, ka gdbserver ir izveidojis procesu un gaida, kad gdb izveidos savienojumu. Ja izmantojat sistēmu, kurā nepieciešamas papildu privilēģijas (piemēram, lai pievienotos sistēmas procesiem), iespējams, komanda būs jāpalaiž ar sudoBet, piešķirot atļauju, vienmēr ir jābūt piesardzīgam. sakne uz desulfurizētāju.

Resursdatorā jūs startējat gdb, norādot lokālo izpildāmo failu (tā pati, kas darbojas mērķī, vai identiska kopija ar simboliem):

Komanda: gdb foo

Kad esat nonācis gdb, izveidojiet attālo savienojumu ar:

Komanda: target remote localhost:3333

Šajā brīdī gdb ielādē simbolus no lokālā binārā faila.Tas sinhronizējas ar gdbserver un pārņem kontroli pār procesu, kas faktiski darbojas zem gdbserver. Turpmāk plūsma ir ierasta: komandas, piemēram, break lai noteiktu lūzuma punktus, continue, step, next, print lai pārbaudītu mainīgos, backtrace lai redzētu akumulatoru utt.

Izveidot savienojumu ar darbojošajiem procesiem, izmantojot gdbserver

Jūs ne vienmēr vēlaties palaist programmu no nulles.Bieži vien jūs interesē pievienoties procesam, kas jau darbojas (piemēram, httpd līdz routersistēmas dēmons vai ražošanas pakalpojums).

Tipisks modelis ir izmantot opciju --attach no gdbservernododot portu, kurā tas klausīsies, un mērķa procesa PID. Piemēram, maršrutētājā, kurā esat kopējis gdbserver, kas kompilēts tā arhitektūrai, varat rīkoties šādi:

Komanda: gdbserver localhost:3333 --attach <pid_de_httpd>

Resursdatora pusē jūs izmantosiet gdb versiju, kas atbalsta maršrutētāja arhitektūru., piemēram gdb-multiarcharhitektūras un endianitātes iepriekšēja konfigurēšana:

Komanda: set arch mips
set endian big

Pēc tam norādiet lokālo failu, kurā ir simboli. attālā binārā faila (piemēram, file httpd) un, ja nepieciešams, jūs norādāt gdb, kur mērķa fails faktiski darbojas, izmantojot set remote exec-file /usr/bin/httpdVisbeidzot, tāpat kā iepriekš, jūs izveidojat savienojumu ar:

Komanda: target remote 192.168.0.1:3333

Kad pievienotsVarat iestatīt pārtraukuma punktus noteiktām funkcijām (piemēram, break checkFirmware), turpiniet izpildi un ļaujiet programmas parastajai plūsmai (piemēram, programmaparatūras augšupielādei no tīmekļa saskarnes) aktivizēt pārtraukumpunktu.

gdbserver izmantošana ar WinDbg operētājsistēmā Linux

Pēdējos gados Microsoft ir pievienojis atbalstu Linux procesu atkļūdošanai WinDbg Kā aizmugursistēmu tiek izmantots gdbserver. Šī funkcionalitāte ir paredzēta scenārijiem, kuros strādājat operētājsistēmā Windows, bet kods darbojas operētājsistēmā Linux (ieskaitot WSL).

Lai atkļūdotu konkrētu Linux procesu ar WinDbg, izmantojot gdbserverPlūsma būtu apmēram šāda: vispirms atrodiet mērķa procesu Linux datorā, izmantojot šādu komandu: ps -A (piemēram, a python3 (kas darbojas), pēc tam mērķī palaižat gdbserver:

Komanda: gdbserver localhost:1234 python3

Ja vide to prasa, jums, iespējams, būs jāizmanto sudo gdbserver ...ar tādiem pašiem drošības pasākumiem kā vienmēr. Kad gdbserver norāda, ka tas “Klausās 1234. portā”, WinDbg dodieties uz “Fails / Izveidot savienojumu ar attālo atkļūdotāju” un norādiet šāda veida savienojuma virkni:

Komanda: gdb:server=localhost,port=1234

WinDbg izmanto nelielu gdb protokola "draiveri", lai sazinātos ar gdbserver. un, tiklīdz savienojums ir izveidots, tas paliek apturēts šajā punktā zābaks procesa. No turienes varat izmantot tā steka logus, moduļus, atmiņu, pārtraukumpunktus, kā arī komandas, piemēram, k lai redzētu akumulatoru vai lm lai uzskaitītu moduļus (paturot prātā, ka dažas komandas sagaida PE formātu, nevis ELF, tāpēc dažos gadījumos tās var parādīt dīvainus datus).

gdbserver un WinDbg procesu serveris

Papildus viena procesa gadījumam WinDbg var izveidot savienojumu ar gdbserver, kas darbojas kā procesa serveris. lai tas darbotos līdzīgāk tam, kā tas darbojas ar attāliem Windows procesiem. Šajā režīmā gdbserver tiek palaists ar --multi un bez saistīta procesa:

Komanda: sudo gdbserver --multi localhost:1234

No WinDbg izvēlieties “Fails / Izveidot savienojumu ar procesa serveri”. un jūs atkārtoti izmantojat savienojuma virkni gdb:server=localhost,port=1234Kad savienojums ir aktīvs, varat uzskaitīt pieejamos Linux procesus un pievienoties vēlamajam procesam vai pat palaist jaunu procesu.

Jāpatur prātā viena smalka detaļa.WinDbg atšķir "procesa serveri" un "vienu mērķi" atkarībā no tā, vai gdbserver jau ir pievienots procesam, kad tas izveido savienojumu. Ja atstājāt gdbserver pievienotu procesam, aizvērāt WinDbg un pēc tam mēģinājāt atkārtoti izveidot savienojumu, tas, iespējams, netiks atpazīts kā procesa serveris, un, iespējams, būs jārestartē gdbserver.

Lai pārtrauktu procesa servera sesijuParasti pietiek vienkārši nospiest taustiņu kombināciju CTRL+D konsolē, kurā darbojas gdbserver, un apturēt atkļūdošanu no WinDbg. Dažos ārkārtas gadījumos, ja rodas sinhronizācijas problēmas, var būt nepieciešams pilnībā aizvērt atkļūdotāju un restartēt gdbserver no jauna.

Simbolu un pirmkoda pārvaldība attālinātajā atkļūdošanā

Viens no attālinātās atkļūdošanas ērtuma atslēgas elementiem ir labi izšķirta simbolu un fontu daļa.Bez simboliem navigācija kaudzē vai pārtraukuma punktu iestatīšana noteiktām funkcijām kļūst par mokām.

Klasiskos gdb + gdbserver scenārijos ir ideāli saglabāt izpildāmā faila kopiju ar simboliem resursdatorā. (neattīrīta) un avota koks. gdb neprasa, lai attālajā binārajā failā būtu simboli; pietiek ar to, ka lokālais fails, ko ielādējat ar file saskaņot attālo izpildāmo failu nobīdes līmenī.

WinDbg un Linux atkļūdošanas pasaulē ir parādījušies arī tādi pakalpojumi kā DebugInfoD.kas parāda simbolus un fontus, izmantojot HTTP. WinDbg var izmantot īpašus ceļus, kuru tips ir DebugInfoD*https://debuginfod.elfutils.org abi .sympath kā .srcpath lai lejupielādētu DWARF simbolus un Linux ELF bināro failu pirmkodu pēc pieprasījuma.

Konkrētā WSL piemērā, kur lietotāja kods atrodas zem C:\Users\Bob\Jūs varētu pateikt WinDbg:

Komanda: .sympath C:\Users\Bob\
.srcpath C:\Users\Bob\

Un, ja vēlaties izmantot arī DebugInfoD sistēmas binārajiem failiem:

Komanda: .sympath+ DebugInfoD*https://debuginfod.elfutils.org
.srcpath+ DebugInfoD*https://debuginfod.elfutils.org

Izmantojot šo konfigurāciju, pārbaudot steku vai ievadot libc funkcijasWinDbg var mēģināt lejupielādēt atbilstošos DWARF simbolus un, ja serveris arī atklāj kodu, parādīt pirmkodu ievērojamā detalizētībā, lai gan iekšēji Windows rīkjosla neapstrādā ELF un DWARF tik "natīvi" kā PE un PDB.

Praktisks piemērs: C++ programmas atkļūdošana ar gdbserver un WinDbg

Ilustrējošs piemērs ir neliela C++ lietojumprogramma, kas ekrānā raksta sveicienu., kompilēts WSL valodā ar atkļūdošanas simboliem. Iedomājieties programmu, kas rezervē std::array<wchar_t, 50> un tajā iekopē garāku ziņojumu, kā rezultātā teksts tiek saīsināts un parādās rakstzīmes ???? beigās

Pēc kompilēšanas ar kaut ko līdzīgu:

Komanda: g++ DisplayGreeting.cpp -g -o DisplayGreeting

Jūs startējat gdbserver pret šo bināro failu:

Komanda: gdbserver localhost:1234 DisplayGreeting

WinDbg jūs izveidojat savienojumu ar virkni gdb:server=localhost,port=1234 Kad sesija ir izveidota un simbolu un fontu ceļi ir konfigurēti, jūs iestatāt pārtraukuma punktu DisplayGreeting!mainjūs varat izmantot dx greeting lai pārbaudītu lokālo masīvu un redzētu tā izmēru (50 pozīcijas), un vizuāli pārbaudītu atmiņas cilnē vai mainīgo skatā, kā tiek nogriezts sveiciens.

Šī piemēra skaistums slēpjas apstāklī, ka tas parāda, ka pat bez pilnīga atbalsta visiem ELF/DWARF formātiem WinDbgIzmantojot gdbserver kā attālinātu aizmugures sistēmu, varat ērti pārvietoties pa stekiem, pārbaudīt tipus, iestatīt pārtraukuma punktus pēc funkcijas nosaukuma un pārvietoties pa C++ kodu.

Linux kodola atkļūdošana ar qemu un gdb

gdbserver netiek izmantots tikai lietotāja režīmā; ir arī ļoti spēcīgi scenāriji kodola režīmā.it īpaši, ja apvienojat QEMU ar atkļūdošanas atbalstu. Lai gan šeit “gdbserver” lomu pilda paša QEMU opcija, pieeja ir identiska: viens gals palaiž atkļūdojamo sistēmu un atver gdb portu; otrs gals ir vai nu gdb, vai atkļūdotājs, kas runā attālajā protokolā.

Lai atkļūdotu kodolu, tas ir jākompilē ar īpašām atkļūdošanas opcijām.: aktivizēt atkļūdošanas informācijas ģenerēšanu (CONFIG_DEBUG_INFO), GDB kodola skripti (CONFIG_GDB_SCRIPTS) un kodola paša atkļūdošanas režīmu (CONFIG_DEBUG_KERNELIr svarīgi arī atspējot opcijas, kas saistīšanas laikā noņem simbolus, piemēram, "Noņemt asemblera ģenerētos simbolus saistīšanas laikā".

Pēc kompilēšanas jūs iegūsiet bināro failu vmlinux "nav atkailināts"kuru izmantosiet no gdb. Jums ir nepieciešams arī pamata initramfs, ko varat ģenerēt ar šādu komandu:

Komanda: mkinitramfs -o ramdisk.img

Pēc tam jūs sākat QEMU ar atkļūdošanas parametriemTipisks piemērs ietver opciju -gdb tcp::1234 lai atvērtu ar gdb saderīgu attālo galapunktu un -S lai virtuālā mašīna sāktu darboties ar pauzi no paša sākuma. Jūs arī norādāt kodolu ar -kernel vmlinux, -initrd ramdisk.img, atmiņa ar -m 512 un parasti jūs novirzāt konsoli uz ttyS0 lai pārvaldītu visu no termināls.

Ar QEMU aizturēts, gaidot GDBNo resursdatora jūs sākat gdb norādīt uz vmlinux un jūs savienojaties ar target remote localhost:1234No turienes jūs varat iestatīt agrīnus pārtraukuma punktus, piemēram, hb start_kernelun kontrolējiet izpildi ar tādām komandām kā c (turpināt) un CTRL+C, lai vēlreiz apturētu.

Jaunākās izmaiņas un nianses gdb un gdbserver

Mūsdienu distribūcijās, piemēram, Red Hat Enterprise Linux 8, ir vairākas izmaiņas gdb un gdbserver, kuras ir vērts paturēt prātā.it īpaši, ja izmantojat iepriekšējās versijas vai jums ir skripti, kas analizē atkļūdotāja izvadi.

No vienas puses, gdbserver tagad sāk “zemākos” procesus, izmantojot čauluTāpat kā gdb, arī šis ļauj komandrindā veikt mainīgo paplašināšanu un aizstāšanu. Ja kāda iemesla dēļ jums ir jāatspējo šī darbība, RHEL 8 ir dokumentēti īpaši iestatījumi, lai atgrieztos iepriekšējā režīmā.

Vairākas lietas ir arī noņemtas vai mainītas: atkļūdošanas atbalsts Java programmām, kas kompilētas ar gcj, HP-UX XDB saderības režīmā, komandas, piemēram, set remotebaud (aizstāts ar set serial baud) vai saderību ar noteiktu vecāku formātu stabsTurklāt pavedienu numerācija vairs nav globāla, bet gan pa "zemākiem" pavedieniem, un tā parādās kā inferior_num.thread_num, ar jauniem ērtības mainīgajiem, piemēram, $_gthread lai atsauktos uz globālo identifikatoru.

Vēl viena būtiska jauna funkcija ir regulēšana max-value-sizeTas ierobežo atmiņas apjomu, ko gdb var piešķirt vērtības satura attēlošanai. Noklusējuma vērtība ir 64 KiB, tāpēc mēģinājumi izdrukāt milzīgus masīvus vai masīvas struktūras var izraisīt brīdinājumu "vērtība ir pārāk liela", nevis visas pieejamās atmiņas attēlošanu.

Ir arī pielāgots, kā gdb apstrādā sysrootNoklusējuma vērtība tagad ir target:Tas nozīmē, ka attāliem procesiem tas vispirms mēģinās atrast bibliotēkas un simbolus mērķa sistēmā. Ja vēlaties, lai tas piešķirtu prioritāti lokālajiem simboliem, jums vajadzētu palaist set sysroot ar maršrutu, kas jūs interesē, pirms došanās ceļā target remote.

Attiecībā uz komandu vēsturi tagad tiek izmantots vides mainīgais GDBHISTSIZE vietā HISTSIZETas ļauj precīzi noregulēt, cik ilgi vēlaties saglabāt atkļūdošanas sesijās ierakstītās komandas, netraucējot citu lietojumprogrammu darbību, kas izmanto rindiņu lasīšanas bibliotēku.

Darbplūsmas padomi un problēmu novēršana, izmantojot gdbserver

Lai nodrošinātu ērtu darbplūsmu, ir daži modeļi, kas parasti darbojas ļoti labi. Izstrādājot iegultajām sistēmām vai attāliem serveriem, pirmais solis ir pēc iespējas automatizēt simbolu kompilāciju un bināro failu izvietošanu mērķī. Tādā veidā jūs vienmēr zināt, kura izpildāmā faila versija darbojas, un simbola kopija ir viegli pieejama resursdatorā.

Vidēs ar daudziem avārijas kodoliem ir vērts iemācīties lietot gdb pakešrežīmā.ar tādiem karogiem kā --batch, --ex y -x lai automātiski palaistu komandas kodolu sarakstā un apstrādātu to atpakaļizsekojumus no skriptiem (piemēram, PitonsTas ļauj ātri filtrēt atkārtotas problēmas, grupēt kļūmes pēc kaudzes izsekošanas utt.

Ja rodas problēmas ar attālo savienojumu, opcija --debug gdbserver ir tavs labākais draugsJa, piemēram, startējat procesu serveri ar:

Komanda: gdbserver --debug --multi localhost:1234

gdbserver konsolē tiks parādītas detalizētas notiekošā izsekošanas. Attālā protokola līmenī tas ietver ienākošās paketes, formatēšanas kļūdas, atvienošanas problēmas utt. Tas ir ļoti noderīgi, ja jūsu gdb serveris pēkšņi atvienojas, process avarē, tiklīdz tiek iestatīts pārtraukuma punkts, vai jūsu atkļūdošanas grafiskā lietotāja saskarne nosūta kaut ko tādu, ko gdbserver nesaprot.

Tādos kontekstos kā TP-Link maršrutētājs, kur pievienojat gdbserver kritiskam procesam, piemēram, httpdIr samērā bieži, ka daži pārtraukumpunkti rada sacensību nosacījumus vai sargsuņus, kas pārtrauc procesu, ja tas pārāk ilgi "iestrēgst" atkļūdotājā. Šādās situācijās var būt nepieciešams pielāgot, kuri signāli tiek bloķēti, kuri pavedieni tiek kontrolēti un, ja nepieciešams, modificēt pašu sistēmas konfigurāciju (taimauta laikus, aparatūras sargsuņus), lai nodrošinātu ilgākas atkļūdošanas sesijas.

Gdbserver laba lietošana ietver vairāku daļu apvienošanuKompilējiet ar atbilstošiem simboliem, izvēlieties arhitektūrai pareizo gdb, konfigurējiet simbolu un avota ceļus, izprotiet divus galvenos gdbserver režīmus (vienprocesa un vairāku procesu) un nebaidieties izmantot šo režīmu. --debug kad savienojums nedarbojas, kā paredzēts. Ar šo pamatu lietojumprogrammu, kas darbojas attālā Linux sistēmā, maršrutētājā vai virtuālajā mašīnā ar pielāgotu kodolu no datora, atkļūdošana kļūst diezgan ikdienišķa un, pats galvenais, neticami noderīga.