Mašīnmācīšanās ar Python: pilnīgs ceļvedis spāņu valodā

Ja jūs to lasāt, tas ir tāpēc, ka mašīnmācīšanās ar Python ir piesaistījusi jūsu interesi un jūs vēlaties iet tālu aiz tipiskajiem rotaļlietu piemēriem. Turpmākajās rindās jūs atradīsiet pilnīgu, praktisku un pamatotu pārskatu par metodēm un bibliotēkām, ko datu zinātnieki izmanto ikdienā: sākot no lineārās regresijas un lēmumu kokiem līdz optimizācijai ar ģenētiskajiem algoritmiem, anomāliju noteikšanai un ieteikumu sistēmām.

Mērķis ir sniegt jums visu svarīgāko materiālu mašīnmācīšanās apguvei Python valodā vienuviet , izprotot, kādu problēmu katrs algoritms risina, kuras bibliotēkas tiek izmantotas praksē (Scikit-learn, TensorFlow, Keras, PyTorch, H2O, SciPy utt.) un kā tās iederas reālos projektos: finanses, mārketings, laika rindas, kartes, teksts, datorredze… Gatavojieties, jo sekos labs pārskats, kas izskaidrots skaidrā spāņu valodā un draudzīgā tonī.

Kas ir mašīnmācīšanās un kāpēc Python ir kļuvis par standartu?

Runājot par mašīnmācīšanos, mēs domājam metožu kopumu, kas ļauj sistēmai mācīties modeļus no datiem, mums neprogrammējot to ar skaidri definētiem noteikumiem . Tā vietā, lai teiktu: "ja notiek A, dariet B", mēs sniedzam vēsturiskus piemērus un ļaujam algoritmam pilnveidot matemātisku modeli, kas saista ievades un izvades datus.

Mašīnmācīšanās ietvaros mēs parasti izšķiram trīs galvenās problēmu grupas: uzraudzīta mācīšanās (klasifikācija un regresija ar marķētiem datiem), neuzraudzīta mācīšanās (klasterizācija, dimensiju samazināšana, slēptās struktūras noteikšana) un pastiprinājuma mācīšanās (aģenti, kas mācās, izmantojot atlīdzības un sodus). Katra grupa ir vispiemērotākā cita veida biznesa problēmai.

Python ir kļuvis par mašīnmācīšanās karali, jo tas apvieno vienkāršu sintaksi, milzīgu kopienu un masīvu bibliotēkas ekosistēmu . Ar tikai dažām koda rindiņām jūs varat pāriet no CSV faila ielādes ar Pandas līdz modeļa apmācībai ar Scikit-learn, rezultātu vizualizācijai ar Matplotlib vai neironu tīkla izvietošanai ar TensorFlow vai PyTorch. Turklāt tas nemanāmi integrējas ar lielo datu rīkiem un ražošanas vidēm.

Mašīnmācīšanās pamata darba vide un bibliotēkas

Lai ērti strādātu ar datu projektiem, izmantojot Python, vispraktiskākā pieeja ir izveidot vidi, kas ietver Python, pakotņu pārvaldnieku, Jupyter un pamata zinātniskās bibliotēkas . Anaconda vai Miniconda ir ļoti izplatītas izvēles, jo tām jau ir iepriekšinstalēta liela daļa šīs ekosistēmas.

Ieteicams katru projektu izolēt atsevišķā virtuālajā vidē (izmantojot conda vai venv), lai izvairītos no versiju konfliktiem starp pakotnēm. Tas ļaus, piemēram, vienam projektam izveidot vienu TensorFlow versiju, bet citam — citu, neradot bojājumus.

Interaktīvajai daļai daudzi profesionāļi izmanto Jupyter Notebook vai JupyterLab , kas ļauj vienā dokumentā apvienot kodu, tekstu, formulas un grafiku. Lieliem projektiem tāda IDE kā VS Code vai PyCharm nodrošina uzlabotu automātisko pabeigšanu, refaktorēšanu un stabilāku atkļūdošanu.

Runājot par bibliotēkām, ir kopums, kas praktiski ir jāapgūst: NumPy, Pandas, Matplotlib, Seaborn un SciPy . Visjaudīgākie mašīnmācīšanās rīki, kurus mēs redzēsim vēlāk, ir veidoti, balstoties uz tām.

NumPy: gandrīz visa skaitliskā bāze

NumPy ievieš ndarray objektu — atmiņu taupošu daudzdimensionālu masīvu, kas ļauj darboties ar lielu skaitlisku datu apjomu vektorizētā veidā, neizmantojot Python valodā tieši cilpas. Tā dizains ir paredzēts, lai darbības varētu izpildīt, izmantojot C/Fortran implementācijas, kā rezultātā tiek panākts ievērojams veiktspējas pieaugums salīdzinājumā ar vietējiem sarakstiem.

Ar NumPy var ļoti kompaktā veidā veikt algebriskas operācijas ar vektoriem un matricām : skalāros reizinājumus, matricu reizināšanas, transponēšanas, determinantus, īpašvērtības un īpašvektorus, kā arī ģenerēt sintētiskus datus, ievērojot dažādus varbūtības sadalījumus testiem un simulācijām.

Pandas: datu manipulācija un analīze

Pandas ir galvenais rīks darbam ar tabulāriem datiem un laika rindām Python valodā . Tā galvenā struktūra ir DataFrame, kas ir ļoti līdzīgs datubāzes tabulai vai izklājlapai ar tipizētām kolonnām un rindu etiķetēm.

DataFrame var darīt gandrīz jebko: lasīt un rakstīt no vairākiem formātiem (CSV, Excel, SQL, Parquet…), veikt nosacītu filtrēšanu, grupēšanu, tabulu savienošanu, trūkstošo vērtību apstrādi, kolonnu transformācijas un vektorizētas darbības, kuras iekšēji atbalsta NumPy.

Turklāt Pandas nemanāmi integrējas ar citām ekosistēmas bibliotēkām, padarot to par datu pirmapstrādes plūsmas centrālo komponentu pirms mašīnmācīšanās modeļu pievienošanas.

Matplotlib un Seaborn: rezultātu vizualizācija

Matplotlib ir klasiska bibliotēka divdimensiju grafiku ģenerēšanai , izmantojot Python. Lai gan tās API sākumā var būt nedaudz gari izstiepta, tā ļauj veidot visu, sākot no vienkāršām līniju diagrammām līdz histogrammām, lodziņu diagrammām, izkliedes diagrammām, siltuma kartēm un sakrautām zonām.

Seaborn paļaujas uz Matplotlib, kas piedāvā augsta līmeņa slāni sarežģītāku statistisko vizualizāciju (korelācijas matricu, locītavu sadalījumu, vijoles diagrammu utt.) izveidei ar ļoti mazu koda apjomu un pievilcīgāku vizuālo stilu standarta aprīkojumā.

SciPy: Zinātniskā skaitļošana un optimizācija

SciPy papildina zinātnisko paketi, nodrošinot augsta līmeņa matemātiskas rutīnas optimizācijai, interpolācijai, skaitliskai integrācijai, diferenciālvienādojumu risināšanai, uzlabotai statistikai un citām darbībām. Tā ir veidota uz NumPy bāzes un izmanto ļoti optimizētas implementācijas, kas rakstītas C, C++ vai Fortran valodā.

Mašīnmācībā tas ir īpaši noderīgi optimizācijas problēmu risināšanai , piemēram, pielāgojot parametrus, izmantojot sarežģītas izmaksu funkcijas, vai statistiskiem aprēķiniem, kas pārsniedz NumPy iespējas.

Scikit-learn: klasiskās mašīnmācīšanās Šveices armijas nazis

Scikit-learn, iespējams, ir vissvarīgākā bibliotēka, ja sākat darbu ar mašīnmācīšanās modeļiem Python valodā . Tā piedāvā milzīgu uzraudzītu un neuzraudzītu algoritmu kolekciju ar ļoti konsekventu API, kas atvieglo modeļu pārslēgšanu ar minimālām izmaiņām pārējā kodā.

Ar to jūs varat risināt klasifikāciju, regresiju, klasterizāciju, dimensiju samazināšanu, mainīgo atlasi, varbūtības kalibrēšanu un modeļa novērtēšanu, vienmēr izmantojot to raksturojošo atbilstības/prognozēšanas/vērtēšanas shēmu.

Regresijas modeļi: lineārie, daudzkārtējie, loģistiskie un regularizācijas

Lineārā regresija ir klasisks sākumpunkts skaitlisku mainīgo (mājas cenas, enerģijas patēriņa, pārdošanas apjomu) prognozēšanai. Ar Python to var ieviest, izmantojot Scikit-learn vai Statsmodels, kas piedāvā arī statistiskāku pieeju ar ticamības intervāliem un nozīmīguma testiem.

Kad ir vairāki skaidrojošie mainīgie, pāriet uz vairāku lineāru regresiju , kur spēlē lomu multikolinearitāte, un kļūst vēl svarīgāk izmantot tādus rīkus kā Statsmodels, lai interpretētu koeficientus, standarta kļūdas un p-vērtības vai pielietotu mainīgo atlases metodes.

Loģistiskā regresija, neskatoties uz tās nosaukumu, tiek izmantota binārās klasifikācijas problēmām (jā/nē, klientu aizplūšana/nav klientu aizplūšanas, krāpšana/nav krāpšanas). Scikit-learn un Statsmodels ļauj apmācīt šos modeļus un iegūt ar katru klasi saistītās varbūtības, kuras pēc tam var kalibrēt, ja nepieciešams.

Lai izvairītos no pārmērīgas pielāgošanas un uzlabotu vispārināšanu, lineārajiem modeļiem parasti tiek piemērota regularizācija : Ridge (L2 sods), Lasso (L1 sods) un Elastic Net (abu kombinācija). Tie ir ieviesti Scikit-learn un ir ļoti noderīgi kontekstos ar daudziem mainīgajiem vai ar spēcīgu korelāciju starp prognozētājiem.

Lēmumu koki, nejaušais mežs un gradienta pastiprināšana

Lēmumu koki ir ļoti intuitīvi, jo tie sadala pazīmju telpu "ja...tad..." noteikumos , kurus var attēlot kā hierarhisku diagrammu. Scikit-learn piedāvā gan regresijas, gan klasifikācijas ieviešanu.

Random Forest veido daudzus kokus, izmantojot dažādas datu un funkciju apakškopas, un aprēķina to prognožu vidējo vērtību, kas parasti rada ļoti stabilus un augstas veiktspējas modeļus , īpaši, ja hiperparametri tiek noregulēti ar zināmu rūpību.

Izmantojot Python, jūs varat apmācīt Random Forest pat mazāk "tīros" scenārijos, piemēram, ja ir nulles vērtības vai kategoriski mainīgie . Šādos gadījumos jums jāizlemj, vai imputēt vērtības, kodēt kategorijas (vienreizēja, mērķa kodēšana utt.) vai izmantot bibliotēkas, kas tiešāk atbalsta kategoriskos mainīgos.

Varat arī spert soli tālāk ar tādām metodēm kā kvantiļu regresija ar Random Forest , kas ļauj novērtēt ne tikai punkta prognozi, bet arī prognozēšanas intervālus (piemēram, 5., 50. un 95. procentīles), lai kvantitatīvi noteiktu modeļa nenoteiktību.

Gradienta pastiprināšana ir vēl viena metožu saime, kurā koki tiek apmācīti secīgi , katram kokam mēģinot labot iepriekšējā koka kļūdas. Python valodā ir pieejama Scikit-learn gradienta pastiprināšana un sarežģītākas versijas (XGBoost, LightGBM, CatBoost), kas bieži vien ir ļoti spēcīgi rīki sacensībās un reālos projektos.

Varbūtības modeļi un kalibrēšana

Dažos kontekstos nepietiek tikai ar klases vai vidējās vērtības prognozēšanu; ir nepieciešams pilnīgs rezultāta varbūtības sadalījums . Šeit noder tādi modeļi kā NGBoost (Natural Gradient Boosting), kas ģenerē varbūtības prognozes un ļauj labāk kvantitatīvi noteikt nenoteiktību.

Pat "klasiskajos" klasifikācijas modeļos ir ierasts, ka to atgrieztās varbūtības ir slikti kalibrētas: 0,9 patiesībā var neatspoguļot 90% varbūtību piederēt pozitīvajai klasei. Izmantojot Scikit-learn, varat izmantot modeļu kalibrēšanas metodes (Platt mērogošana, izotoniskā regresija), lai labāk saskaņotu šīs varbūtības ar realitāti.

SVM, klasiskie neironu tīkli un mainīgo atlase

Atbalsta vektoru mašīnas (SVM) ir ļoti daudzpusīgi klasifikācijas un regresijas modeļi ar maksimālām rezervēm , īpaši jaudīgi apvienojumā ar kodoliem, kas ļauj strādāt augstākas dimensijas telpās bez tiešām izmaksām.

Scikit-learn piedāvā arī daudzslāņu perceptrona (MLP) neironu tīklu implementācijas , kas, lai gan nav tik elastīgas kā tās, kas veidotas ar TensorFlow vai PyTorch, ļoti labi kalpo kā ieejas punkts tīklu pasaulē un labi darbojas daudzu tabulāru problēmu risināšanā.

Ja ir daudz funkciju, mainīgo atlase ir galvenais faktors . Python valodā ir gan pamatmetodes (viendimensiju atlase, RFE, uz modeļiem balstītas metodes), gan īpašas bibliotēkas, kas novērtē, kuri prognozētāji faktiski sniedz informāciju modelim.

Interpretējamība: ICE, PDP un asociācijas noteikumi

Profesionālā vidē "melnās kastes" modelis reti tiek pieņemts bez turpmākas analīzes. Tāpēc modeļa interpretācijas rīki ir tik svarīgi . ICE (individuālās nosacītās cerības) diagrammas parāda, kā mainās konkrēta indivīda prognoze, mainot mainīgo, savukārt PDP (daļējas atkarības diagrammas) parāda pazīmes vidējo ietekmi uz modeļa rezultātu.

Citā, bet cieši saistītā modeļu analīzes jomā ir asociācijas noteikumi un biežas preču kopas , kas ir raksturīgas iepirkumu groza analīzei. Izmantojot Python, var iegūt tādas attiecības kā "tie, kas pērk A un B, parasti pērk C", ko pēc tam var izmantot vienkāršiem ieteikumiem vai klientu uzvedības labākai izpratnei.

Nepārraudzīta mācīšanās: klasterizācija, dimensiju samazināšana un anomālijas

Nepārraudzīta mācīšanās nodarbojas ar situācijām, kurās jums nav etiķešu un jūsu mērķis ir atklāt datu struktūru: līdzīgas grupas, galvenos mainīguma virzienus vai punktus, kas uzvedas anomāli.

Scikit-learn ietver visbiežāk izmantotos klasterizācijas algoritmus: K-vidējos algoritmus, hierarhisko klasterizāciju, DBSCAN un Gausa jaukto modeļus , kā arī citus. Katram no tiem ir savas priekšrocības un ierobežojumi; piemēram, K-vidējo algoritms labi darbojas ar kompaktiem un sfēriskiem klasteriem, savukārt DBSCAN nosaka patvaļīgas formas un novirzes, un Gausa jaukto modeļu algoritmi ļauj modelēt katru klasteri kā atšķirīgu Gausa sadalījumu.

Galveno komponentu analīze (PCA) ir fundamentāls rīks dimensiju samazināšanai un datu vienkāršošanai ar daudziem mainīgajiem . Tā ļauj projicēt datus zemākas dimensijas telpā, vienlaikus saglabājot lielāko daļu dispersijas, kas palīdz gan vizualizēt datus, gan paātrināt citus algoritmus.

Interesanti, ka PCA var izmantot arī anomāliju noteikšanai : ja normālos datus projicējat uz galveno apakštelpu, punkti, kas būtiski atšķiras no šīs rekonstrukcijas, parasti ir novirzes. Šo pieeju var papildināt ar citām metodēm, piemēram, Gausa jaukto modeļu, izolācijas meža vai pat uz neironu tīkliem balstītiem autoenkoderiem.

Piemēram, izolācijas mežs izolē novērojumus, izmantojot nejaušus kokus, un nosaka anomālus punktus pēc tā, cik viegli tie atdalās no pārējiem . Savukārt automātiskie kodētāji iemācās rekonstruēt "normālus" datus un atzīmē kā aizdomīgus tos gadījumus, kad rekonstrukcijas kļūda ir ļoti augsta.

Dziļā mācīšanās ar TensorFlow, Keras un PyTorch

Ja dati sastāv no attēliem, audio, teksta vai sarežģītiem signāliem un ja ir pietiekams informācijas apjoms, spēlē lomu dziļā mācīšanās . Python valodā divas galvenās platformas ir TensorFlow (ar Keras kā augsta līmeņa API) un PyTorch. Pastāv arī interese par sadarbības mākslīgā intelekta aģentiem.

Google izstrādāja TensorFlow kā bibliotēku grafu balstītiem skaitliskiem aprēķiniem ar atbalstu centrālajam procesoram (CPU), grafiskajam procesoram (GPU) un izkliedētai izpildei. Sarežģīti modeļi tiek definēti, izmantojot tenzorus un operācijas, un dzinējs apstrādā gradientu aprēķinus un parametru atjauninājumus.

Keras radās kā abstrakcijas slānis, lai atvieglotu neironu tīklu izveidi: tas ļāva izstrādātājiem pāriet no simtiem koda rindiņu uz tikai dažām desmitiem, lai izveidotu daudzslāņu arhitektūras. Mūsdienās tas ir integrēts TensorFlow (tf.keras) un joprojām ir ērtākais veids, kā definēt, kompilēt, apmācīt un novērtēt dziļās mācīšanās modeļus.

Savukārt PyTorch kļuva populārs, pateicoties tā dinamiskajai pieejai grafu aprēķināšanai un "īstas Python programmēšanas" sajūtai , padarot to ļoti pievilcīgu pētniecībai. Ar tā palīdzību var definēt modeļu klases tā, it kā tās būtu parasti moduļi, vienlaikus izmantojot GPU paātrinājumu un automātisko labošanu.

Ar šīm bibliotēkām var veidot visu, sākot no blīviem tīkliem regresijai līdz konvolucionāriem modeļiem redzei , secīgiem modeļiem laika rindām un NLP, autoenkoderiem dimensiju samazināšanai vai anomāliju noteikšanai, kā arī modernākām arhitektūrām pārneses apguvei un semantiskai meklēšanai.

Paplašinātas lietojumprogrammas: teksts, datorredze, kartes un ieteikumi

Kad esat apguvis pamatus, Python ļauj risināt problēmas teksta ieguvē, datorredzē, ģeotelpiskajā analīzē , IoT Edge izvietošanā un ieteikumu sistēmās, izmantojot bibliotēku un iepriekš apmācītu modeļu kombinācijas.

Teksta analīzē var izmantot klasiskās valodas apstrādes (NLP) metodes (tokenizāciju, tīrīšanu, funkciju ieguvi) vai izmantot modernas iegulšanas metodes. Papildus tam var veidot modeļus noskaņojuma analīzei, ziņojumu klasificēšanai vai tēmu noteikšanai , piemēram, izmantojot tvītus kā datu avotu.

Datorredzē dziļo neironu tīklu izmantošana ļauj veikt tādus uzdevumus kā cilvēku atpazīšana un identificēšana attēlos un video . Izmantojot iepriekš apmācītus dziļās mācīšanās modeļus (un pārneses mācīšanās metodes), jūs varat pielāgot sejas atpazīšanas sistēmas Python valodā, neapmācot milzīgu tīklu no nulles.

Ģeotelpisko datu lietojumprogrammām pastāv bibliotēkas, kas ļauj iegūt un apstrādāt interesējošos punktus no OpenStreetMap un apvienot šo informāciju ar saviem datiem (klientu blīvums, satiksme, konkurence). Tas paver durvis uzņēmumu atrašanās vietas analīzei, optimāliem maršrutiem, pilsētvides pētījumiem un digitālajiem dvīņiem.

Ieteikumos varat pārsniegt tipiskos sadarbības filtrus un ieviest pārneses mācīšanos un semantisko meklēšanu . Piemēram, varat ģenerēt vīna ieteikumus, pamatojoties uz teksta aprakstiem, lietotāju atsauksmēm un produktu īpašībām, izmantojot iegultos elementus, kas fiksē semantiskās līdzības starp precēm.

Laika rindas, optimizācija un evolūcijas algoritmi

Mašīnmācīšanās ar Python neaprobežojas tikai ar etiķešu prognozēšanu; to izmanto arī laika prognozēšanai un optimālai lēmumu pieņemšanai kontekstos ar vairākiem ierobežojumiem.

Viena ļoti praktiska pieeja ir laika rindu prognozēšana, izmantojot Scikit-learn regresijas modeļus. Tā vietā, lai vienmēr paļautos uz klasiskiem modeļiem, piemēram, ARIMA, varat izveidot funkcijas, kuru pamatā ir nobīdes, slīdošie vidējie rādītāji, sezonalitāte, kalendāri utt., un iekļaut tās regresijas modeļos vai ansambļos, lai iegūtu elastīgākas prognozes.

Optimizācijas jomā Python piedāvā tādus rīkus kā Pyomo lineāru un veselu skaitļu programmēšanas problēmu formulēšanai , ko var pielietot grafiku un laika grafiku optimizēšanai, resursu sadalei, ražošanas plānošanai vai darba slodzes sadalei starp dažādām biznesa vienībām.

Varat arī iekļaut metaheiristiskas pieejas, piemēram, ģenētiskos algoritmus (GA) vai daļiņu bara optimizāciju (PSO). Tās var izmantot, lai optimizētu mārketinga kampaņu budžetus, atlasītu prognozējošo mainīgo apakškopas vai risinātu sarežģītas problēmas, kurās izmaksu funkcija ir nelineāra un tai ir daudz lokālu optimu.

Finanšu jautājumos mašīnmācīšanās ir izmantota, lai palīdzētu pieņemt lēmumus attiecībā uz tādiem indeksiem kā S&P 500 , apvienojot prognozējošos modeļus ar riska pārvaldības un portfeļa optimizācijas metodēm. Šeit galvenais ir vienmēr rūpīgi uzraudzīt pārmērīgu pielāgošanos un informācijas noplūdi laikā.

Modeļu novērtēšana, bieži sastopamās kļūdas un interpretācija

Modeļa izveide ir tikai puse no darba; otra puse ir novērtēt, vai tas patiešām labi vispārināms jauniem datiem . Tāpēc ir svarīgi skaidri nodalīt apmācību, validāciju un testēšanu, kā arī izmantot tādas metodes kā krustvalidācija.

Klasifikācijā tādi rādītāji kā precizitāte, atcerēšanās spēja, F1, ROC līkne un AUC parasti sniedz pilnīgāku priekšstatu nekā vienkārša precizitāte, īpaši, ja klases ir nelīdzsvarotas (piemēram, krāpšanas atklāšana, kur pozitīvā klase ir ļoti maza).

Regresijas analīzē tiek izmantoti tādi mērījumi kā MSE, RMSE, MAE vai R² , katram ar savām niansēm. Atkarībā no uzņēmuma var būt svarīgi līdz minimumam samazināt viena vai otra veida kļūdas vai pat izstrādāt konkrētu rādītāju, kas atbilst faktiskajai ekonomiskajai ietekmei.

Starp visbiežāk pieļautajām kļūdām, sākot darbu, ir nepietiekams laiks datu izpētei un izpratnei , pārmērīgas pielāgošanas jaukšana ar nepietiekamu pielāgošanu, nepiemērotu metriku izvēle un datu noplūdes izraisīšana (piemēram, mērogošana pirms sadalīšanas vilcienā/testā vai nākotnes informācijas izmantošana pagaidu problēmu risināšanai).

Visbeidzot, interpretējamība un spēja izskaidrot rezultātus cilvēkiem bez tehniskām zināšanām ir kļuvusi par galvenajām prasībām daudzās organizācijās. Sākot ar ICE un PDP diagrammām un beidzot ar mainīgo svarīguma tabulām un lokāliem skaidrojumiem, Python piedāvā virkni rīku, lai nodrošinātu, ka jūsu modeļi nav nesaprotama melnā kaste.

Visa šī metožu, bibliotēku un lietojumprogrammu ekosistēma padara darbu ar mašīnmācīšanos Python valodā par ļoti spēcīgu statistikas teorijas, praktiskās programmēšanas un reālās pasaules problēmu risināšanas apvienojumu: jo labāk jūs iepazīsities ar šiem pamatelementiem, jo ​​vieglāk būs salikt pareizās daļas kopā katram jūsu uzsāktajam projektam.