Машинное обучение с использованием Python: полное руководство на испанском языке.

Если вы это читаете, значит, Машинное обучение с использованием Python Ваше любопытство разбужено, и вы хотите выйти далеко за рамки типичных примеров. В следующих строках вы найдете полный, практичный и обоснованный обзор методов и библиотек, которые ежедневно используют специалисты по анализу данных: от линейной регрессии и деревьев решений до оптимизации с помощью генетических алгоритмов, обнаружения аномалий и рекомендательных систем.

Цель состоит в том, чтобы собрать весь ключевой материал в одном месте. Изучите машинное обучение на Python.Разберитесь, какую задачу решает каждый алгоритм, какие библиотеки используются на практике (Scikit-learn, TensorFlow, Keras, PyTorch, H2O, SciPy и т. д.) и как они вписываются в реальные проекты: финансы, маркетинг, временные ряды, карты, текст, компьютерное зрение… Приготовьтесь, вас ждет хороший обзор, но объясненный на понятном испанском языке и в дружелюбном тоне.

Что такое машинное обучение и почему Python стал стандартом?

Когда мы говорим о машинном обучении, мы имеем в виду набор методов, которые позволяют системе Изучайте закономерности в данных без необходимости программирования для этого явных правил.Вместо того чтобы говорить алгоритму: «Если произойдет А, сделай Б», мы приводим исторические примеры и позволяем алгоритму корректировать математическую модель, которая связывает входные и выходные данные.

В рамках машинного обучения мы обычно выделяем три основные группы задач: контролируемое обучение (классификация и регрессия с использованием размеченных данных), неконтролируемое обучение (кластеризация, снижение размерности, обнаружение скрытых структур) и обучение с подкреплением (агенты, обучающиеся посредством вознаграждений и наказаний). Каждая группа лучше всего подходит для решения определенного типа бизнес-задач.

Python стал королем машинного обучения, потому что он сочетает в себе Простой синтаксис, огромное сообщество и фантастическая библиотечная экосистема.Всего несколькими строками кода вы можете перейти от загрузки CSV-файла с помощью Pandas к обучению модели с помощью Scikit-learn, визуализации результатов с помощью Matplotlib или развертыванию нейронной сети с помощью TensorFlow или PyTorch. Кроме того, он легко интегрируется с инструментами обработки больших данных и производственными средами.

Базовая рабочая среда и библиотеки для машинного обучения.

Для комфортной работы над проектами, связанными с данными, с использованием Python, наиболее практичным решением будет настройка среды, включающей в себя Python, менеджер пакетов, Jupyter и базовые научные библиотеки.Anaconda или Miniconda — очень распространённые варианты, поскольку в них уже предустановлена ​​значительная часть этой экосистемы.

Рекомендуется рассматривать каждый проект отдельно. виртуальная среда (используя conda или venv), чтобы избежать конфликтов версий между пакетами. Это позволит вам, например, иметь один проект с одной версией TensorFlow, а другой — с другой, без каких-либо сбоев.

Для интерактивной части многие специалисты используют Jupyter Notebook или JupyterLabЭти инструменты позволяют объединять код, текст, формулы и графику в одном документе. Для крупных проектов IDE, такие как VS Code или PyCharm, предоставляют расширенные возможности автозавершения кода, рефакторинга и более эффективную отладку.

Что касается библиотек, то существует набор, освоение которого практически обязательно: NumPy, Pandas, Matplotlib, Seaborn и SciPyНа основе всего этого создаются самые мощные инструменты машинного обучения, которые мы рассмотрим позже.

NumPy: числовая база практически для всего.

NumPy представляет объект ndarray, многомерный массив Он очень эффективен с точки зрения использования памяти, позволяя работать с большими объемами числовых данных векторизованным способом, без явных циклов в Python. Его конструкция предназначена для выполнения операций, реализованных на C/Fortran, что приводит к значительному повышению производительности по сравнению с нативными списками.

С помощью NumPy это можно сделать очень компактно. алгебраические операции с векторами и матрицами: скалярные произведения, умножение матриц, транспонирование, определители, собственные значения и собственные векторы, а также генерация синтетических данных, следующих различным вероятностным распределениям, для тестов и моделирования.

Pandas: обработка и анализ данных

Pandas — это справочный инструмент для работы с табличные данные и временные ряды в PythonЕго звездообразная структура — это DataFrame, очень похожий на таблицу базы данных или электронную таблицу, с типизированными столбцами и метками для строк.

С помощью DataFrame можно сделать практически всё: чтение и письмо в различных форматах (CSV, Excel, SQL, Parquet…), условная фильтрация, группировка, объединения таблиц, обработка пропущенных значений, преобразования столбцов и векторизованные операции, которые поддерживаются NumPy.

Кроме того, Pandas легко интегрируется с другими библиотеками в экосистеме, что делает его полезным в качестве... центральный элемент процесса предварительной обработки данных перед тем, как передавать данные вашим моделям машинного обучения.

Matplotlib и Seaborn: визуализация результатов

Matplotlib — это классическая библиотека для генерировать двухмерную графику с помощью Python. Хотя его API поначалу может показаться несколько многословным, он позволяет создавать все, от простых линейных графиков до гистограмм, диаграмм разброса, тепловых карт или диаграмм с накоплением.

Seaborn использует Matplotlib, предоставляя высокоуровневый слой для создавать более сложные статистические визуализации (корреляционные матрицы, совместные распределения, скрипичные диаграммы и т. д.) с минимальным количеством кода и более привлекательным визуальным стилем в качестве стандарта.

SciPy: Научные вычисления и оптимизация

SciPy завершает научную составляющую, внося свой вклад. математические процедуры высокого уровня Он используется для оптимизации, интерполяции, численного интегрирования, решения дифференциальных уравнений, расширенной статистики и многого другого. Созданный на основе NumPy, он использует высокооптимизированные реализации, написанные на C, C++ или Fortran.

В машинном обучении это особенно полезно для решать задачи оптимизацииНапример, при корректировке параметров с использованием сложных функций стоимости или для статистических вычислений, выходящих за рамки возможностей NumPy.

Scikit-learn: универсальный инструмент классического машинного обучения.

Библиотека Scikit-learn, вероятно, является наиболее важной, если вы только начинаете работать с ней. Модели машинного обучения на PythonОн предлагает огромную коллекцию алгоритмов для обучения с учителем и без учителя с очень однородным API, что позволяет легко переключаться между моделями практически без изменений в остальном коде.

С его помощью вы можете обратиться классификация, регрессия, кластеризация, снижение размерности, выбор переменных, калибровка вероятностей и оценка модели. всегда используя схему соответствия/прогнозирования/оценки, которая его характеризует.

Модели регрессии: линейная, множественная, логистическая и регуляризационная.

Линейная регрессия — это классическая отправная точка для решения задач... прогнозирование числовых переменных (Цена дома, потребление энергии, объем продаж). В Python это можно реализовать с помощью Scikit-learn или Statsmodels, которые также предлагают более статистический подход с доверительными интервалами и проверками значимости.

Когда у вас есть несколько объясняющих переменных, вы переходите к следующему шагу. множественная линейная регрессиягде вступает в игру мультиколлинеарность, и использование таких инструментов, как Statsmodels, для интерпретации коэффициентов, стандартных ошибок и p-значений, а также для применения методов отбора переменных становится еще более актуальным.

Логистическая регрессия, хотя и называется «регрессией», используется для проблемы бинарной классификации (да/нет, отток/нет оттока, мошенничество/нет мошенничества). Scikit-learn и Statsmodels позволяют обучать эти модели и получать вероятности, связанные с каждым классом, которые затем можно калибровать при необходимости.

Чтобы избежать переобучения и улучшить обобщающую способность, обычно применяют регуляризация Что касается линейных моделей: Ridge (L2-штраф), Lasso (L1) и Elastic Net (комбинация обоих). Они реализованы в Scikit-learn и очень полезны в контекстах с большим количеством переменных или с сильной корреляцией между предикторами.

Деревья решений, случайный лес и градиентный бустинг

Деревья решений очень интуитивно понятны, потому что Они делят пространство признаков на правила типа "если...то...". что можно представить в виде иерархической диаграммы. Scikit-learn предлагает реализации как для регрессии, так и для классификации.

Алгоритм случайного леса строит множество деревьев на основе различных подмножеств данных и признаков и усредняет их прогнозы, что часто приводит к следующим результатам: очень надежные модели с хорошими характеристикамиособенно если гиперпараметры настраиваются с должной осторожностью.

С помощью Python можно обучать алгоритм Random Forest даже в менее "чистых" условиях, например, когда Присутствуют нулевые значения или категориальные переменные.В таких случаях вам нужно решить, следует ли заполнять пропущенные значения, кодировать категории (one-hot, целевое кодирование и т. д.) или использовать библиотеки, которые более непосредственно поддерживают категориальные данные.

Вы также можете пойти еще дальше, используя такие методы, как... квантильная регрессия с использованием алгоритма случайного лесаЭто позволяет оценить не только точечный прогноз, но и интервалы прогнозирования (например, 5-й, 50-й и 95-й процентили) для количественной оценки неопределенности модели.

Градиентный бустинг — это еще одно семейство методов, в котором Деревья обучаются последовательно.Это позволяет каждому попытаться исправить ошибки предыдущего. В Python есть GradientBoosting из библиотеки Scikit-learn и более продвинутые варианты (XGBoost, LightGBM, CatBoost), которые часто являются очень мощными инструментами на соревнованиях и в реальных проектах.

Вероятностные модели и калибровка

В некоторых контекстах недостаточно предсказать класс или среднее значение, но важно иметь... полное распределение вероятностей по исходуИменно здесь на помощь приходят такие модели, как NGBoost (Natural Gradient Boosting), которые генерируют вероятностные прогнозы и позволяют лучше количественно оценить неопределенность.

Даже в «классических» моделях классификации часто бывает так, что возвращаемые ими вероятности плохо откалиброваны: значение 0,9 может на самом деле не представлять 90%-ную вероятность принадлежности к положительному классу. С помощью Scikit-learn можно использовать методы калибровки модели (Шкалирование Платта, изотоническая регрессия) для лучшего согласования этих вероятностей с реальностью.

SVM, классические нейронные сети и отбор переменных

Методы опорных векторов (SVM) — это очень универсальные модели для классификация и регрессия с максимальными погрешностямиОсобенно эффективен в сочетании с ядрами, позволяющими работать в больших пространственных измерениях без явных затрат.

Scikit-learn также предлагает реализации нейронные сети многослойного персептрона (MLP) Хотя они не так гибки, как те, что созданы с помощью TensorFlow или PyTorch, они отлично подходят в качестве отправной точки для знакомства с миром нейронных сетей и хорошо работают во многих задачах, связанных с табличными данными.

Когда у вас много функций, становится ключевым моментом их применение. выбор переменныхВ Python есть как базовые методы (одномерный отбор, RFE, методы, основанные на моделях), так и специальные библиотеки, которые оценивают, какие предикторы действительно вносят информацию в модель.

Интерпретируемость: правила ICE, PDP и правила ассоциаций.

В профессиональной среде модель «черного ящика» редко принимается без дальнейшего анализа. Именно поэтому существуют такие инструменты, как... интерпретируемость моделейГрафики ICE (Individual Conditional Expectation) показывают, как изменяется прогноз для конкретного индивида при изменении переменной, а графики PDP (Partial Dependence Plots) представляют средний эффект признака на выходные данные модели.

В другой, но тесно связанной с анализом образов области существуют следующие... Правила ассоциации и часто встречающиеся наборы элементовТипичный пример анализа покупательской корзины. С помощью Python можно извлечь взаимосвязи, например, "кто покупает A и B, тот обычно покупает C", которые затем можно использовать для простых рекомендаций или для лучшего понимания поведения клиентов.

Обучение без учителя: кластеризация, снижение размерности и аномалии

Неконтролируемое обучение рассматривает ситуации, в которых У вас нет никаких этикеток. Ваша задача — выявить структуру в данных: схожие группы, основные направления изменчивости или точки, ведущие себя аномально.

Библиотека Scikit-learn включает в себя наиболее часто используемые алгоритмы кластеризации: K-средних, иерархическая кластеризация, DBSCAN и модели гауссовых смесейсреди прочих. Каждый из них имеет свои преимущества и ограничения; например, алгоритм K-средних хорошо работает с компактными и сферическими группами, в то время как DBSCAN обнаруживает произвольные формы и выбросы, а алгоритм Gaussian Mixture позволяет моделировать каждую группу как отдельное гауссово распределение.

Для уменьшения размерности и упрощения данных с большим количеством переменных, Анализ главных компонентов (PCA) Это основополагающий ресурс. Он позволяет проецировать данные в пространство меньшей размерности, сохраняя при этом большую часть дисперсии, что помогает как визуализировать, так и ускорять работу других алгоритмов.

Интересно, что метод главных компонент (PCA) также используется для обнаружение аномалииЕсли спроецировать нормальные данные на основное подпространство, то точки, значительно отклоняющиеся от этой реконструкции, обычно являются выбросами. Этот подход можно дополнить другими методами, такими как модели смесей Гаусса, изолирующий лес или даже автокодировщиками на основе нейронных сетей.

Например, алгоритм Isolation Forest изолирует наблюдения с помощью случайных деревьев. Он обнаруживает аномальные точки по тому, насколько легко они отделяются от остальных.Автокодировщики, в свою очередь, учатся восстанавливать «нормальные» данные и помечают как подозрительные те случаи, где ошибка восстановления очень высока.

Глубокое обучение с использованием TensorFlow, Keras и PyTorch

Когда данные представляют собой изображения, аудио, текст или сложные сигналы, и когда у вас имеется достаточный объем информации, вступают в силу следующие положения: Глубокое обучениеВ Python основными платформами являются TensorFlow (с Keras в качестве высокоуровневого API) и PyTorch. Также существует интерес к... совместные агенты ИИ.

TensorFlow был разработан компанией... Google как библиотека для Численные вычисления на основе графов Поддерживается работа на ЦП, ГП и распределенное выполнение. Сложные модели определяются с использованием тензоров и операций, а движок обрабатывает вычисление градиентов и обновление параметров.

Keras был создан как абстрактный слой для упрощения построения нейронных сетей: Это позволило нам сократить количество строк кода с сотен до нескольких десятков. для создания многослойных архитектур. Сегодня он интегрирован в TensorFlow (tf.keras) и остается наиболее удобным способом определения, компиляции, обучения и оценки моделей глубокого обучения.

PyTorch, в свою очередь, стал популярен благодаря своему динамическому подходу к вычислениям на графах и своим Ощущение, будто «действительно программируешь на Python»Это сделало его очень привлекательным для исследований. С его помощью можно определять классы моделей так же, как если бы они были обычными модулями, но при этом использовать преимущества ускорения GPU и автоматического преобразования градиента.

С помощью этих библиотек можно создавать всё, от плотных нейронных сетей для регрессии до сверточные модели для зренияпоследовательные алгоритмы для обработки временных рядов и НЛП, автокодировщики для уменьшения размерности или обнаружения аномалий, а также более продвинутые архитектуры для трансферного обучения и семантического поиска.

Передовые области применения: текст, компьютерное зрение, карты и рекомендательные системы.

Освоив основы, вы сможете решать задачи, подобные тем, что описаны в Python. интеллектуальный анализ текста, компьютерное зрение, геопространственный анализразвертывание в Интернет вещей а также рекомендательные системы, использующие комбинации библиотек и предварительно обученных моделей.

В анализе текста можно применять классические методы обработки естественного языка (токенизация, очистка, извлечение признаков) или использовать современные эмбеддинги. Поверх них можно создавать модели для анализ настроений, классификация сообщений или определение темыНапример, использование твитов в качестве источника данных.

В компьютерном зрении использование глубоких нейронных сетей позволяет решать такие задачи, как: Распознавание и идентификация людей на изображениях и видео.Используя предварительно обученные модели глубокого обучения (и методы трансферного обучения), вы можете настраивать системы распознавания лиц на Python, не обучая гигантскую нейронную сеть с нуля.

В области геопространственных данных существуют библиотеки, позволяющие извлекать и обрабатывать информацию. Достопримечательности из OpenStreetMap и объедините эту информацию со своими собственными данными (плотность клиентов, трафик, конкуренция). Это открывает возможности для анализа местоположения бизнеса, поиска оптимальных маршрутов, проведения городских исследований и т. д. цифровые близнецы.

В качестве рекомендации можно выйти за рамки стандартных фильтров для совместной работы и ввести трансферное обучение и семантический поискНапример, можно создавать рекомендации по выбору вина на основе текстовых описаний, отзывов пользователей и характеристик товара, используя векторные представления, которые отражают семантическое сходство между товарами.

Временные ряды, оптимизационные и эволюционные алгоритмы

Машинное обучение с использованием Python не ограничивается прогнозированием меток; оно также применяется для... прогнозирование времени и принятие оптимальных решений в контекстах с множественными ограничениями.

Очень практичный подход заключается в следующем: прогнозирование временных рядов Использование регрессионных моделей Scikit-learn. Вместо того чтобы всегда полагаться на классические модели, такие как ARIMA, вы можете создавать признаки на основе запаздываний, скользящих средних, сезонности, календарей и т. д., и передавать их в регрессионные модели или ансамбли для более гибкого прогнозирования.

В области оптимизации Python располагает такими инструментами, как: Pyomo для формулировки проблемы programación линейный и целыйчто может быть применено для оптимизации графиков и расписаний, распределения ресурсов, планирования производства или распределения рабочей нагрузки между различными бизнес-подразделениями.

Также можно использовать метаэвристические подходы, такие как генетические алгоритмы (ГА) или алгоритм оптимизации роя частиц (PSO). Эти инструменты можно использовать для оптимизации бюджетов маркетинговых кампаний, выбора подмножеств переменных-предикторов или решения сложных задач, где функция стоимости является нелинейной и имеет множество локальных оптимумов.

В финансовых вопросах машинное обучение использовалось для содействие в принятии решений, касающихся таких индексов, как S&P 500.Сочетание прогностических моделей с методами управления рисками и оптимизации портфеля. Ключевым моментом здесь всегда является тщательный мониторинг переобучения и утечек информации во времени.

Оценка, распространенные ошибки и интерпретация моделей.

Создание модели — это только половина дела; вторая половина заключается в оценке того, действительно ли она работает. хорошо обобщается на новые данныеОтсюда и важность четкого разделения процессов обучения, валидации и тестирования, а также использования таких методов, как перекрестная валидация.

При ранжировании используются такие показатели, как... точность, полнота, F1-критерий, ROC-кривая и AUC Обычно они дают более полную картину, чем простая точность, особенно когда классы несбалансированы (например, при обнаружении мошенничества, где положительный класс очень мал).

В регрессионном анализе используются такие показатели, как MSE, RMSE, MAE или R²У каждого подхода есть свои нюансы. В зависимости от бизнеса, может быть важнее минимизировать тот или иной тип ошибок, или даже разработать конкретный показатель, соответствующий реальному экономическому эффекту.

К числу наиболее распространенных ошибок на начальном этапе относится недостаточное внимание к... изучить и проанализировать данныеСмешивание переобучения с недообучением, выбор неподходящих метрик и утечки данных (например, масштабирование до разделения на обучающую и тестовую выборки или использование будущей информации для решения временных проблем).

Наконец, интерпретируемость и способность к Объяснение результатов людям, не обладающим техническими знаниями. Они стали ключевым требованием во многих организациях. От диаграмм ICE и PDP до таблиц важности переменных или локальных пояснений, Python предлагает широкий спектр инструментов, позволяющих гарантировать, что ваши модели не будут представлять собой непонятный черный ящик.

Вся эта экосистема методов, библиотек и приложений делает работу с ними очень удобной. Машинное обучение на Python Это очень мощное сочетание статистической теории, практического программирования и решения реальных задач: чем лучше вы освоите эти базовые элементы, тем легче вам будет подобрать нужные компоненты для каждого проекта, с которым вы столкнетесь.