1. Простое определение машинного обучения
2. Что такое машинное обучение
3. Почему мы должны изучать машинное обучение
4. Как начать машинное обучение
5. Семь шагов машинного обучения
6. Как работает машинное обучение?
7. Какой язык программирования лучше всего подходит для машинного обучения
8. Инструменты машинного обучения
9. Разница между машинным обучением и искусственным интеллектом
10. Наука данных иМашинное обучение
11. Углубленное обучение против машинного обучения
12. Типы машинного обучения
13. Применение машинного обучения
14. Машинное обучение Рабочие места и карьерные перспективы
15. Машинное обучение Книги
16. Будущий объем машинного обучения

Простое определение Машинное обучение

Машинное обучение — это применение искусственного интеллекта (ИИ), которое дает устройствам возможность учиться на собственном опыте и совершенствовать свои навыки без какого-либо кодирования.Например, когда вы совершаете покупки с любого веб-сайта, он показывает связанный поиск, например: — Люди, которые купили, также видели это.

Что такое машинное обучение?

Артур Самуэль придумал термин «машинное обучение» в 1959 году. Он был пионером в области искусственного интеллекта и компьютерных игр и определил машинное обучение как « Область обучения, которая дает компьютерам возможность учиться без явного программирования».

В этой статье, во-первых, мы подробно обсудим машинное обучение, охватывающее различные аспекты, процессы и приложения.Во-вторых, мы начнем с понимания важности машинного обучения. Мы также объясним стандартные термины, используемые в машинном обучении, и шаги по решению проблемы ОД. Далее мы разберемся со строительными блоками машинного обучения и как оно работает. Более того, мы выясним, почему Python является лучшим языком программирования для машинного обучения. Мы также перечислим различные типы подходов машинного обучения и промышленного применения. Наконец, статья заканчивается перспективами трудоустройства и карьерными возможностями в области машинного обучения, а также тенденциями в области оплаты труда в крупнейших мегаполисах Индии.

Машинное обучение — это разновидность искусственного интеллекта. Машинное обучение — это изучение того, как сделать машины более похожими на людей в их поведении и решениях, давая им возможность учиться и разрабатывать свои собственные программы. Это делается с минимальным вмешательством человека, то есть без явного программирования. Процесс обучения автоматизирован и улучшен на основе опыта машин на протяжении всего процесса. Данные хорошего качества поступают на машины, а для построения моделей ML используются обучающие алгоритмы, которые обучают машины этим данным.Выбор алгоритма зависит от типа имеющихся данных и вида деятельности, которую необходимо автоматизировать.

Вот видео, объясняющее, что такое машинное обучение с нуля.

Теперь вы можете задаться вопросом, чем он отличается от традиционного программирования? Ну, в традиционном программировании мы будем вводить входные данные и хорошо написанную и протестированную программу в машину для генерации вывода. Когда дело доходит до машинного обучения, входные данные вместе с выходными данными поступают в машину во время фазы обучения, и она сама разрабатывает программу.Чтобы лучше это понять, обратитесь к иллюстрации ниже:

Почему мы должны изучать машинное обучение?

Машинное обучение сегодня привлекает все необходимое внимание. Машинное обучение может автоматизировать многие задачи, особенно те, которые могут выполнять только люди со своим врожденным интеллектом. Воспроизвести этот интеллект на машинах можно только с помощью машинного обучения.

С помощью машинного обучения предприятия могут автоматизировать рутинные задачи.Это также помогает автоматизировать и быстро создавать модели для анализа данных. Различные отрасли зависят от огромного количества данных для оптимизации своих операций и принятия разумных решений. Машинное обучение помогает создавать модели, которые могут обрабатывать и анализировать большие объемы сложных данных для получения точных результатов. Эти модели являются точными и масштабируемыми и работают с меньшим временем выполнения. Создавая такие точные модели машинного обучения, предприятия могут использовать выгодные возможности и избегать неизвестных рисков.

Распознавание изображений, генерация текста и многие другие варианты использования находят применение в реальном мире. Это расширяет возможности для экспертов по машинному обучению, чтобы стать лучшими профессионалами.

Как начать машинное обучение?

Чтобы начать работу с машинным обучением, давайте взглянем на некоторые важные термины, используемые в машинном обучении:

Некоторые термины машинного обучения

• Модель : также известный как «гипотеза», машина Модель обучения — это математическое представление реального процесса.Алгоритм машинного обучения вместе с данными обучения создает модель машинного обучения.
• Функция : Функция является измеримым свойством или параметром набора данных.
• Vector Feature : Это набор из нескольких числовых функций. Мы используем его в качестве входных данных для модели машинного обучения в целях обучения и прогнозирования.
• Обучение : Алгоритм принимает в качестве входных данных набор данных, известный как «данные обучения». Алгоритм обучения находит шаблоны во входных данных и обучает модель ожидаемым результатам (цель).Результатом процесса обучения является модель машинного обучения.
• Прогноз : Как только модель машинного обучения готова, в нее можно вводить входные данные для обеспечения прогнозируемого результата.
• Цель (метка) : значение, которое должна предсказать модель машинного обучения, называется целью или меткой.
• Переоснащение : Когда огромное количество данных обучает модель машинного обучения, она стремится учиться на шуме и неточных вводах данных.Здесь модель не может правильно охарактеризовать данные.
• Недостаточность : это сценарий, когда модель не может расшифровать основную тенденцию во входных данных. Это разрушает точность модели машинного обучения. Проще говоря, модель или алгоритм недостаточно хорошо вписываются в данные.
  Вот видео, которое описывает пошаговое руководство по решению проблемы машинного обучения на примере пива и вина:

Существует семь шагов машинного обучения

1. Сбор данных
2. Подготовка этих данных
3. Выбор модели
4. Обучение
5. Оценка
6. Настройка гиперпараметра
7. Прогноз

Обязательно изучите язык программирования, предпочтительно Python, а также необходимые аналитические и математические знания.Вот три математических области, которые вам нужно освежить, прежде чем приступить к решению задач машинного обучения:

1. Линейная алгебра для анализа данных: скаляры, векторы, матрицы и тензоры
2. Математический анализ: производные и градиенты
3. Теория вероятностей и статистика
4. Многомерное исчисление
5. Алгоритмы и комплексная оптимизация
   

Как работает машинное обучение?

Три основных строительных блока системы машинного обучения — это модель, параметры и учащийся.

• Модель — это система, которая делает прогнозы.
• Параметры — это факторы, которые учитываются моделью для прогнозирования.
• Учащийся вносит корректировки в параметры и модель для согласования прогнозов с фактическими результатами. Давайте рассмотрим пример пива и вина сверху, чтобы понять, как работает машинное обучение. Модель машинного обучения должна предсказывать, является ли напиток пивом или вином. Выбранные параметры — цвет напитка и процент алкоголя.Первый шаг:

  Обучение на тренировочном наборе

  Это включает в себя выборку данных из нескольких напитков, для которых указывается цвет и процент алкоголя. Теперь мы должны определить описание каждой классификации, то есть вина и пива, в терминах значения параметров для каждого типа. Модель может использовать описание, чтобы решить, является ли новый напиток вином или пивом.

  Значения параметров, «цвет» и «процентное содержание алкоголя», можно представить как «х» и «у» соответственно.Затем (x, y) определяет параметры каждого напитка в данных тренировки. Этот набор данных называется обучающим набором. Эти значения, представленные на графике, представляют гипотезу в форме линии, прямоугольника или полинома, которая наилучшим образом соответствует желаемым результатам.

  Второй шаг — измерение ошибки

  После того, как модель обучена на определенном обучающем наборе, ее необходимо проверить на наличие расхождений и ошибок. Мы используем свежий набор данных для выполнения этой задачи. Результатом этого теста будет один из следующих четырех:

  • True Positive: когда модель прогнозирует условие, когда оно присутствует
  • True Negative: когда модель не прогнозирует условие, когда оно отсутствует
  • False Positive: Когда модель предсказывает условие, когда оно отсутствует
  • False Negative: Когда модель не предсказывает условие, когда оно присутствует
  

  Сумма FP и FN является общей ошибкой в ​​модели.

  Управление шумом

  Для простоты мы рассмотрели только два параметра для решения проблемы машинного обучения, а именно процент цвета и содержания алкоголя. Но на самом деле вам придется учитывать сотни параметров и широкий набор обучающих данных, чтобы решить проблему машинного обучения.

  • Созданная гипотеза будет иметь намного больше ошибок из-за шума. Шум — это нежелательные аномалии, которые маскируют основные взаимосвязи в наборе данных и ослабляют процесс обучения.Различные причины возникновения этого шума:
  • Большой набор обучающих данных
  • Ошибки во входных данных
  • Ошибки маркировки данных
  • Ненаблюдаемые атрибуты, которые могут повлиять на классификацию, но не учитываются в обучающем наборе из-за отсутствия данных

  Вы можете принять определенную степень ошибки обучения из-за шума, чтобы сделать гипотезу максимально простой.

  Тестирование и обобщение

  Хотя алгоритм или гипотеза могут хорошо соответствовать учебному набору, он может не работать при применении к другому набору данных вне обучающего набора.Поэтому важно выяснить, подходит ли алгоритм для новых данных. Тестирование с набором новых данных — способ судить об этом. Кроме того, обобщение относится к тому, насколько хорошо модель прогнозирует результаты для нового набора данных.

  Когда мы подгоняем алгоритм гипотезы для максимально возможной простоты, он может иметь меньше ошибок для обучающих данных, но может иметь более значительную ошибку при обработке новых данных. Мы называем это недостаточным оснащением. С другой стороны, если гипотеза слишком сложна, чтобы приспособиться к наилучшему соответствию результату тренировки, она может не очень хорошо обобщать.Это случай переоснащения. В любом случае результаты передаются для дальнейшего обучения модели.

  Типичные выходные данные алгоритма классификации

  Типичные выходные данные алгоритма классификации могут принимать две формы:

  Дискретные классификаторы. Двоичный выход (ДА или НЕТ, 1 или 0), который указывает, классифицировал ли алгоритм входной экземпляр как положительный или отрицательный или нет. Алгоритм просто говорит, что приложение «с высоким потенциалом», если оно есть.Если не ожидается вмешательства человека в процесс принятия решений, например, если у компании нет верхнего или нижнего предела для приложений, которые считаются «высокопотенциальными», то это может быть полезно.

  Вероятностные классификаторы. Вероятностный результат (число от 0 до 1), который показывает вероятность того, что вход попадает в положительный класс. Давайте посмотрим на пример. Если алгоритм указывает, что у приложения есть вероятность 0,68 быть высоким потенциалом.Если в процессе принятия решений ожидается вмешательство человека, например, если у компании есть ограничение на количество приложений, которые можно считать «высоким потенциалом, то это может быть полезно». Вероятностный вывод становится двоичным выходом, как только человек определяет «отсечку», чтобы определить, какие случаи попадают в положительный класс.

  Какой язык лучше всего подходит для машинного обучения?

  

  Python является лучшим языком программирования для приложений машинного обучения благодаря различным преимуществам, упомянутым в разделе ниже.Другими языками программирования, которые можно использовать для приложений машинного обучения, являются R, C ++, JavaScript, Java, C #, Julia, Shell, TypeScript и Scala.

  Python славится своей читабельностью и относительно меньшей сложностью по сравнению с другими языками программирования. Приложения машинного обучения включают сложные понятия, такие как исчисление и линейная алгебра, которые требуют много усилий и времени для реализации. Python помогает уменьшить эту нагрузку благодаря быстрой реализации инженера ML для проверки идеи.Вы можете проверить Python Tutorial, чтобы получить общее представление о языке. Еще одно преимущество использования Python в машинном обучении — это встроенные библиотеки. Существуют различные пакеты для приложений другого типа, как указано ниже:

  • Numpy, OpenCV и Scikit используются при работе с изображениями
  • NLTK вместе с Numpy и Scikit снова при работе с текстом
  • Librosa для аудио приложений
  • Matplotlib, Seaborn и Scikit для представления данных
  • TensorFlow и Pytorch для приложений глубокого обучения
  • Scipy для научных вычислений
  • Django для интеграции веб-приложений
  • Pandas для структур данных высокого уровня и анализа

  Python обеспечивает гибкость выбор между объектно-ориентированным программированием или сценариями.Также нет необходимости перекомпилировать код; Разработчики могут вносить любые изменения и мгновенно видеть результаты. Вы можете использовать Python вместе с другими языками для достижения желаемой функциональности и результатов.

  Python является универсальным языком программирования и может работать на любой платформе, включая Windows, MacOS, Linux, Unix и другие. При переходе с одной платформы на другую код нуждается в незначительных адаптациях и изменениях, и он готов к работе на новой платформе.

  Вот краткое изложение преимуществ использования Python для задач машинного обучения:

  

  Еще одним языком программирования, используемым для машинного обучения, является «R».Вот видеоурок для начинающих, объясняющий, как работать с этим очень известным языком программирования. Посмотри.

  Внесено- Саурабх Сингх

  Специалисты по ML используют ряд инструментов, методов и структур для разработки эффективной модели машинного обучения. В предыдущем разделе мы читали о Python и встроенных библиотеках в Python, помогающих создавать эффективные модели, которые точно работают для решения бизнес-задач.Ниже перечислены некоторые из наиболее часто используемых инструментов машинного обучения, которые используются для различных целей в проектах машинного обучения.

  

  Различие между машинным обучением и искусственным интеллектом

  AI управляет более комплексными вопросами автоматизации системы, используя такие области, как когнитивные науки, обработка изображений, машинное обучение или нейронные сети для компьютеризации. С другой стороны, ML влияет на машину, чтобы извлекать уроки из внешней среды и учиться у нее.Внешняя среда может быть чем угодно, например, внешними запоминающими устройствами, датчиками, электронными сегментами и другими.

  Кроме того, искусственный интеллект позволяет машинам и структурам думать и выполнять задачи так же, как люди. При этом машинное обучение зависит от предоставленных данных или запросов, запрошенных пользователями. Структура действует на входе путем скрининга, если он доступен в базе знаний, а затем обеспечивает вывод.

  Data Science против машинного обучения

  Data Science — это обработка и анализ данных, сгенерированных из различных источников, для получения значимого понимания, которое послужит множеству деловых целей.Процесс Data Science включает в себя извлечение, очистку, анализ и визуализацию данных, чтобы нарисовать ценные шаблоны и идеи.

  Когда наборы данных огромны, и ученым физически невозможно проанализировать данные, машинное обучение играет решающую роль. Машинное обучение — это способность системы самостоятельно изучать и обрабатывать наборы данных без вмешательства человека. Сложные алгоритмы и методы, такие как регрессия, контролируемая кластеризация, наивный метод Байеса и многие другие, используются для реализации моделей машинного обучения.

  Узнайте больше о разнице между наукой о данных, машинным обучением и искусственным интеллектом

  Глубокое обучение и машинное обучение

  Прежде чем углубляться в различие между глубоким обучением и машинным обучением, необходимо знать, что глубокое обучение является подразделом машинное обучение. Когда дело доходит до приложений, глубокое обучение обеспечивает наиболее искусственный искусственный интеллект.

  Машинное обучение использует алгоритмы для анализа данных, получения информации, извлечения уроков из нее и принятия обоснованных решений для решения проблемы.Всякий раз, когда модель прогнозирует неверный результат, инженер ML должен вмешаться и исправить проблему, чтобы повысить точность модели.

  Deep Learning, с другой стороны, структурирует несколько уровней алгоритмов для создания искусственной нейронной сети. Нейронные сети могут учиться самостоятельно и принимать разумные решения без вмешательства эксперта по ML. Даже когда модель предсказывает ошибочный результат, она может самостоятельно учиться, чтобы повысить свою точность и эффективность.

  Типы машинного обучения

  В этом разделе мы узнаем о различных подходах к машинному обучению и множестве проблем, которые они могут решить.

  Что такое контролируемое обучение?

  Модель обучения с наблюдением имеет набор входных переменных (x) и выходную переменную (y). Алгоритм определяет функцию отображения между входными и выходными переменными. Соотношение у = f (x).

  Обучение контролируется или контролируется в том смысле, что мы уже знаем результат, и алгоритм каждый раз корректируется для оптимизации его результатов. Алгоритм обучается набору данных и изменяется до тех пор, пока он не достигнет приемлемого уровня производительности.
  Мы можем сгруппировать контролируемые проблемы обучения следующим образом:

  1. Проблемы регрессии — Используются для прогнозирования будущих значений, а модель обучается с использованием исторических данных. Например, прогнозирование будущей цены товара.
  2. Проблемы классификации — Различные ярлыки обучают алгоритм для идентификации предметов в определенной категории. Например, болезнь или отсутствие болезни, яблоко или апельсин, пиво или вино.

  Что такое обучение без учителя?

  Этот подход — тот, где вывод неизвестен, и у нас есть только входная переменная под рукой.Алгоритм учится сам и обнаруживает впечатляющую структуру данных.
  Цель состоит в том, чтобы расшифровать базовое распределение в данных, чтобы получить больше знаний о данных.
  Мы можем сгруппировать неконтролируемые проблемы обучения следующим образом:

  1. Кластеризация: это означает объединение входных переменных с одинаковыми характеристиками. Например, группировка пользователей на основе истории поиска
  2. Ассоциация: Здесь мы обнаруживаем правила, которые управляют значимыми ассоциациями среди набора данных.Например, люди, которые смотрят «X», также будут смотреть «Y»

  Что такое обучение под наблюдением?

  При обучении в режиме «под наблюдением» ученые данных обучают модель с минимальным количеством помеченных данных и большим количеством немаркированных данных. Обычно первым шагом является кластеризация похожих данных с помощью алгоритма машинного обучения без присмотра. Следующим шагом является маркировка немаркированных данных с использованием характеристик доступных ограниченных помеченных данных. После маркировки полных данных можно использовать контролируемые алгоритмы обучения для решения проблемы.

  Что такое обучение усилению ?

  При таком подходе модели машинного обучения обучаются принимать ряд решений на основе вознаграждений и отзывов, которые они получают за свои действия. Машина учится достигать цели в сложных и неопределенных ситуациях и получает вознаграждение каждый раз, когда достигает ее в течение периода обучения.

  Обучение подкреплению отличается от обучения под надзором в том смысле, что ответа нет, поэтому агент подкрепления решает шаги для выполнения задачи.Машина учится на собственном опыте, когда нет данных об обучении.
  Вот видео, объясняющее различные типы машинного обучения с примерами из реальной жизни:

  Вот некоторые примеры применения машинного обучения

  Алгоритмы машинного обучения

  помогают в создании интеллектуальных систем, которые могут извлечь уроки из своего прошлого опыта и исторические данные, чтобы дать точные результаты. Таким образом, многие отрасли применяют решения машинного обучения для решения своих бизнес-задач или для создания новых и более качественных продуктов и услуг.Здравоохранение, оборона, финансовые услуги, маркетинг и службы безопасности, среди прочего, используют машинное обучение в своих приложениях и процессах.

  Применение машинного обучения

  Распознавание лиц / распознавание изображений

  Наиболее распространенным применением машинного обучения является распознавание лиц, и самым простым примером этого приложения является iPhone X. Существует множество вариантов использования. распознавания лиц, в основном в целях безопасности, таких как выявление преступников, поиск пропавших без вести лиц, помощь в проведении судебных расследований и т. д.Интеллектуальный маркетинг, диагностика заболеваний, отслеживание посещаемости в школах, некоторые другие применения.

  Автоматическое распознавание речи

  Сокращенное как ASR, автоматическое распознавание речи используется для преобразования речи в цифровой текст. Его приложения заключаются в аутентификации пользователей на основе их голоса и выполнении задач на основе человеческого голоса. Образцы речи и словарный запас вводятся в систему для обучения модели. В настоящее время системы ASR находят широкое применение в следующих областях:

  • Медицинская помощь
  • Промышленная робототехника
  • Судебная и правоохранительная деятельность
  • Оборона и авиация
  • Телекоммуникационная отрасль
  • Домашняя автоматизация и безопасность Контроль доступа
  • I.Т. и Consumer Electronics

  Финансовые услуги

  Машинное обучение имеет много случаев использования в финансовых услугах. Алгоритмы машинного обучения отлично зарекомендовали себя в обнаружении мошенничества, отслеживая действия каждого пользователя и оценивая, является ли попытка действия типичной для этого пользователя или нет.
  Финансовый мониторинг для выявления случаев отмывания денег также является критически важным примером безопасности машинного обучения.

  Машинное обучение также помогает принимать лучшие торговые решения с помощью алгоритмов, которые могут одновременно анализировать тысячи источников данных.Кредитный скоринг и андеррайтинг являются одними из других приложений.
  Наиболее распространенным приложением в нашей повседневной деятельности являются виртуальные личные помощники, такие как Siri и Alexa.

  Маркетинг и продажи

  Машинное обучение улучшает алгоритмы оценки потенциальных клиентов, включая различные параметры, такие как посещения веб-сайтов, открытые электронные письма, загрузки и клики, для оценки каждого потенциального клиента. Это также помогает компаниям улучшить свои динамические модели ценообразования, используя методы регрессии для прогнозирования.

  Анализ настроений — еще одно важное приложение для оценки реакции потребителей на конкретный продукт или маркетинговую инициативу. Машинное обучение для Computer Vision помогает брендам идентифицировать свои продукты в изображениях и видео в Интернете. Эти бренды также используют компьютерное зрение, чтобы измерить упоминания, пропускающие любой соответствующий текст. Чат-боты также становятся более отзывчивыми и интеллектуальными с помощью машинного обучения.

  Здравоохранение

  Важнейшим применением машинного обучения является диагностика заболеваний и недугов, которые иначе сложно диагностировать.Лучевая терапия также становится лучше с машинным обучением.

  Раннее обнаружение лекарств — еще одно важное приложение, которое включает такие технологии, как точная медицина и секвенирование следующего поколения. Клинические испытания требуют больших затрат времени и денег для завершения и достижения результатов. Применение прогнозирующей аналитики на основе машинного обучения может улучшить эти факторы и дать лучшие результаты.

  Технологии машинного обучения также важны для прогнозирования вспышек.Ученые всего мира используют эти технологии для прогнозирования эпидемических вспышек.

  Системы рекомендаций

  Сегодня многие компании используют системы рекомендаций для эффективного общения с пользователями на своем сайте. Он может порекомендовать соответствующие продукты, фильмы, веб-сериалы, песни и многое другое. Наиболее известными примерами использования систем рекомендаций являются сайты электронной коммерции, такие как Amazon, Flipkart и многие другие, а также Spotify, Netflix и другие веб-каналы.
  

  Работа в сфере машинного обучения и перспективы карьерного роста

  Во-первых, давайте взглянем на навыки, необходимые для того, чтобы стать успешным профессионалом в области машинного обучения. Затем мы перейдем к роли в сфере машинного обучения и перспективам карьерного роста.
  

  Необходимое условие для машинного обучения

  • Линейная алгебра
  • Статистика и вероятность
  • Исчисление
  • Теория графов
  • Навыки программирования — Python, R, MATLAB, C ++ или Octave

  для получения базовых навыков машинного обучения a P rofessional

  1. Алгоритмы машинного обучения и библиотеки: Совершенно необходимо ознакомиться с реализацией алгоритмов ML, в основном доступных через API, пакеты и библиотеки.Также важно узнать о плюсах и минусах различных применимых подходов к реализации ОД.
  2. Моделирование и оценка данных: Это включает в себя процесс постоянной оценки производительности данной модели. Этого можно достичь, выбрав подходящую меру точности и эффективную стратегию оценки, основанную на рассматриваемой проблеме.
  3. Распределенные вычисления: Работы по машинному обучению требуют работы с большим набором данных.Использование одной машины не может обработать этот огромный объем данных. Нужно распределить его по кластеру машин.
  4. Разработка программного обеспечения и системное проектирование: Прочная база в разработке программного обеспечения и системном проектировании является необходимым условием успешной карьеры в области машинного обучения. Работодатели предпочитают возможность создавать соответствующие интерфейсы для компонентов. Эти навыки ценны для улучшения качества, производительности, совместной работы и удобства обслуживания.

  Машинное обучение Работа Роли и тенденции в области заработной платы

  (Источник: Analytics India Magazine ‘Заработная плата — 2018 ′)

  Книги по машинному обучению

  Машинное обучение является широким предметом и включает в себя понятия статистики, линейная алгебра, исчисление и многие другие области.Широта предмета дает неограниченные возможности применить технику или ряд техник для решения поставленной задачи. Лучший способ постоянно обновлять себя с помощью различных инструментов и методов машинного обучения — это читать одни из лучших книг, написанных экспертами в этой области. Чтение большего количества книг также поможет вам взглянуть на проблему с разных точек зрения. Можно также понять разные подходы к решению одной и той же проблемы и сравнить, чтобы выбрать лучшее решение.Для начала, вот список из 10 лучших книг по машинному обучению, которые позволят глубоко погрузиться в концепции и приложения машинного обучения.

  Будущие возможности машинного обучения

  В заключение давайте посмотрим, как изменится будущее машинного обучения. По оценкам, рынок машинного обучения к 2022 году достигнет 8,81 миллиарда долларов США. Это означает, что для машинного обучения потребуется значительное количество навыков в области машинного обучения, чтобы стимулировать этот рост.Будущее выглядит многообещающим для тех, кто планирует карьеру в области машинного обучения!
  Если вы хотите узнать больше о том, что такое машинное обучение, и заинтересованы в карьере в машинном обучении, ознакомьтесь с преимуществами карьеры в машинном обучении.

  Если вы хотите продолжить карьеру в области машинного обучения, повышайте свою квалификацию благодаря программе PG Great Learning в области машинного обучения.

  5.

  Что такое машинное обучение? | Emerj

  

  Ввод «что такое машинное обучение?» В поиске Google открывается ящик форумов, академических исследований и ложной информации, которые выполняет pandora. Цель этой статьи — упростить определение и понимание машинного обучения благодаря прямой помощи нашей группы исследователей машинного обучения.

  В Emerj, исследовательской и консультационной компании AI, многие наши корпоративные клиенты считают, что им следует инвестировать в проекты машинного обучения, но они не совсем понимают, что это такое.Мы часто направляем их к этому ресурсу, чтобы они познакомились с основами машинного обучения в бизнесе.

  В дополнение к информированному, рабочему определению машинного обучения (ML), мы детализируем проблемы и ограничения, заставляющие машины «думать», некоторые из проблем, которые решаются сегодня при глубоком обучении (граница машинного обучения), и ключевые выводы для разработки приложений машинного обучения для бизнес-прецедентов.

  Эта статья будет разбита на следующие разделы:

  • Что такое машинное обучение?
  • Как мы пришли к нашему определению (IE: взгляд экспертов-исследователей)
  • Основные понятия машинного обучения
  • Визуальное представление моделей ML
  • Как мы учим машины
  • Обзор проблем и ограничений ML
  • Краткое введение в глубокое обучение
  • Работы цитируются
  • Связанные интервью по ML на Emerj

  Мы собрали этот ресурс, чтобы помочь вам в любой области вашего интереса к машинному обучению — так что прокрутите список до интересующего вас раздела или не стесняйтесь прочитайте статью по порядку, начиная с нашего определения машинного обучения ниже:

  

  Что такое машинное обучение?

  * «Машинное обучение — это наука о том, как заставить компьютеры учиться и действовать, как люди, и совершенствовать свое обучение с течением времени в автономном режиме, предоставляя им данные и информацию в форме наблюдений и взаимодействий в реальном мире.”

  Вышеприведенное определение заключает в себе идеальную цель или конечную цель машинного обучения, о чем говорят многие исследователи в этой области. Цель этой статьи — предоставить читателю, ориентированному на бизнес, экспертную оценку того, как определяется машинное обучение и как оно работает. Машинное обучение и искусственный интеллект разделяют одно и то же определение в умах многих, однако, есть и определенные отличия, которые читатели должны признать. Список литературы и интервью с исследователями включены в конец этой статьи для дальнейшего изучения.

  * Как мы пришли к нашему определению:

  (Наше общее определение машинного обучения можно найти в начале этой статьи)

  Как и в любой концепции, машинное обучение может иметь несколько иное определение, в зависимости от того, кого вы просить. Мы прочесали Интернет, чтобы найти пять практических определений из авторитетных источников:

  1. «Машинное обучение по своей сути является практикой использования алгоритмов для анализа данных, изучения их, а затем для определения или предсказания чего-либо в мире.»- Nvidia
  2. « Машинное обучение — это наука о том, как заставить компьютеры действовать без явного программирования ». — Stanford
  3. «Машинное обучение основано на алгоритмах, которые могут извлекать уроки из данных, не полагаясь на программирование на основе правил». — McKinsey & Co.
  4. «Алгоритмы машинного обучения могут выяснить, как выполнять важные задачи, обобщая их на примерах». — Вашингтонский университет
  5. «Область машинного обучения стремится ответить на вопрос:« Как мы можем создавать компьютерные системы, которые автоматически улучшаются с опытом, и каковы основные законы, регулирующие все процессы обучения? » — Университет Карнеги-Меллона

  Мы отправили эти определения экспертам, с которыми мы опросили и / или включили их в одно из наших прошлых исследований, и попросили их ответить своим любимым определением или предоставить свое собственное.Наше вводное определение призвано отразить различные ответы. Ниже приведены некоторые из их ответов:

  Д-р Йошуа Бенжио, Университет Монреаля:

  ML не должны определяться негативами (таким образом, постановляя 2 и 3). Вот мое определение:

  Исследования в области машинного обучения являются частью исследований в области искусственного интеллекта, направленных на предоставление знаний компьютерам посредством данных, наблюдений и взаимодействия с миром. Полученные знания позволяют компьютерам правильно обобщать новые настройки.

  Д-р Данко Николич, CSC и Институт Макса Планка:

  (правка № 2 выше): «Машинное обучение — это наука о том, как заставить компьютеры действовать без явного программирования, а вместо этого позволить им освоить несколько приемов. самостоятельно.»

  Д-р Роман Ямпольский, Университет Луисвилля:

  Машинное обучение — это наука о том, как научить компьютеры учиться так же хорошо, как это делают люди или даже лучше.

  Доктор Эмили Фокс, Университет Вашингтона:

  Мое любимое определение — №5.

  Основные понятия машинного обучения

  Существует множество различных типов алгоритмов машинного обучения, сотни из которых публикуются каждый день, и они обычно группируются по стилю обучения (т.е. контролируемое обучение, неконтролируемое обучение, полуконтролируемое обучение). ) или по подобию в форме или функции (т.е. классификация, регрессия, дерево решений, кластеризация, глубокое обучение и т. д.). Независимо от стиля или функции обучения все комбинации алгоритмов машинного обучения состоят из следующего:

  • Представление (набор классификаторов или язык, который понимает компьютер)
  • Оценка (функция цели / оценки)
  • Оптимизация (метод поиска; часто это классификатор с наибольшим количеством баллов, например; используются как стандартные, так и пользовательские методы оптимизации)

  

  Кредит изображения: Dr.Педро Доминго, Вашингтонский университет

  Фундаментальная цель алгоритмов машинного обучения состоит в том, чтобы обобщить за пределы обучающих образцов, то есть успешно интерпретировать данные, которые они никогда не «видели» раньше.

  Визуальное представление моделей машинного обучения

  Понятия и основные положения могут дать только один понимание. Когда люди спрашивают «Что такое машинное обучение?», Они часто хотят увидеть, что это такое и что делает.Ниже приведены некоторые визуальные представления моделей машинного обучения с сопровождающими ссылками для получения дополнительной информации. Еще больше ресурсов можно найти в нижней части этой статьи.
  

  модель дерева решений

  

  гауссов смесь модель

  Выпадение нейронная сеть

  

  Слияние цветности и яркости с использованием сверточных нейронных сетей

  Как мы Получить Машины для Learn

  Существуют различные подходы к обучению машин: от использования базовых деревьев решений до кластеризации и слоев искусственных нейронных сетей (последний из которых уступил место глубокому обучению), в зависимости от того, какую задачу вы пытаетесь выполнить и тип и объем данных, которые у вас есть.Эта динамика проявляется в различных приложениях, таких как медицинская диагностика или самостоятельное вождение автомобиля.

  Хотя акцент часто делается на выборе лучшего алгоритма обучения, исследователи обнаружили, что некоторые из наиболее интересных вопросов возникают из-за того, что ни один из доступных алгоритмов машинного обучения не работает в нормальном режиме. В большинстве случаев это проблема с данными обучения, но это также происходит при работе с машинным обучением в новых областях.

  Исследования, проводимые при работе с реальными приложениями, часто приводят к прогрессу в этой области, и причины двояки: 1.Тенденция к обнаружению границ и ограничений существующих методов 2. Исследователи и разработчики, работающие с экспертами в области и использующие время и опыт для повышения производительности системы.

  Иногда это также происходит по «случайности». Мы могли бы рассмотреть модельные ансамбли или комбинации многих алгоритмов обучения, чтобы улучшить точность, чтобы быть одним примером. Команды, конкурирующие за цену Netflix 2009 года, обнаружили, что они добились наилучших результатов, объединив своих учеников с учениками других команд, что привело к улучшению алгоритма рекомендаций (см. Блог Netflix, чтобы узнать, почему они не использовали этот ансамбль).

  Одним из важных моментов (основанных на интервью и беседах с экспертами в данной области), с точки зрения применения в бизнесе и в других местах, является то, что машинное обучение — это не просто автоматизация, а даже даже автоматизация, часто неправильно понимаемая концепция. Если вы так думаете, вы непременно упустите ценные идеи, которые могут предоставить машины, и связанные с этим возможности (например, переосмысление всей бизнес-модели, как это было в таких отраслях, как производство и сельское хозяйство).

  Машины, которые учатся, полезны для людей, потому что, обладая всей их вычислительной мощностью, они могут быстрее выделять или находить шаблоны в больших (или других) данных, которые в противном случае были бы пропущены людьми.Машинное обучение — это инструмент, который можно использовать для повышения способности людей решать проблемы и делать обоснованные выводы по широкому кругу проблем, от диагностики заболеваний до поиска решений для глобального изменения климата.

  Проблемы и ограничения

  «Машинное обучение не может получить что-то из ничего … что оно делает, так это получает больше от меньшего». — Д-р Педро Доминго, Вашингтонский университет

  Две самые большие исторические (и продолжающиеся) проблемы в машинном обучении связаны с переоснащением (когда модель демонстрирует уклон к данным обучения и не обобщается на новые данные, и / или дисперсия я.е. изучает случайные вещи при обучении новым данным) и размерности (алгоритмы с большим количеством функций работают в более высоких / множественных измерениях, что затрудняет понимание данных). Доступ к достаточно большому набору данных в некоторых случаях также был основной проблемой.

  Одной из самых распространенных ошибок среди начинающих в области машинного обучения является успешное тестирование данных обучения и иллюзия успеха; Доминго (и другие) подчеркивают важность сохранения отдельных наборов данных при тестировании моделей и использования только этих зарезервированных данных для тестирования выбранной модели с последующим изучением всего набора данных.

  Когда алгоритм обучения (т. Е. Учащийся) не работает, часто более быстрый путь к успеху состоит в том, чтобы снабжать машину большим количеством данных, доступность которых к настоящему времени хорошо известна как основной фактор прогресса в машинном и глубоком обучении. в былые времена; однако это может привести к проблемам с масштабируемостью, когда у нас есть больше данных, но время, чтобы узнать, что данные остаются проблемой.

  С точки зрения цели, машинное обучение не является целью или решением само по себе. Кроме того, пытаясь использовать его в качестве общего решения i.е. «ПУСТО» — бесполезное упражнение; вместо этого, приход к столу с проблемой или целью часто лучше всего обусловлен более конкретным вопросом — «ПУСТО».

  Глубокое обучение и современные разработки в нейронных сетях

  Глубокое обучение включает в себя изучение и разработку машинных алгоритмов для обучения правильному представлению данных на нескольких уровнях абстракции (способы организации компьютерных систем). Недавняя публикация глубокого обучения через DeepMind, Facebook и другие учреждения выдвинула на первый план его как «следующий рубеж» машинного обучения.

  Международная конференция по машинному обучению (ICML) считается одной из самых важных в мире. Этот год состоялся в июне в Нью-Йорке, и в нем приняли участие исследователи со всего мира, которые работают над решением текущих проблем в области глубокого обучения:

  1. Обучение без обучения в небольших наборах данных
  2. Обучение на основе моделирования и переносимость в реальный мир

  Системы глубокого обучения добились значительных успехов за последнее десятилетие в таких областях, как обнаружение и распознавание объектов, преобразование текста в речь, поиск информации и другие.В настоящее время исследования сосредоточены на разработке машинного обучения с эффективным использованием данных , то есть систем глубокого обучения, которые могут учиться более эффективно, с той же производительностью за меньшее время и с меньшим объемом данных, в самых современных областях, таких как персонализированное здравоохранение, обучение с усилением роботов, анализ настроений , и другие.

  Ключевые выводы при применении Машинное обучение

  Ниже представлен список лучших практик и концепций применения машинного обучения, которые мы собрали из наших интервью для наших серий подкастов и из избранных источников, цитируемых в конце Эта статья.Мы надеемся, что некоторые из этих принципов прояснят, как используется ОД и как избежать некоторых распространенных ошибок, которые могут быть уязвимы для компаний и исследователей при запуске проекта, связанного с ОД.

  • Пожалуй, наиболее важным фактором в успешных проектах машинного обучения являются функции , используемые для описания данных (которые относятся к конкретной области), и наличие достаточных данных для обучения ваших моделей, в первую очередь
  • Большинство из время, когда алгоритмы не работают хорошо, это связано с проблемой с тренировочными данными (т.е.е. недостаточное количество / перекос данных; шумные данные; или недостаточные характеристики, описывающие данные для принятия решений
  • «Простота не подразумевает точности» — нет (согласно Доминго) никакой заданной связи между числом параметров модели и тенденцией к переобучению
  • Получение экспериментальных данных ( в отличие от данных наблюдений, над которыми мы не имеем никакого контроля), если это возможно, следует выполнять (например, данные, полученные при отправке различных вариаций электронного письма в случайную выборку аудитории)
  • Независимо от того, помечаем ли мы данные как причинные или относительные более важный момент заключается в том, чтобы прогнозировать последствия наших действий.
  • . Всегда откладывайте часть ваших тренировочных данных для перекрестной проверки; Вы хотите, чтобы выбранный вами классификатор или алгоритм обучения работал хорошо на свежих данных

  Emerj для руководителей предприятий

  Emerj помогает компаниям начать работу с искусственным интеллектом и машинным обучением.Используя наши возможности AI AI Landscapes, клиенты могут открыть для себя самые большие возможности для автоматизации и искусственного интеллекта в своих компаниях и выбрать самые первые проекты AI с высокой рентабельностью инвестиций. Вместо того, чтобы тратить деньги на пилотные проекты, которые обречены на провал, Emerj помогает клиентам вести дела с подходящими для них поставщиками искусственного интеллекта и повышать уровень успеха своих проектов.

  Работы цитируются

  1 — http://homes.cs.washington.edu/~pedrod/papers/cacm12.pd

  2 — http: // videolectures.net / deeplearning2016_precup_machine_learning /

  3 — http://www.aaai.org/ojs/index.php/aimagazine/article/view/2367/2272

  4 — https://research.facebook.com/blog/facebook -researchers-focus-on-the-the-стимулирующие-машинное обучение-questions-at-icml-2016/

  5 — https://sites.google.com/site/dataefficientml/

  6 — http: / /www.cl.uni-heidelberg.de/courses/ws14/deepl/BengioETAL12.pdf

  Интервью по машинному обучению в Emerj

  Один из лучших способов узнать о концепциях искусственного интеллекта — это изучить исследования и применения самые умные умы в этой области.Ниже приведен краткий список некоторых наших интервью с исследователями машинного обучения, многие из которых могут представлять интерес для читателей, которые хотят исследовать эти темы подробнее:

  .
  Что такое машинное обучение? Как машины учатся мыслить

  Машинное обучение уже выполняет важные функции для маркетинга. На данный момент, однако, в основном это крупные компании, которые используют эти функции, например, Google. Самообучающиеся системы все еще настолько новы, что их нельзя просто купить как готовое решение. Вместо этого популярные интернет-провайдеры разрабатывают свои собственные системы и поэтому являются движущей силой в этом секторе. Однако, поскольку некоторые из них являются с открытым исходным кодом и работают с независимыми исследованиями, несмотря на коммерческий интерес, разработки в этой области продвигаются еще быстрее.

  В дополнение к своей креативной стороне маркетинг всегда имел аналитический аспект : статистика поведения покупателей (поведение при покупке, количество посетителей сайта, использование приложений и т. Д.) Играют важную роль в принятии решения о том, какие конкретные рекламные меры использовать. Чем больше у вас данных, тем больше информации обычно можно извлечь из них. Интеллектуальные программы необходимы для обработки такого большого количества функций. Именно здесь вступают в игру системы самообучения: компьютерные программы учат распознавать закономерности и могут делать обоснованные прогнозы, что в остальном весьма ограничивает людей, склонных к предвзятости в отношении данных.

  Аналитик обычно подходит к измеренным данным с определенными ожиданиями. Эти предубеждения трудно для людей, чтобы не иметь заранее и часто может привести к разочарованию результатами. Чем больше данных обрабатывает аналитик, тем больше вероятность отклонения. Хотя интеллектуальные машины тоже могут быть предвзятыми.

  Самообучающиеся системы также улучшают и облегчают представление результатов анализа: Автоматизированная визуализация данных — это метод, при котором компьютер автоматически выбирает лучший способ представления данных и информации.Это особенно важно, чтобы люди могли понять, что машина обнаружила и предсказала. С таким большим количеством данных становится трудно отобразить результаты самостоятельно. Следовательно, для компьютера имеет смысл представить результаты.

  Машинное обучение также может влиять на то, как создается контент — ключевое слово здесь — генеративный дизайн . Вместо того, чтобы разрабатывать один и тот же путь клиента для всех пользователей (то есть шаги, которые клиент предпринимает для покупки продукта или услуги), динамические системы могут создавать индивидуальный опыт, основанный на машинном обучении.Контент, отображаемый пользователю на веб-сайте, по-прежнему предоставляется копирайтерами и дизайнерами, но система интегрирует компоненты специально для пользователя. В то же время, самообучающиеся системы также используются для самостоятельного проектирования: благодаря проекту Dreamcatcher можно создавать компоненты, разработанные на машине.

  Машинное обучение также можно использовать, например, для улучшения чат-ботов . Многие компании уже используют программы, которые обрабатывают часть поддержки клиентов, используя чат-ботов.Но во многих случаях пользователи быстро раздражаются автоматическими операторами: возможности текущих чат-ботов обычно очень ограничены, а варианты ответов основаны на базах данных, которые обслуживаются вручную. Чат-бот, основанный на самообучающейся системе с хорошим распознаванием речи (NLP), может дать покупателям ощущение, что они общаются с реальным человеком — и, следовательно, проходят тест Тьюринга.

  Amazon или Netflix сделали еще одно важное событие в области машинного обучения для маркетологов: рекомендации .Основным фактором успеха этих провайдеров является прогнозирование того, что пользователь хочет дальше. В зависимости от собранных данных, самообучающиеся системы могут рекомендовать пользователю дополнительные продукты. То, что раньше было возможно только в большом и не столь личном масштабе («Нашим клиентам нравится продукт A, что означает, что им понравится продукт B»), теперь также возможно в небольшом масштабе благодаря современным программам («Клиент X имеет понравились продукты A, B и C, поэтому им, вероятно, понравится продукт D ‘).

  Таким образом, самообучающиеся системы будут влиять на онлайн-маркетинг четырьмя важными способами:

  1. Количество : Программы, которые работают с машинным обучением и хорошо обучены, могут обрабатывать большие объемы данных и делать прогнозы на будущее.Таким образом, специалисты по маркетингу делают выводы из успеха или неудачи кампаний.
  2. Speed ​​: анализы требуют времени — если вы должны делать их вручную. Самообучающиеся системы увеличивают скорость работы и позволяют быстрее реагировать на изменения.
  3. Автоматизация : Машинное обучение облегчает автоматизацию операций. Поскольку современные системы могут самостоятельно адаптироваться к новым условиям с помощью машинного обучения, также возможны сложные процессы автоматизации.
  4. Индивидуальность : Компьютерные программы могут обслуживать бесчисленное количество клиентов. Поскольку самообучающиеся системы собирают и обрабатывают данные от отдельных пользователей, они также могут оказывать всестороннюю поддержку этим клиентам. Индивидуальные рекомендации и специально разработанные поездки клиентов помогают маркетинговым мерам быть более эффективными.

  .

  Что такое машинное обучение? | Как это работает, методы и приложения

  контролируемого обучения

  Машинное обучение под наблюдением создает модель, которая делает прогнозы на основе фактических данных при наличии неопределенности. Алгоритм контролируемого обучения принимает известный набор входных данных и известные ответы на данные (выходные данные) и обучает модель генерировать разумные прогнозы для ответа на новые данные. Используйте контролируемое обучение, если вам известны данные для вывода, который вы пытаетесь предсказать.

  При обучении под наблюдением используются методы классификации и регрессии для разработки прогностических моделей.

  Методы классификации предсказывают дискретные ответы — например, является ли электронное письмо подлинным или спамом, или является ли опухоль злокачественной или доброкачественной. Модели классификации классифицируют входные данные по категориям. Типичные приложения включают медицинскую визуализацию, распознавание речи и кредитный скоринг.

  Используйте классификацию, если ваши данные могут быть помечены, классифицированы или разделены на определенные группы или классы.Например, приложения для распознавания рукописного ввода используют классификацию для распознавания букв и цифр. В обработке изображений и компьютерном зрении для распознавания объектов и сегментации изображений используются неконтролируемые методы распознавания образов.

  Распространенные алгоритмы для выполнения классификации включают в себя метод опорных векторов (SVM), деревья решений с увеличенными и суммированными данными, ближайший сосед k , наивный байесовский анализ, дискриминантный анализ, логистическую регрессию и нейронные сети.

  Методы регрессии предсказывают непрерывные реакции — например, изменения температуры или колебания спроса на электроэнергию.Типичные приложения включают прогнозирование нагрузки на электроэнергию и алгоритмическую торговлю.

  Используйте методы регрессии, если вы работаете с диапазоном данных или если ваш ответ является действительным числом, таким как температура или время до отказа для какого-либо оборудования.

  Распространенные алгоритмы регрессии включают линейную модель, нелинейную модель, регуляризацию, ступенчатую регрессию, деревья решений с расширенными и пакетированными решениями, нейронные сети и адаптивное нейро-нечеткое обучение.

  ,

  No related posts.

  Разное