[OTUS] Pазработчик BigData. Модуль 1 из 5 (2018)

DreaMeR

#2
Администратор
Регистрация
22.04.18
Сообщения
34,940
Реакции
290,460
Автор: OTUS
Название: Pазработчик BigData. Модуль 1 из 5



О курсе
В настоящее время каждый сервис или устройство генерируют огромное количество данных. С помощью методов машинного обучения из данных стало возможным извлекать полезные знания. По этой причине данные становятся самым ценным ресурсом в бизнесе, а умение извлекать из данных информацию - одним из самых востребованных умений. Для того, чтобы внедрять использование данных в бизнесе, необходимо обладать набором специальных знаний и навыков. Цель курса - освоить основные темы и инструменты, позволяющие находить полезную информацию в данных и внедрять ее использование в боевое окружение. В нашем курсе мы научим основам анализа данных: расскажем о предобработке данных, типичных задачах и основных алгоритмах машинного обучения, а также научимся обрабатывать объемы данных, для обработки которых недостаточно одной машины. Все задачи будут проработаны на практике как на учебных, так и на реальных данных. Также будут рассмотрены типичные задачи, встречающиеся в разных видах компаний. В результате прохождения курса слушатель сможет самостоятельно реализовывать весь процесс от поиска знаний в данных до построения процесса по обработке данных в боевом окружении, будет обладать знаниями, необходимыми для изучения более сложных методов машинного обучения.

Программа курса:
Первый модуль
Для разработки в области анализа данных необходимо понимать, как устроены основные алгоритмы, какая у них сложность и скорость работы, сколько требуется ресурсов для их успешной работы, область применимости.В первом модуле программы разбираются все базовые алгоритмы машинного обучения. Изучение проходит на сгенерированных данных, не требующих времени на преобразование и доработку. Разъясняется значение и влияние параметров алгоритмов на результат. Каждый этап обучения сопровождается наглядной визуализацией.Будут рассмотрены алгоритмы: линейная регрессия, логистическая регрессия, деревья решений, knn, SVM, k-means, EM, иерархическая кластеризация, DBScanВ результате слушатели уверенно освоят базовые алгоритмы анализа данных и инструменты для базового анализа данных на Python

Занятие 1: Базовые инструменты анализа данных в Python.
Подготовка к курсу. Git, окружение Python. Обзор курса.
Введение в Python, Numpy, Pandas, Sklearn. API Sklearn.
Что такое DS, ML, классы решаемых задач.
ДЗ
Реализация библиотеки. Реализация библиотеки для подсчета статистик и преобразования датасетов в формате csv. Отработка инструментов для преобразования данных в pandas и sklearn.

Занятие 2: Вводная в математические операции.
Интеграл, производная, их свойства, вероятность, плотность вероятности, мат.ожидание, дисперсия, ковариация, матричные вычисления, определитель, обратная матрица и т.п.

Занятие 3: Визуализация
Визуализация на matplotlib, seaborn, plotly
ДЗ
Построение визуализаций по данным

Занятие 4: Линейная регрессия
Математика линейной регрессии. Проблема многомерных пространств и переобучения на примере регрессии. Проблема разреженных данных. Регуляризация.
Простая линейная регрессия на Python. Оценка качества регресcии. Проверка точности модели: обучающая и тестовая выборки. Обучающая и тестовая выборка, кросс-валидация.

Занятие 5: Логистическая регрессия
Математика логистической регрессии. Мультиклассовая регрессия. Оценка качества логистической регрессии.
Теория вероятностей: условные вероятности, теорема Байеса.
Обучение регрессии, градиентный спуск. Регуляризация: L1, L2.
ДЗ
Реализация алгоритма логистической регрессии. Реализация алгоритма логистической регрессии на простых данных. Оценка качества, подбор параметров модели.

Занятие 6: KNN, наивный байес
Метрики и расстояния между объектами: евклидова и другие.
Обучение модели kNN. Ограничения.
Метрики качества: accuracy, precision, recall, др.
Алгоритм наивного байеса. Байесовский классификатор, Принцип Maximum A-Posteriori

Занятие 7: kMeans, EM
Обучение без учителя. Алгоритмы кластеризации, области применения. k-means. Оценка качества обучения, ограничения и подбор алгоритма для задачи.
Байесов подход к вероятности. Алгоритмы с lower-bound. Em алгоритм.
ДЗ
Реализация EM-алгоритма. Реализация EM-алгоритма на простых данных. Оценка качества кластеризации.

Занятие 8: Иерархическая кластеризация, DB-Scan
Иерархическая кластеризация, DB-Scan. Optics. Спектральная кластеризация.

Занятие 9: Feature engineering
Feature engineering. Статистический анализ данных, выбор фич на основе корреляции.
ДЗ
Преобразование набора данных и подбор фич.

Занятие 10: Поиск выбросов в данных

Материал может быть удален по просьбе правообладателя

Скачать:
Скрытое содержимое, доступно для группы: Премиум - Купить группу
 
Последнее редактирование:

digitalis

Премиум
Регистрация
26.04.18
Сообщения
6
Реакции
0
А почему для меня ссылки скрыты, при том, что куплен премиум?
 

Elemeus

Премиум
Регистрация
22.07.18
Сообщения
11
Реакции
0
Спасибо!
 

MrEnzo

Премиум
Регистрация
10.06.18
Сообщения
5
Реакции
0
Зачем было видео обрезать с низу ?
- Вставить свой лейбл (сайт) можно и по верх старого как нибудь замазав ...

Не портите уроки своей конкуренцией
 

Mr. Sliv

Администратор
Регистрация
24.02.18
Сообщения
1,279
Реакции
14,880
Зачем было видео обрезать с низу ?
- Вставить свой лейбл (сайт) можно и по верх старого как нибудь замазав ...

Не портите уроки своей конкуренцией
Уже обговорили с контент менеджером, ситуацию исправили
 
  • Мне нравится
Реакции: MrEnzo

MrEnzo

Премиум
Регистрация
10.06.18
Сообщения
5
Реакции
0
Скрытое содержимое, доступно для групп(ы): <span class="HideItem">Премиум</span>
Все равно видео обрезанное, убрали только надпись

P.S. Уже так посмотрел, открыв сам материал при этом.
P.S.S. Радует то, что это всего одно видео в таком формате ...

UPD: Зря обвинял Вас, в конце второго урока пожаловались что первое видео обрезано у нее ...
 

Вложения

Последнее редактирование:

DreaMeR

#2
Администратор
Регистрация
22.04.18
Сообщения
34,940
Реакции
290,460
Все равно видео обрезанное, убрали только надпись

P.S. Уже так посмотрел, открыв сам материал при этом
Ну тогда здесь уже проблемы не с нашей стороны получили библиотеку такой какой есть)
 

dopadkar

Премиум
Регистрация
30.08.18
Сообщения
1
Реакции
0
Мне нравится
 

peshuha

Премиум
Регистрация
21.02.19
Сообщения
4
Реакции
1
обрезали видео снизу. Слева какой-то ненужный чат слева. Огромная надпись "специально для слива"
 

DreaMeR

#2
Администратор
Регистрация
22.04.18
Сообщения
34,940
Реакции
290,460
обрезали видео снизу. Слева какой-то ненужный чат слева. Огромная надпись "специально для слива"
Таким образом была снята запись, мы сами ничего не вырезали
 

Jackpo0ot

Премиум
Регистрация
12.04.19
Сообщения
6
Реакции
1
Можно чистую версию, пожалуйста ?
 

Пользователи, просматривающие эту тему

Сейчас на форуме нет ни одного пользователя.