Статистические основы интеллектуального анализа данных

Цели и задачи дисциплины

ЦЕЛЬЮ освоения дисциплины "Статистические основы интеллектуального анализа данных" является фундаментальная математическая подготовка в области планирования, систематизации и использования статистических данных для обнаружения закономерностей в тех явлениях, в которых существенную роль играет случайность. Методы дисциплины помогают решать такие ЗАДАЧИ, как проверка соответствия математической модели изучаемому явлению или процессу, исследование возможности принять решение о свойствах модели по результатам экспериментов, которые подвержены случайным колебаниям, в частности оценить неизвестные параметры и проверить статистические гипотезы. Обучение этим методам обусловлено широким спектром применения для решения многих проблем производства, техники, физики, биологии, геологии, экономики, психологии, лингвистики.

Краткое содержание дисциплины

Задачи анализа и обработки данных. Планирование процедур сбора данных. Интерпретация экспериментальных данных. Модель эксперимента. Первичная обработка экспериментальных данных. Типы экспериментальных данных – интервальные, ординальные, номинальные. Некоторые стандартные распределения: нормальное, многомерное нормальное, равномерное на компакте, хи-квадрат, Стьюдента, Фишера, Уишарта и др. Эмпирические аналоги. Состоятельность эмпирических показателей. Оценки. Методы построения оценок – ММП, ММ, МНК и др. Состоятельность, несмещенность и эффективность оценивания. Неравенство Крамера-Рао. Точность и надежность оценивания. Интервальное оценивание. Байесовское оценивание. Оценивание математического ожидания и дисперсии. Точные и приближенные формулы. Оценивание ковариации и коэффициента корреляции. Статистики I-го типа. Состоятельность и асимптотическая нормальность статистик I-го типа. Достаточные статистики. Факторизационный критерий достаточности. Экспоненциальные семейства. Теорема Блекуэла-Рао-Колмогорова. Критерий проверки гипотезы. Последовательные критерии. Простые и сложные гипотезы. Принцип Неймана-Пирсона. Состоятельность и несмещенность критерия. Параметрические критерии: гипотеза о математическом ожидании, гипотеза о дисперсии, гипотеза о равенстве дисперсий, гипотеза о равенстве математических ожиданий. Непараметрические критерии: критерии согласия (Колмогорова-Смирнова, хи-квадрат Пирсона),критерии однородности (Колмогорова-Смирнова, хи-квадрат Пирсона, Манна-Уитни) Зависимости. Хи-квадрат критерий проверки независимости. Модели дисперсионного анализа. Один фактор. Доверительные интервалы – S-метод Шеффе, T-метод Тьюки и др. Два фактора – полный дисперсионный анализ. Модели дисперсионного анализа со случайными факторами. Регрессия и ее свойства. Идентификация регрессионных зависимостей. Корреляционное отношение, коэффициент корреляции, выборочные аналоги. Корреляционные зависимости. Среднеквадратическая линейная регрессия. Эмпирический аналог. Идентификация корреляционных зависимостей. Совместно нормальные переменные. Ранговый критерий. Регрессия с неслучайными переменными. МНК оценивание коэффициентов. Линейные по параметрам модели. Состоятельность и несмещенность МНК оценок. Оптимальность МНК оценок – теорема Гаусса-Маркова. Нормальная регрессия. Адекватность модели. Прогноз.

Компетенции обучающегося, формируемые в результате освоения дисциплины

Выпускник должен обладать:

ОПК-1 Способен использовать положения, законы и методы естественных наук и математики для решения задач инженерной деятельности