Администрирование и проектирование хранилищ больших данных

Цели и задачи дисциплины

Цель курса: углубленное изучение и получение практических навыков программирования баз данных, изучение современных подходов к использованию и перспективных направлений развития СУБД. Задачи курса: - дать знания в области технологий баз данных, достаточные для профессиональной деятельности по разработке интеллектуальных систем; - сориентировать студентов во множестве современных СУБД и связанных с ними информационных технологий хранения и обработки больших массивов данных; - осветить теоретические и организационно-методические вопросы построения и функционирования систем, основанных на концепции баз данных, в том числе различные методологии моделирования и проектирования баз данных, обеспечения безопасности и надежности систем хранения и обработки больших данных; - дать практические навыки проектирования, администрирования и использования баз данных, а также разработки прикладного программного обеспечения.

Краткое содержание дисциплины

Трехуровневая модель разработки баз данных, Особое внимание уделено средствам обеспечения безопасности и целостности данных, Архитектура ХД. Проектирование ХД: подход Р.Кимбалла, Б.Инмона, DataVault, Ancor. Принципы построения корпоративных ХД:. rлассические, виртуальные, облачные ХД. Логическое моделирование ХД, OLAP-куб. Процессы ETL,пакетная и потоковая обработка, достоинства и недостатки. Примеры реализации на Python. Обзор готовых инструментов интеграции данных. Отечественные ХД, BigData/ Архитектура фреймворка Hadoop. Модули Hadoop Common, HDFS, YARN, Hadoop MapReduce. Экосистема Apache Spark. Сравнение с Hadoop. Другие Open-Source системы, обзор: Apache Kafka, Scala, Apache Beam.

Компетенции обучающегося, формируемые в результате освоения дисциплины

Выпускник должен обладать:

ПК-10 (ПК-7 модели) Способен осуществлять сбор и подготовку данных для систем искусственного интеллекта
ПК-11 (ПК-8 модели) Способен разрабатывать системы анализа больших данных