Технологии и инфраструктуры работы с большими данными

Входные требования: базовые навыки программирования и веб-технологий. Навыки работы с базами данных

Зачетные единицы: 6

Курс: Основной

Язык курса: Английский

Цели

  • Выявление основных причин образования Больших Данных, определение и идентификация Больших Данных
  • Знакомство с технологиями обработки Больших Данных, Grid, WMS, MapReduce
  • Основы MapReduce и технологией Apache Hadoop
  • HDFS, базовая инфраструктура Apache Hadoop
  • Знакомство с технологией Apache Spark и Apache Streaming

 

Содержание

Технологии Больших Данных безусловно занимаю ключевую роль в современных программных решениях больших компаний. На сегодняшний день эффективная обработка и анализ данные являются не только основой успешного развития бизнеса, но и преимуществом способным сыграть решающую роль в конкурентной борьбе. Именно поэтому данный курс направлен на освоение навыков при работе и анализе Больших Данных. В ходе курса будет предложено краткое описание истории формирования, определения и идентификация направления Больших Данных. Будут даны основы работы с распределенной системой хранения файлов HDFS, а также основы работы технологией Apache Hadoop и функционирования MapReduce. Также будет освоена технология Apache Spark и Spark Streaming. По завершению обучения студент будет обладать навыками работы с основными технологиями Большими Данными, такими как, Apache Hadoop и Apache Spark.  

Формат

Лекции и семинары

Оценка

Присутствие является обязательным.

Оценка: 60% курсовая работа из них: 20% сбор данных, 20% реализация обработки данных на технологии Больших Данных, 20% анализ и написание отчета; 20% работа на семинарах; 20% экзаменационный тест.