В докладе будет представлен обзор современных технологий для организации распределенных вычислений (таких как Hadoop, MapReduce, BSP, и др.), а также наиболее быстро развивающихся и интересных областей их применения. Детально будут рассмотрены два направления — анализ масштабных графов и обработка потоковых данных в реальном времени.

Докладчики: Константин Абакумов, Антон Коршунов

Материалы:

1. Hadoop: The Definitive Guide, Second Edition
2. Pregel: A System for Large-Scale Graph Processing
3. Stom Tutorial

Презентация с семинара

Современные онлайн-приложения управляют огромными потоками данных, обработка которых с использованием лишь традиционных систем хранения и управления данными затруднена. Для эффективной работы таких приложений создано уже немало специализированных распределенных систем. Примером является стек технологий Apache Hadoop, который позволяет строить распределённые системы, выдерживающие высокие нагрузки. В частности, одна из таких систем построена и используется в Facebook для приложения Facebook Messages. В докладе рассмотрены основные технологий стека Apache Hadoop, а также изменения, внесенные в него инженерами Facebook для повышения стабильности и эффективности работы.

Докладчик: Константин Абакумов

Материалы:

• Dhruba Borthakur, Joydeep Sen Sarma, Jonathan Gray. Apache Hadoop Goes Realtime at Facebook. (pdf)
• Tom White. Hadoop: The Definitive Guide, 2nd Edition
• HDFS: http://kazman.shidler.hawaii.edu/ArchDoc.htm
• Google BigTable: ttp://static.googleusercontent.com/external_content/untrusted_dlcp/labs.google.com/en//papers/bigtable-osdi06.pdfl
• ZooKeeper: http://www.usenix.org/event/atc10/tech/full_papers/Hunt.pdf
• HDFS Replication Policy: https://issues.apache.org/jira/browse/HDFS-1094

Презентация с семинара (html)