Современные онлайн-приложения управляют огромными потоками данных, обработка которых с использованием лишь традиционных систем хранения и управления данными затруднена. Для эффективной работы таких приложений создано уже немало специализированных распределенных систем. Примером является стек технологий Apache Hadoop, который позволяет строить распределённые системы, выдерживающие высокие нагрузки. В частности, одна из таких систем построена и используется в Facebook для приложения Facebook Messages. В докладе рассмотрены основные технологий стека Apache Hadoop, а также изменения, внесенные в него инженерами Facebook для повышения стабильности и эффективности работы.
Докладчик: Константин Абакумов
Материалы:
- Dhruba Borthakur, Joydeep Sen Sarma, Jonathan Gray. Apache Hadoop Goes Realtime at Facebook. (pdf)
- Tom White. Hadoop: The Definitive Guide, 2nd Edition
- HDFS: http://kazman.shidler.hawaii.edu/ArchDoc.htm
- Google BigTable: ttp://static.googleusercontent.com/external_content/untrusted_dlcp/labs.google.com/en//papers/bigtable-osdi06.pdfl
- ZooKeeper: http://www.usenix.org/event/atc10/tech/full_papers/Hunt.pdf
- HDFS Replication Policy: https://issues.apache.org/jira/browse/HDFS-1094
Презентация с семинара (html)
Comments are closed.