Apodis — высокопроизводительная распределенная система хранения данных для приложений HPC

Apodis (сокращение от «Pod of Disks») — это распределенная система хранения, предназначенная для хранения и управления большими объемами данных на нескольких машинах. Он специально разработан для удовлетворения потребностей приложений высокопроизводительных вычислений (HPC), таких как научное моделирование, анализ данных и машинное обучение.

Apodis построен на основе протокола HDFS (распределенная файловая система Hadoop), который обеспечивает гибкую и масштабируемый способ хранения и извлечения данных в кластере компьютеров. Однако, в отличие от традиционных реализаций HDFS, Apodis добавляет несколько функций, которые делают его более подходящим для рабочих нагрузок HPC:

1. Высокопроизводительное управление метаданными: Apodis использует специально созданную систему управления метаданными, оптимизированную для рабочих нагрузок HPC. Эта система позволяет быстро и эффективно запрашивать файловую систему даже для очень больших наборов данных.
2. Репликация и избыточность данных. Apodis обеспечивает поддержку репликации и избыточности данных, что гарантирует доступность данных даже в случае сбоев компьютеров или разделов сети.
3. Стирающее кодирование: Apodis использует стирающее кодирование для обеспечения эффективного восстановления данных в случае сбоев оборудования. Это означает, что для восстановления данных должна быть доступна только часть машин, а не все машины.
4. Поддержка параллельного ввода-вывода: Apodis предназначен для поддержки параллельных операций ввода-вывода, что обеспечивает более быструю передачу данных и сокращение задержек.
5. Интеграция с платформами HPC: Apodis предназначен для бесперебойной работы с популярными платформами HPC, такими как OpenMPI, MPICH и OpenACC. Это упрощает интеграцию Apodis в существующие рабочие процессы HPC. В целом Apodis — это мощная и гибкая распределенная система хранения, которая хорошо подходит для рабочих нагрузок HPC. Его высокопроизводительное управление метаданными, репликация и избыточность данных, стирающее кодирование, поддержка параллельного ввода-вывода и интеграция с платформами HPC делают его идеальным выбором для крупномасштабного научного моделирования, анализа данных и приложений машинного обучения.