Apodis - Високопроизводителна разпределена система за съхранение за HPC приложения

Apodis (съкратено от „A Pod of Disks“) е разпределена система за съхранение, предназначена да съхранява и управлява големи количества данни на множество машини. Той е специално проектиран да се справи с нуждите на приложенията за високопроизводителни изчисления (HPC), като научни симулации, анализ на данни и машинно обучение.

Apodis е изграден върху протокола HDFS (Hadoop Distributed File System), който осигурява гъвкава и мащабируем начин за съхраняване и извличане на данни в клъстер от машини. Въпреки това, за разлика от традиционните внедрявания на HDFS, Apodis добавя няколко функции, които го правят по-подходящ за HPC работни натоварвания:

1. Високоефективно управление на метаданни: Apodis използва изградена по поръчка система за управление на метаданни, която е оптимизирана за HPC работни натоварвания. Тази система позволява бързи и ефективни заявки за файловата система, дори за много големи набори от данни.
2. Репликация и резервиране на данни: Apodis осигурява поддръжка за репликация и резервиране на данни, което гарантира, че данните са налични дори в случай на повреда на машината или мрежови дялове.
3. Кодиране за изтриване: Apodis използва кодиране за изтриване, за да осигури ефективно възстановяване на данни в случай на повреда на машината. Това означава, че само част от машини трябва да са достъпни за възстановяване на данни, а не всички машини.
4. Поддръжка за паралелен I/O: Apodis е проектиран да поддържа паралелни I/O операции, което позволява по-бърз трансфер на данни и намалено забавяне.
5. Интеграция с HPC рамки: Apodis е проектиран да работи безпроблемно с популярни HPC рамки като OpenMPI, MPICH и OpenACC. Това улеснява интегрирането на Apodis в съществуващи HPC работни потоци.

Като цяло Apodis е мощна и гъвкава разпределена система за съхранение, която е много подходяща за HPC работни натоварвания. Неговото високопроизводително управление на метаданни, репликация и излишък на данни, кодиране за изтриване, поддръжка за паралелен I/O и интеграция с HPC рамки го правят идеален избор за широкомащабни научни симулации, анализ на данни и приложения за машинно обучение.