Apodis - високопродуктивна розподілена система зберігання даних для додатків HPC

Apodis (скорочення від «A Pod of Disks») — це система розподіленого зберігання, призначена для зберігання та керування великими обсягами даних на кількох машинах. Він спеціально розроблений для задоволення потреб високопродуктивних обчислювальних програм (HPC), таких як наукове моделювання, аналітика даних і машинне навчання.

Apodis побудовано на основі протоколу HDFS (розподілена файлова система Hadoop), який забезпечує гнучкий і масштабований спосіб зберігання та отримання даних у кластері машин. Однак, на відміну від традиційних реалізацій HDFS, Apodis додає кілька функцій, які роблять його більш придатним для робочих навантажень HPC:

1. Високопродуктивне керування метаданими: Apodis використовує спеціально створену систему керування метаданими, оптимізовану для робочих навантажень HPC. Ця система дозволяє швидко й ефективно надсилати запити до файлової системи навіть для дуже великих наборів даних.
2. Реплікація та резервування даних: Apodis забезпечує підтримку реплікації та резервування даних, що гарантує доступність даних навіть у разі збою машини або мережевих розділів.
3. Кодування стирання: Apodis використовує кодування стирання, щоб забезпечити ефективне відновлення даних у разі збою машини. Це означає, що для відновлення даних має бути доступна лише частина машин, а не всі машини.
4. Підтримка паралельного вводу-виводу: Apodis розроблено для підтримки паралельних операцій вводу-виводу, що забезпечує швидшу передачу даних і меншу затримку.
5. Інтеграція з фреймворками HPC: Apodis розроблено для бездоганної роботи з популярними фреймворками HPC, такими як OpenMPI, MPICH і OpenACC. Це полегшує інтеграцію Apodis в існуючі робочі процеси HPC.

Загалом Apodis є потужною та гнучкою розподіленою системою зберігання, яка добре підходить для робочих навантажень HPC. Його високопродуктивне керування метаданими, реплікація та резервування даних, кодування стирання, підтримка паралельного вводу-виводу та інтеграція з інфраструктурами HPC роблять його ідеальним вибором для великомасштабного наукового моделювання, аналізу даних і програм машинного навчання.