Apodis – vysoce výkonný distribuovaný úložný systém pro aplikace HPC

Apodis (zkratka pro „A Pod of Disks“) je distribuovaný úložný systém navržený pro ukládání a správu velkého množství dat na více strojích. Je speciálně navržen tak, aby zvládal potřeby aplikací s vysokým výkonem (HPC), jako jsou vědecké simulace, analýza dat a strojové učení.

Apodis je postaven na protokolu HDFS (Hadoop Distributed File System), který poskytuje flexibilní a škálovatelný způsob ukládání a načítání dat napříč clusterem strojů. Na rozdíl od tradičních implementací HDFS však Apodis přidává několik funkcí, díky kterým je vhodnější pro pracovní zátěže HPC:

1. Vysoce výkonná správa metadat: Apodis používá vlastní systém správy metadat, který je optimalizován pro pracovní zátěže HPC. Tento systém umožňuje rychlé a efektivní dotazování na souborový systém, a to i pro velmi velké datové sady.
2. Replikace dat a redundance: Apodis poskytuje podporu pro replikaci dat a redundanci, která zajišťuje dostupnost dat i v případě selhání stroje nebo síťových oddílů.
3. Vymazávací kódování: Apodis používá vymazávací kódování k zajištění efektivní obnovy dat v případě selhání stroje. To znamená, že pro obnovu dat musí být k dispozici pouze podmnožina strojů, nikoli všechny stroje.
4. Podpora paralelních I/O: Apodis je navržen tak, aby podporoval paralelní I/O operace, což umožňuje rychlejší přenos dat a sníženou latenci.
5. Integrace s HPC frameworky: Apodis je navržen tak, aby bezproblémově spolupracoval s oblíbenými HPC frameworky, jako jsou OpenMPI, MPICH a OpenACC. To usnadňuje integraci Apodis do stávajících pracovních postupů HPC.

Celkově je Apodis výkonný a flexibilní systém distribuovaného úložiště, který se dobře hodí pro pracovní zátěže HPC. Jeho vysoce výkonná správa metadat, replikace a redundance dat, kódování výmazu, podpora paralelních I/O a integrace s HPC frameworky z něj činí ideální volbu pro rozsáhlé vědecké simulace, analýzu dat a aplikace strojového učení.