Apodis – Nagy teljesítményű elosztott tárolórendszer HPC alkalmazásokhoz

Az Apodis (a "A Pod of Disks" rövidítése) egy elosztott tárolórendszer, amelyet arra terveztek, hogy nagy mennyiségű adatot tároljon és kezeljen több gépen. Kifejezetten a nagy teljesítményű számítástechnikai (HPC) alkalmazások igényeinek kielégítésére tervezték, mint például a tudományos szimulációk, az adatelemzés és a gépi tanulás.

Apodis a HDFS (Hadoop Distributed File System) protokollra épül, amely rugalmasságot biztosít. és méretezhető módja az adatok tárolásának és lekérésének egy gépcsoporton keresztül. A hagyományos HDFS-megvalósításokkal ellentétben azonban az Apodis számos olyan szolgáltatást ad hozzá, amelyek alkalmasabbá teszik a HPC-munkaterhelésekhez:

1. Nagy teljesítményű metaadat-kezelés: Az Apodis egy egyedi, HPC-munkaterhelésre optimalizált metaadat-kezelő rendszert használ. Ez a rendszer lehetővé teszi a fájlrendszer gyors és hatékony lekérdezését még nagyon nagy adathalmazok esetén is.
2. Adatreplikáció és redundancia: Az Apodis támogatja az adatreplikációt és a redundanciát, amely biztosítja, hogy az adatok még géphiba vagy hálózati partíció esetén is elérhetők legyenek.
3. Törlési kódolás: Az Apodis törlési kódolást használ, hogy hatékony adat-helyreállítást biztosítson géphiba esetén. Ez azt jelenti, hogy az összes gép helyett csak a gépek egy részhalmazának kell rendelkezésre állnia az adatok helyreállításához.
4. Párhuzamos I/O támogatása: Az Apodis a párhuzamos I/O műveletek támogatására készült, ami gyorsabb adatátvitelt és csökkentett késleltetést tesz lehetővé.
5. Integráció HPC-keretrendszerekkel: Az Apodis-t úgy tervezték, hogy zökkenőmentesen működjön együtt olyan népszerű HPC-keretrendszerekkel, mint az OpenMPI, az MPICH és az OpenACC. Ez megkönnyíti az Apodis meglévő HPC-munkafolyamatokba való integrálását. Összességében az Apodis egy hatékony és rugalmas elosztott tárolási rendszer, amely jól illeszkedik a HPC-munkafolyamatokba. Nagy teljesítményű metaadat-kezelése, adatreplikációja és redundanciája, törlési kódolása, párhuzamos I/O támogatása és a HPC keretrendszerekkel való integrációja ideális választássá teszik nagyszabású tudományos szimulációkhoz, adatelemzésekhez és gépi tanulási alkalmazásokhoz.