Sunet Distribuerad Lagring
Projektdirektiv
Bakgrund
Under 2016 genomförde Sunet tillsammans med ett antal av de större nationella och internationella infrastrukturerna (SND, SNIC, SciLifeLab, Onsala Rymdobservatorium, EISCAT_3D och MaxIV) en dialog kring behovet av samordning av långsiktig lagring av forskningsdata. Behoven av samordning involverar både metadata, identifierare, protokoll, APIer samt även tekniska lösningar för lagring av digitala objekt på permanent lagringsmedium (lågnivålagring).
Under 2017 genomförde Sunet en förstudie tillsammans med bla Göteborgs Universitet, Uppsala Universitet, SND och SciLife Lab (bla BILS) i syfte att utforska möjligheterna till en distribuerad lagringslösning där befintliga lokaler och resurser på lärosäten används för att sänka kostnaden.
Förslaget bygger på en distribuerad tjänst i meningen att lagringsplattformen (servrar, lagringsmedium, mm) framförallt kommer att placeras hos de lärosäten som har störst behov av lagring. En sådan tjänst kommer i någon mening vara federerad genom att vissa lärosäten kommer att kunna bidra med resurser för inplaceringen (datorhall, el, kyla osv) till tjänsten, i utbyte mot lägre kostnad för lagring av större volymer. Denna tjänst, ”Sunet distribuerad lagring”, kommer att erbjudas enligt en fast prislista till alla Sunet-anslutna organisationer på samma sätt som alla andra tilläggstjänster, t.ex. Box, Zoom etc.
Syfte och Mål
Syftet med detta projekt är att etablera en Sunet-tjänst som kan uppfylla behov av lagring av forskningsdata i första hand men som även (så långt det är möjligt) fungera som lagringslösning för andra tjänster och funktioner (tex backup) inom sektorn. Under projektet att etablera "Sunet Distribuerad Lagring" ska huvudfokus ligga på att hålla kostnaden för lagring så låg som möjligt så länge som kraven från verksamheten uppfylls. Under projektet ska även andra krav ffa från forskningssektorn tas i beaktande.
Projektets mål är att:
- Ta fram en tjänstebeskrivning inklusive prismodell för en distribuerad lagringslösning baserat på CEPH och OpenStack.
- Ta fram en teknisk lösning för kopplingen mellan lagringslösningen och SND inklusive hanteringen av PID:ar
- Genom ett antal referensgrupper dokumentera och verifiera kritiska verksamhetskrav från forskning, forskningsdata och arkiv
Styrning
Beställare | Sunet |
---|---|
Ansvarig beställare | Leif Johansson |
Projektledare | Fresia Pérez, Stefan Liström |
Styrgrupp | Representanter från lärosäten som uttryckt intresse av att vara lagringsnod |
Referensgrupp | Representanter från arkiv- och forskningsdatasektorn, SciLifeLab, SND, MaxIV, mfl Även ett urval personer med djup teknisk kunskap om CEPH, OpenStack mm |
Tidsplan
Projektet ska kunna leverera en färdig tjänstebeskrivning inklusive prismodell innan sommaren 2018
- Projektet ska leverera en etablerad tjänst färdig för etablering av de första lagringsnoderna med start Q1 2019
Avgränsningar
Projektet ska följa Sunet strategiska vägval (https://www.sunet.se/om-sunet/)
Projektet utgår ifrån en teknisk grunddesign som beskrivs i ålen, dessa ska inte ändra utan ok från beställaren.