Distribuovaný súborový systém slúži ako špeciálny systém, ktorý vykonáva prístup k súborom v sieti, poskytuje prístup a ukladá dáta na väčšine serverových počítačov. Analógom sieťovej platformy je tradičný lokálny systém súborov, ktorý riadi veľkokapacitné úložné zariadenia umiestnené na počítači.

Základy sieťových databáz

Tieto prvky sa týkajú sieťových súborových systémov a zaručujú prístup k nim na serveroch. S ich podporou má užívateľ možnosť vytvoriť integrovaný súborový systém firewall. Obsahuje rôzne nástroje pre servery. Distribuované systémy súborov (RFS) poskytujú zrkadlenie, replikáciu a zálohovanie databázy na ľubovoľnom disku, čo umožňuje vývojárovi upravovať vlastné súbory, odstraňovať alebo ukladať konfigurácie.


Existuje niekoľko RFU, ktoré sa líšia v aplikácii, rozhraniach a protokoloch, ako aj rôzne funkcie, ako je ukladanie do vyrovnávacej pamäte, protokolovanie, viackanálové použitie v lokálnych sieťach. Keďže šírka pásma distribuovaných súborových systémov pre klastre je extrémne nízka, tieto programy majú špeciálne systémy s prenosovými rýchlosťami nad 100 MB /s. Patria sem Globálny systém (GFS) a Vlastný všeobecný systém (GPFS). RFU je hierarchicky štruktúrovaná a má jednu logickú dohodu o menách. Jedná sa o sieťový protokol, ktorý umožňuje používateľovi prístup k súborom bez poznania umiestnenia servera. Centrálna štruktúra stromu sa zjednodušujeVyhľadajte súbory v celej spoločnosti. Sú uložené príliš a úplne prístupné aj v prípade poruchy hlavného pevného disku. V širšom zmysle RFU znamená sieťový protokol na prístup k súborovému systému.


Príklady sú:

Systém sieťového súboru (NFS).

Spoločný súborový systém Internetu (CIFS), rozšírenie jednotiek správ servera (SMB).

Protokol o podaní spoločnosti Apple (AFP) Apple.

Základný protokol NetWare (NCP) od spoločnosti Novell.

Známe implementácie RFS sú:

DFS v systéme Windows od spoločnosti Microsoft. Distribuovaný súborový systém DFS so štandardom Microsoft v operačných systémoch pre servery. Prvýkrát sa objavil v systéme Windows NT4 a bol dodaný so systémom Windows 2000 Server. V systéme Windows Server 2003 boli na server pridané zlepšenia, ako napríklad niekoľko koreňov DFS.

Systém súborov AFS Andrew, pre ktorý existuje niekoľko výrobcov v rámci projektu "Distribuované výpočty".

Konzorcium DCE Open Group, ako ďalší vývoj pre AFSCoda, bolo vyvinuté na Univerzite Carnegie Mellonalosk.

BeeGFS /FhGFS pre klastre a aplikácie HPCGlusterFS pre všetky operačné systémy kompatibilné s POSIX.

poskytuje súbor objektov Hadoop systému, blok a ukladanie súborov, časť jadra Linux, LGPL.XtreemFS, odolné proti chybám RFS s POSIX kompatibilné rozhranie.

Systém súborov Google (GFS, GoogleFS) založený na systéme Linux je optimalizovaný pre údaje s vysokou šírkou pásma.

Porovnanie distribuovaných súborových systémov.

Údržba a typy systémových služieb

Takýto systém poskytuje tieto služby:

Údržba úložiska. Distribúcia a správa priestoru nasekundárne úložné zariadenie, čím poskytuje logický vzhľad úložného systému.

Pravá údržba súborov. Zahŕňa sémantiku zdieľania súborov, mechanizmus ukladania do vyrovnávacej pamäte, replikáciu, paralelnú kontrolu, protokol kopírovania viacerých kópií.

Služba katalógového názvu. Zodpovedá za akcie súvisiace s adresárom: vytvorenie a odstránenie adresárov, pridanie nového súboru do adresára, odstránenie z adresára, zmena názvu, presun od jedného adresára do druhého.

Požadované funkcie RFU:

Transparentnosť. Klienti distribuovaného súborového systému DFS by nemali poznať počet alebo umiestnenie súborových serverov a úložných zariadení. Mnoho súborových serverov poskytuje výkon, škálovateľnosť, spoľahlivosť a prehľadnosť prístupu.

Obidva miestne a vzdialené súbory by mali byť prístupné rovnakým spôsobom. Systém by mal automaticky nájsť dostupné a previesť ho na stránku zákazníka. Názov súboru by nemal označovať umiestnenie súboru. Pri prechode z jedného miesta na druhé by sa nemalo meniť. Ak sa súbor replikuje na viacerých uzloch, prítomnosť viacerých kópií a ich umiestnenie by malo byť skryté od klientov.

Mobilita automaticky spúšťa používateľské prostredie, napríklad domovský adresár používateľa na miesto, kde je prihlásený.

Produktivita sa meria ako priemerná doba potrebná na splnenie požiadaviek zákazníkov. Tento čas zahŕňa procesorový čas + čas na prístup k sekundárnemu úložisku + čas prístupusiete. Je žiaduce, aby výkon distribuovaného súborového systému Windows bol porovnateľný s výkonom centralizovaného systému.

Užívateľské rozhranie v systéme je jednoduché, ale počet príkazov by mal byť čo najmenší.

Škálovateľnosť, rast uzlov a používateľov by nemali vážne narušiť službu.

Vysoká dostupnosť RFU by mala pokračovať v prevádzke pri čiastočných haváriách, ako je napríklad zlyhanie komunikácie, uzol alebo jednotka, a mala by mať niekoľko nezávislých súborových serverov, ktoré spravujú viacero pamäťových zariadení.

Vysoká spoľahlivosť. Pravdepodobnosť straty uložených údajov sa musí minimalizovať. Systém by mal automaticky zálohovať kritické súbory.

Integrita údajov je zabezpečená súbežnosťou požiadaviek od používateľov s viacerými prístupmi, ktoré súťažia o prístup, a musia byť riadne synchronizované pomocou multiformového riadiaceho mechanizmu.

Používatelia musia byť presvedčení o dôvernosti svojich údajov.

RFE heterogenita by mala poskytnúť jednoduchý prístup k bežným údajom na rôznych platformách, ako je pracovná stanica Unix, platforma Wintel a ďalšie.

Model prenosu na blokovej úrovni

V súborových systémoch, ktoré používajú model ukladania dát do vyrovnávacej pamäte, dôležitým problémom návrhu je výber dátovej jednotky. To sa vzťahuje na časť súboru, ktorý je prenesený a vytvorený klientmi v dôsledku jednej operácie čítania alebo zápisu.
UModely prenosu súborov na úrovni súborov, keď sa majú prenášať dáta, celý súbor sa presunie. Výhodou modelu:

Súbor musí byť zasielané iba raz na žiadosť klienta, a preto je účinnejšia ako presúvacia stránky podľa stránky, ktoré vyžadujú viac sieťových protokolov.

Znižuje zaťaženie servera a sieťový prenos, pretože prístup k serveru sa uskutočňuje len raz.

​​

Toto zlepšuje škálovateľnosť. Keď je celý súbor ukladaný do vyrovnávacej pamäte na stránke klienta, nereaguje na chyby servera a siete.

Nevýhody modelu:

Na klientskom počítači potrebujete dostatok úložného priestoru. Tento prístup nie je vhodný pre veľmi veľké súbory, najmä ak klient pracuje na bezklastickom pracovisku.

Iba malá časť súboru, presunutie celého súboru je zbytočná.

Prenos súborov sa uskutočňuje v blokoch. Je to samostatná časť a má pevnú dĺžku a môže sa rovnať veľkosti stránky virtuálnej pamäte.

Pre prenosový model je vysielacia jednotka bajt. Tento model poskytuje maximálnu flexibilitu, pretože umožňuje ukladať a načítať ľubovoľný súbor objem určený posunutie vnútri a dĺžku. Nevýhodou je, že správa vyrovnávacej pamäte je náročnejšia kvôli údajom o premennej dĺžke pre rôzne prístupové požiadavky.

Prevod modelu pri zázname použitého so štruktúrovanými súbory a prevod jednotiek - záznamu. Niekoľko používateľov má prístup k zdieľanému súboru naraz. Dôležitý problémNavrhovanie pre ľubovoľný súborový systém určuje, kedy sú zmeny používateľských dát vykonané inými používateľmi.

Formy a umiestnenie vyrovnávacej pamäte

Každý distribuovaný súborový systém Windows používa jeho formulár vo vyrovnávacej pamäti. Dôvody na vytvorenie vyrovnávacej pamäte:

Najlepší výkon, pretože opakované volania na rovnaké informácie sú spracovávané ďalšími sieťovými prístupmi a diskovými jednotkami.

Je to spôsobené umiestnením šablón prístupu k súborom.

Prispieva k škálovateľnosti a spoľahlivosti RFU, pretože dáta môžu byť vzdialene ukladané do vyrovnávacej pamäte na klientskom serveri.

Hlavné rozhodnutia, ktoré sa majú prijať v schéme vyrovnávacej pamäte súborov RFS:

Umiestnenie vyrovnávacej pamäte.

Zmena distribúcie.

Kontrola vyrovnávacej pamäte.

Umiestnenie vyrovnávacej pamäte odkazuje na miesto ukladania dát do vyrovnávacej pamäte. Za predpokladu, že pôvodné umiestnenie súboru na disku na jeho serveri. V RFS existuje niekoľko možných umiestnení vyrovnávacej pamäte:

Hlavná pamäť servera. V tomto prípade sa vyrovnávacia pamäť vzťahuje na jeden prístup k sieti. To nepomôže škálovateľnosť a spoľahlivosť systému, pretože každá vyrovnávacia pamäť pre kliknutia vyžaduje prístup na server. Výhody metódy - jednoduchosť implementácie, transparentnosť pre zákazníkov, jednoduchosť uloženia zdrojového súboru do vyrovnávacej pamäte.

Keď používate disk klienta, vyrovnávacia pamäť získa jeden prístup na disk. Je to o niečo pomalší než mať pamäť v hlavnej pamäti servera. Výhody distribuovaných súborových systémov pri použití klientskeho disku poskytujúspoľahlivosť z porúch, pretože zmena údajov z vyrovnávacej pamäte sa stratí v prípade zlyhania. Táto verzia veľkej kapacity uľahčuje škálovateľnosť a spoľahlivosť, pretože v cache môže byť požiadavka vzdialeného prístupu servisovaná lokálne bez nutnosti kontaktovať server.

Zmena distribúcie

Keď je vyrovnávacia pamäť umiestnená na klientských uzloch, dáta súborov je možné ukladať do vyrovnávacej pamäte súčasne na viacerých uzloch. Je možné, že vyrovnávacie pamäte sa stanú nekoordinovanými pri zmene údajov súboru jedným z klientov a príslušné dáta uložené v cache v iných uzloch sa nezmenia alebo nevyradia. Existujú dva problémy s konštrukciou:

Pri distribúcii zmien vykonaných na týchto údajoch na príslušnom súborovom serveri.

Pri kontrole pravosti údajov uložených vo vyrovnávacej pamäti.

Použitá schéma distribúcie modifikácií má rozhodujúci vplyv na výkonnosť a spoľahlivosť systému. Metóda "Záznamová schéma" sa používa pri zmene položky cache, nová hodnota sa ihneď pošle na server na aktualizáciu hlavnej kópie súboru. Výhodou tejto metódy je vysoká miera spoľahlivosti a vhodnosti pre sémantiku typu UNIX. Je to spôsobené tým, že riziko straty údajov v prípade zlyhania klienta je veľmi nízke, pretože každá zmena sa okamžite uplatňuje na server, ktorý má hlavnú kópiu. Nedostatok - táto schéma je vhodná len vtedy, keď pomer hier na čítanie záznamu je dostatočne veľký. Nenahrádza sieťovú prevádzku pri písaní. Je to spôsobené tým, že každý prístup na zápis by mal čakať, kým sa údaje nezaznamenajú na hlavnej kópii servera.

Schéma soneskorenie nahrávania

Na zníženie prenosu v sieti pri písaní sa používa schéma oneskoreného nahrávania. V takom prípade sa nová hodnota údajov zapíše iba do vyrovnávacej pamäte a všetky aktualizované záznamy vyrovnávacej pamäte sa neskôr pošlú serveru. Existujú tri často používané prístupy na oneskorenie nahrávania:

Nahrávanie, keď je vytlačené z vyrovnávacej pamäte. Modifikované údaje v vyrovnávacej pamäti sa posielajú na server iba vtedy, keď sa politika výmeny vyrovnávacej pamäte rozhodla extrahovať údaje z vyrovnávacej pamäte. To môže viesť k dobrému výkonu, ale môže to byť problém spoľahlivosti, pretože niektoré údaje servera dlho starnú.

Pravidelné nahrávanie. Cache sa pravidelne kontroluje a akékoľvek údaje uložené v pamäti, ktoré boli zmenené od posledného skenovania, boli odoslané na server.

Uzavretie. Úprava údajov z vyrovnávacej pamäte sa odosiela na server, keď klient uzavrie súbor. Táto malá pomáha pri znižovaní sieťovej prevádzky pre súbory, ktoré sú otvorené vo veľmi krátkych časových intervaloch alebo zriedka sa menia.

Výhody schémy oneskoreného zápisu:

Záznam o prístupe sa spúšťa rýchlejšie, pretože nová hodnota je zapísaná len do vyrovnávacej pamäte klienta. To vedie k zvýšeniu produktivity.

Modifikované údaje môžu byť odstránené skôr, ako je čas ich poslať na server, napríklad dočasné údaje. Pretože zmeny nemusia byť aplikované na server, to vedie k výraznému nárastu výkonnosti.

Zhromažďovanie všetkých aktualizácií súborov a ich odosielanie na server je efektívnejšie ako odosielanie každej aktualizácie jednotlivo.

Chýbajúca schéma oneskorenia záznamu - spoľahlivosť môže byť stále problematická, pretože zmeny odoslané na server z klientskej cache sa stratia.

Replikácia ako mechanizmus dostupnosti

Vysoká dostupnosť je funkcia distribuovaného súborového systému a replikácia súborov je hlavným mechanizmom na zlepšenie dostupnosti súborov. Replikovaný súbor je súbor s viacerými kópiami, z ktorých každý má samostatný server. Rozdiel medzi replikáciou a ukladaním do vyrovnávacej pamäte

Replikácia súboru je priradená k serveru, zatiaľ čo kópia v cache je zvyčajne priradená klientovi.

Existencia kópie uloženej vo vyrovnávacej pamäti závisí predovšetkým od umiestnenia v šablónach prístupu k súborom, zatiaľ čo prítomnosť repliky zvyčajne závisí od požiadaviek na dostupnosť a výkonnosť.

V porovnaní s kópiou replikácie v pamäti je to stála, všeobecne známa, bezpečná, prístupná, kompletná a presná.

Kópia v kópii závisí od repliky. Len kópiu vo vyrovnávacej pamäti môže byť užitočná pravidelnou kontrolou repliky.

Výhody replikácie:

Zvýšená dostupnosť. Alternatívne kópie replikovaných údajov je možné použiť, ak nie je k dispozícii hlavná kópia.

Zvýšená spoľahlivosť. Vzhľadom na prítomnosť redundantných dátových súborov je možné obnoviť katastrofické pády, napríklad haváriu pevného disku.

Vylepšený čas odozvy. Umožňuje prístup k údajom buď lokálne alebo z uzla, ktorého prístupový čas je menší ako čas prístupu k pôvodnej kópii.

Znížte sieťovú prevádzku. V prípade, že súbor je replikou súborový server, ktorý je umiestnený na strane klienta, žiadosť o pripojení klienta môže byť obsluhovaný lokálne, čo znižuje zaťaženie siete.

Zlepšená šírka pásma systému. Viac požiadaviek klienta pre prístup k spisu môže byť podávaná súčasne na rôznych serveroch, čo vedie k zvýšeniu kapacity systému.

Vylepšená škálovateľnosť. Niektoré servery sú k dispozícii na to, aby slúžili na požiadavky klientov kvôli replikácii súborov. To zlepšuje škálovateľnosť.

Nastavenie klienta pri odpájaní

Často je problém v systéme je vznik DFS správa "Odpojené klienta Distributed File System DFS». Microsoft musí vyriešiť tento problém, aby ste to urobili, musíte povoliť klienta na serveri, napríklad Windows Server 2012 R2. Algoritmus podujatí:

Otvoriť Server Manager a zvoľte "DFS Správa" pod "Nástroje", ak ho nemôžete nájsť, je potrebné pridať funkciu DFS Namespace.

Kliknite na myš a vyberte Sprievodcu sprievodcom.

Zadajte názov hostiteľa, názov jeho vlastného priestoru názvov distribuovaného súborového systému DFS.

Kliknite na položku "Vytvoriť" a oblasť DFS.

Zahŕňa zdieľané priečinky v systéme DFS.

Vyberte priestor názvov a kliknite na priečinok Nová zložka.

Zlúčiť viacero priečinkov do jedinečného virtuálneho priečinka.

môže byť videný vytvorený Domain_NameNamespace_NameVirtual_folder_name.

Po tejto správe "služba distribuovaného súborového systému nie jeinštalované ", nebude už viac.

Systém zdieľania sieťových zdrojov v systéme Linux

NFS je najbežnejší súborový systém na zdieľanie sieťových zdrojov. Najbežnejšou verziou je NFS v2. Tento distribuovaný súborový systém Linux sa správa ako najvyššia úroveň lokálneho súborového systému. Prístup k vzdialeným súborom je prostredníctvom procedúr RPC. Nezaujíma sa o stav dostupného alebo nedostupného servera a používa len málo technológií ukladania do vyrovnávacej pamäte. Okrem toho je bezpečnosť tohto systému založená na dôvere zákazníka. Skutočne ide o zákaznícke ID, ktoré sa odovzdalo, aby ste sa oboznámili s právami na prístup k zdrojom. NFS v3 je vývoj NFS a v súčasnosti sa používa v dnešnom patentovanom systéme Unix, ktorý vyplňuje niektoré medzery v tomto systéme. Táto definícia distribuovaného súborového systému, štruktúrne umožňuje podporovať veľké súbory s veľkosťou 264-bitového napájania, ako aj kontrolu prístupových práv na serveri. Môžu byť založené na tradičnom autentifikácii Unixu alebo môžu využívať ďalšie autentifikácie, napríklad Kerberos. Verzia poskytuje možnosť zapisovať údaje asynchrónne, čo im dáva lepší výkon. Väčšina ostatných operácií však zostáva synchronná. Podpora NFS v3 je v súčasnosti v experimentálnej fáze jadra Linuxu a je veľmi efektívna.

Ukladanie škálovateľných blokov

Ceph je softvér navrhnutý tak, aby poskytoval škálovateľný objekt, blok a súbor úložiska v systéme. Uskladňovacie klastreCEF distribuovaný súborový systém navrhnutý pre beh na komoditnom hardvéru pomocou rozdrviť algoritmu, aby bolo zabezpečené rovnomerné rozloženie dát v klastri všetky uzly v klastri môžu rýchlo pristupovať k dátam bez centralizovaných úzka. Ceph je k dispozícii prostredníctvom nástrojov Amazon Simple (S3) a OpenStack Swift (REST) ​​založených na aplikačných programovacích rozhraniach a nativnom API pre integráciu so softvérovými aplikáciami. Úložisko bloku Ceph používa zámok, ktorý je virtuálny disk a môže byť pripojený k serverom na báze Linuxu alebo k virtuálnym strojom s otvoreným zdrojovým kódom. Dôveryhodný samostatný úložný objekt s distribuovaným objektom Ceph (RADOS) poskytuje úložné možnosti, ako sú snímky a replikácie. Blokové zariadenie Ceph RADOS je integrované, aby fungovalo ako zadná časť s úložným blokom OpenStack. Zásobník súborov Ceph používa systém súborov POSIX kompatibilný so systémom CephFS (CephFS) na ukladanie údajov v clusteru storage Ceph. CephFS používa rovnaký systém klastrov ako repozitár blokov Ceph a úložisko spoločnosti Ceph.

Výhody distribuovaného súborového systému

Technicky poskytuje prístup k všeobecnému adresáru, ktorý neobsahuje súbory, ale iba prechody a voliteľné podadresáre s veľkým počtom prechodov. Prechody sú podobné mäkkým odkazom známym z súborového systému Unix, ale odkazujú na bežné adresáre a môžu smerovať na zdieľané adresáre na iných serveroch. Po prvé, klienti požiadajú server DFS o pripojenie a potom sa obráťte na server, na ktorý odkaz odkazuje.Hlavným účelom používania distribuovaného súborového systému DFS je vytvoriť alternatívny priestor názvov (reprezentácia adresára stromov), ktorý skrýva používateľov podrobnosti o základnej infraštruktúre. Cesty, ktoré používatelia vidia a volajú názvy služby DFS, sa nemenia pri premenovaní serverov alebo pri presune niektorých adresárov na iný server. Administrátori jednoducho nahradia zastaraný názov novým názvom, ktorý poukazuje na nový účel. Názov môže špecifikovať viac ako jeden cieľ, to znamená poskytnúť niekoľko alternatívnych pripojení ku klientovi pre rôzne zdieľané priečinky. V tomto prípade majú klienti distribuovaného súborového systému DFS prístup k akémukoľvek účelu. To umožňuje vyvažovanie záťaže a automatické prepnutie na iný server, ak jeden z serverov zlyhá. Vďaka službe DFS už nie je prísne pripojenie k serveru. Pamäť je reprezentovaná ako veľká kapacita, za ktorou sú skryté systémy súborov pre používateľa. V skutočnosti je to neuveriteľne užitočný nástroj na riešenie rastúcich požiadaviek, ktoré súborový systém distribuuje priestor na disku nových serverov na základe požiadaviek na dostupnosť. Technológia, podobne ako Windows DFS, prináša prospech každej spoločnosti, veľkej aj malej. Pre veľké spoločnosti sa aspekt flexibilnejšieho využívania skladovacích zdrojov vyplatí. Keďže všetky disky sú súčasťou virtuálnej pamäte, už nie sú už použité alebo pretečené disky a matice. Menšie spoločnosti však oceňujú štandardizáciu správy. Vďaka nejObmedzené zdroje je ťažké sledovať plné servery, včas aktualizovať na veľké disky a distribuovať priestor medzi aplikáciami. Služba DFS nepredstavuje úložný priestor takým spôsobom, že ho používatelia a aplikácie chcú vidieť, pretože naozaj existujú. A keďže komponent servera a klienta je integrálnou súčasťou operačného systému Windows, proces inštalácie a konfigurácie vyžaduje značné úsilie správcu a prakticky neovplyvňuje činnosť používateľov. Vývojári integrovali úplnú správu distribuovaného súborového systému DFS systému Windows, konzola je jediným bodom kontroly pre niekoľko systémov DFS pre koreňové systémy. Grafické nástroje zjednodušujú sledovanie a monitorovanie. Správa je možná aj na webových stránkach.