| Author |
Message |
|
|
Post subject: Inkrementalna replikacia blokov v suboroch
 Posted: 20.06.2007 - 13:04 #53331
|
|
Ucen
Joined: Aug 28, 2006
Posts: 860
|
|
ALL: skusali ste niekto prakticky /ak ano, cim ako/ replikaciu dat napr. cez WAN, kde by sa ale pri updatovani neprenasal cely subor, ale jeho zmenene casti/bloky dat ?
Je to prakticky vyuzitelne - ci ani moc nie ? |
|
|
| |
|
|
|
 |
|
|
|
Post subject: RE: Inkrementalna replikacia blokov v suboroch
Posted: 20.06.2007 - 14:27 #53332
|
|
Majster
Joined: Feb 25, 2003
Posts: 2606
Location: BA,BB
|
|
Je to pouzitelne a v praxi sa to velmi casto aj pouziva, velke firmy ktore maju rozlahle WAN siete tym setria kapacitu WAN liniek pri prenose velkych suborov. Cele toto sa oznacuje ako "aplikacna akceleracia", okrem urychlenia kopirovania sa tym daju riesit aj dalsie veci (akceleracia pristupu na web, na Citrix, akceleracia SSL enkrypcie a pod).
Akceleracia prenosu suborov cez WAN siete za vola WAFS (wide area file services), nejake clanky o WAFS
http://en.wikipedia.org/wiki/Wide_area_file_services
http://www.techworld.com/storage/featur ... tureID=742
http://www.techworld.com/storage/featur ... ureid=1663
Najznamejsi vyrobcovia takychto akceleratorov:
www.riverbed.com, www.juniper.net, www.packeteer.com, www.cisco.com
Tieto riesenia funguju super a to uplne transparentne - uzivatel netusi ze v ceste ma akcelerator jedine co vidi je superrychlost, teoreticky ta akceleracia moze pripadat az ako zazrak  , lenze ten "zazrak" stoji statisice ... Ak niekto pozna free variantu sem s nou  |
|
|
| |
|
|
|
|
|
|
|
Post subject: RE: Inkrementalna replikacia blokov v suboroch
Posted: 20.06.2007 - 15:08 #53336
|
|
Ucen
Joined: Aug 28, 2006
Posts: 860
|
|
Freeware napr. Delta copy /server aj client/
http://www.aboutmyip.com/AboutMyXApp/DeltaCopy.jsp
Citujem:
"In general terms, DeltaCopy is an open source, fast incremental backup program. Let's say you have to backup one file that is 500 MB every night. A normal file copy would copy the entire file even if a few bytes have changed. DeltaCopy, on the other hand, would only copy the part of file that has actually been modified. This reduces the data transfer to just a small fraction of 500 MB saving time and network bandwidth."
Pripadne pouzitie PC s windows ako "server" a ako klient FreeNAS server.
http://www.dailycupoftech.com/windows-b ... d-freenas/ |
|
|
| |
|
|
|
|
|
|
|
Post subject: RE: Inkrementalna replikacia blokov v suboroch
Posted: 20.06.2007 - 15:23 #53337
|
|
Basic
Joined: Sep 13, 2005
Posts: 267
Location: Bratislava
|
|
| keo: ako server odporucam pouzit fbsd 7.0-current alebo Solaris s ZFS filesystemom, resp. hocico co ma rozumnu implementaciu ZFS (linux a zfs on fuse nepocitam, to je este hodne krepe:)) |
|
|
| |
|
|
|
|
|
|
|
Post subject: RE: Inkrementalna replikacia blokov v suboroch
Posted: 20.06.2007 - 16:40 #53338
|
|
Majster
Joined: Feb 25, 2003
Posts: 2606
Location: BA,BB
|
|
Existuje free riesenie aj na transparentnu akceleraciu prenosov ? teda by nahradilo vyssie menovane boxy.
Teda aby sa toto riesenie dalo vyuzit na transparentnu akceleraciu FTP/SMB prenosov vramci siete kde existuje viac file serverov. Akcelerator umiestneny najblizsie k uzivatelovi by cacheoval celu komunikaciu a v pripade opakovanej poziadavky by dotaz na vzdialene ulozeny subor vyriesil lokalne. V pripade zmeny vzdialeneho suboru by neprenasal cely zmeneny subor, ale len samotne zmeny (par bajtov) a to obomi smermi. To znamena, ak uzivatel nieco zmeni na subore otvorenom z file servera, nie je nutne na file server prenasat cely zmeneny subor ale len zmeny (opat par bajtov). |
|
|
| |
|
|
|
|
|
|
|
Post subject: RE: Inkrementalna replikacia blokov v suboroch
Posted: 21.06.2007 - 09:12 #53407
|
|
Ucen
Joined: Aug 28, 2006
Posts: 860
|
|
Myslim, ze v obmedzenej miere /s urcitou casovou synchronizaciou cez naplanovanie task schedulerom/, by sa to dalo synchronizovat.
Avsak je otazne na ktore data to je pouzitelne. Typicky priklad. Zobral som si XLS tabulku, doplnil do nej 10 znakov a ulozil. velkost suboru sa nezmenila, ale obsah sa zmenil podstatne. Takze vyuzitelne by to bolo asi len pri nejakych testovych dokumentoch - ASCII /napr. logy, CSV/, nie nieco binarne ako Word,Excel, OpenOffice.... |
|
|
| |
|
|
|
|
|
|
|
Post subject: RE: Inkrementalna replikacia blokov v suboroch
Posted: 21.06.2007 - 09:23 #53410
|
|
Majster
Joined: Feb 25, 2003
Posts: 2606
Location: BA,BB
|
|
Praveze tie menovane masinky si poradia aj s binarnymi subormi bez problemov, a to aj ked sa nezmeni velkost. Je to podobne ako s profi shapermi tie si poradia aj s kryptovanymi P2P, ale stoja neskutocne prachy.
Skusal som hladat free riesenie (na shaping aspon zcasti funguje napriklad IPP2P) ale nenasiel som ... |
|
|
| |
|
|
|
|
|
|
|
Post subject: RE: Inkrementalna replikacia blokov v suboroch
Posted: 21.06.2007 - 09:43 #53413
|
|
Ucen
Joined: Aug 28, 2006
Posts: 860
|
|
Ako si poradia so zmenou suboru binarneho ?
Ak zmenim nieco v subore - napr. par znakov, tak v binarnom tvare - aplikacia moze pouzivat napr. sifrovanie, kompresiu /ci zmena farebnej palety pri obrazkov/ - dosiahne vysledne uz uplne iny subor. Takze v lepsom pripade sa zmeni cca 90 percent obsahu, ktory musi preniest. Podstatou je, ze ta aplikacia aj pri malej zmene udajov, vyvola velke zmeny v subore. Cize to bude prakticky nepouzitelne.
Fungovat by to mohlo, keby nad tymi subormi bola aj na strane klienta, servera nejaka nadstavba ako pre nejaku replikaciu databazovych systemov, kde sa budu prenasat zaznamy a nie obsah, kopia celej databazy. Cize musela by to byt podpora uz pre konkretne aplikacie /formaty/.
Staci si zobrat napr. taky OpenOffice - ktory zmenu ulozi do XML a to do ZIP. Akakolvek zmena udajov v subore, vdaka kompresii sposobi rozsiahlu zmenu suboru.
Jedna vec je, co program tvrdi, ze dokaze a druha je porovnat si v sietovej prevazke, ci to ozaj tak robi.
Preto som sa pytal na vyuzitelne, pretoze prakticky velmi malo aplikacii dnes prevadza iba male zmeny v strukture suboru, ked do nich zapise par udajov. |
|
|
| |
|
|
|
|
|
|
|
Post subject: RE: Inkrementalna replikacia blokov v suboroch
Posted: 21.06.2007 - 10:16 #53414
|
|
Majster
Joined: Feb 25, 2003
Posts: 2606
Location: BA,BB
|
|
|
|
|
|
|
|
|
Post subject: RE: Inkrementalna replikacia blokov v suboroch
Posted: 21.06.2007 - 11:03 #53416
|
|
Ucen
Joined: Aug 28, 2006
Posts: 860
|
|
Netvrdim, ze to nemoze pomoct, ked sa v subore udeje mala zmena. Vtedy - ano, tam to bude rychle. Ale kedy a pri com sa deje mala zmena v subore a v akom subore ?
Teoreticky, keby to boli HTML stranky, textove logy zo serverov, zdrojove kody v textovej forme, textove CSV tabulky, dokumenty ala T602 a podobne, tak by tento prenos bol velmi efektivny. Pretoze zmena-doplnenie napr. 1 percenta dat, by znamenala, ze sa obsahovo 99 percent dat v subore nezmeni /budu na tom istom mieste/.
Lenze u dnesnych formatov - najcastejsie binarne - ako su XLS, DOC, OpenOffice - kde prebieha pri zmene aj komprimacia, sifrovanie - ked sa prida 1 percento dat, tak zmena obsahu suboru je 99-100 percent. Obsahovu je to uz uplne iny subor - kazdy blok dat v subore uz je iny. Takze v tomto pripade /ak sa pouziju taketo subory/ - bude ta efektivita rovnaka ako u programov, co synchronizuju cele dokumenty. A mozno bude efektivita aj horsia, pretoze pri velkom dokumente im zaberie cas porovnavanie + prenos.
Ono je pekne, ak to niekto ide predvadzat a pouzije nejaky test s TXT suborom, kde prenesie par zmien, ale treba si postavit otazku, kde realne take zmeny uzivatel robi a ci ich dokaze vyuzit....
To uz je potom lepsie kaslat na akceleratory WAN a lepsie vysledky sa dosiahnu s terminalovym serverom/klientom, kde sa toho bez ohladu na zmeny prenasa minimum.
Takze sa opytam, videl niekto - odsledoval niekto sietovu prevadzku - ci pri zmene par dat v binarnom formate /ktory napr. pouziva kompresiu/ - naozaj je efektivita iba v prenose par udajov, ci aj tak /podla logiky/ prenesie defakto cely subor ? |
|
|
| |
|
|
|
|
|
|
|
Post subject: RE: Inkrementalna replikacia blokov v suboroch
Posted: 21.06.2007 - 14:39 #53426
|
|
Basic
Joined: Jan 31, 2003
Posts: 418
|
|
keo: hladas dovod preco to nebude fungovat, nie je to proti tvoji beznym zasadam "radsej rozmyslat, ako by to fungovat mohlo ?"
Vsetky reklamy musis brat s rezervou - americania hovoria: "Your mileage may vary..." |
|
|
| |
|
|
|
|
|
|
|
Post subject: RE: Inkrementalna replikacia blokov v suboroch
Posted: 21.06.2007 - 15:25 #53429
|
|
Ucen
Joined: Aug 28, 2006
Posts: 860
|
|
paulie:
hladam dovod, AKO to moze fungovat, ak to prenasa iba zmene sektory. Vtip je v tom, ze kde dnes sa malo menia tie sektory ? V tom co som popisoval. TXT, logy,.... A kolko toho sa prakticky dnes vyuziva ?
Chcem tym len povedat, ze pouzitie je velmi specificke. Takze treba citat medzi riadkami a nenaletiet reklame o akceleratoroch - ktore prakticky nemusia pomoct. Prezentacia v laboratornych podmienkach nic neznamena
Taktiez, som zvedavy, ak su akceleratory, ktore pracuju na porovnavani blokov sektorov na disku - co s nimi urobi napr. take swapovanie a defragmentacia dat
Hold, napad je to dobry - ale budem rad, ak by niekto dokazal, ze to moze fungovat v realnych podmienkach A hlavne na akych datach, za akych podmienok....
Potom - ak tie male vstupy dat urobia velke zmeny v strukture obsahu - nie je prakticky rozdiel medzi inkrementalnym blokovym zalohovanim VS inkrementalnym suborovym zalohovanim. |
|
|
| |
|
|
|
|
|
|
|
Post subject: RE: Inkrementalna replikacia blokov v suboroch
Posted: 21.06.2007 - 23:20 #53450
|
|
Majster
Joined: Feb 25, 2003
Posts: 2606
Location: BA,BB
|
|
Realne skusenosti s tym nemam (nemal som to zatial v rukach), ale podla viacerych testov to skutocne funguje. Marketing hovori o niecom takomto: http://www.packeteer.com/images/TT1_WAFS_lg.gif DAju sa najst aj podrobnejsie recenzie http://www.networkcomputing.com/showite ... amp;pgno=1
To "ako" presne to funguje, je pomerne dobre chranene vid nasledovny citat Ak sa k takymto boxom dostanem napisem o tom nejaku recenziu ...
Riverhead's software also removes redundant traffic from the WAN and, in a carefully unexplained way, splits TCP/IP traffic into segments which can contain 'an arbitrarily large amount of data ...represented by a single address.' The address is the address of data already in the cache. This works well the more data there is in the local cache and the more likely it is to be requested. |
|
|
| |
|
|
|
|
|
|
|
Post subject: RE: Inkrementalna replikacia blokov v suboroch
Posted: 22.06.2007 - 08:46 #53465
|
|
Ucen
Joined: Aug 28, 2006
Posts: 860
|
|
Nemas tie testy - link na ne ? Rad by som vedel, ako to testovali...
Zacitujem z toho uryvku:
Quote: › The address is the address of data already in the cache.
Lenze pri binarnom subore, ktorym prejde komprimacia, ci sifrovanie je zmena struktury suboru cca 100 percent. Takze mala zmena dat urobi uplne jedinecny subor /obsahovo, kde sa uz neopakuju bloky dat/.
Takze tam by museli asi carovat, aby sa im tie data v cache objavili.
Alebo objavia sa im tam, ked si ich nacitaju zo suboru, ako to je bezne... |
|
|
| |
|
|
|
|
|
|
