Kopírování velkých souborů přes internet

[aleshonsa]

Ahoj,
máte prosím někdo osvědčený program pro kopírování velkých souborů přes internet, ale takový aby uměl navázat i v případě rozpojení sítě?

Můj problém - přes VPN se připojím do sítě doma a potřebuju z NAS kopírovat velké soubory (řádu jednotek GB až desítek GB), konkrétně potřebuju to dělat obousměrně. Postupně jsem zkoušel:
- Cloudový přístup na NAS (ještě bez VPN). Ten je na nic. Je to pomalé a nestabilní, už dříve jsem s tím měl problémy. Asi v NAS propojení s cloudem nakonec zakážu, když se teď na NAS dostanu přes VPN, protože nechci čekat až někdo WD ukradne přístupová hesla, jak to bývá zvykem (třeba před asi 2 měsíci mi přišlo od vyděrače emailem staré heslo k LinkedIn kde už jsem i účet dávno zrušil). WD dělá sice dobrý HW, ale jejich SW je mizerný. Co jsem si užil s jejich SSD dashboard bych mohl vyprávět ...
- Kopírování klasicky pomocí File Explorer ve Windows. To je sice rychlé - plně využije propustnost internetové přípojky, ale dost nestabilní. Stačí jakákoliv chyba a můžu začít znovu, nemluvě o rozpojení VPN, které se čas od času během dne bohužel taky stane.
- Pak jsem na základě googlení a doporučení v jednom článku zkusil robocopy. To je sice hodně stabilní - dokáže navázat jak při poruše vlastního kopírování tak pří rozpojení VPN, ale dost pomalé. Dowload jede tak na 1/2 kapacity, upload je tragédie - tak 1/4 kapacity.
- Další pokus byl TeraCopy. To je bych řekl ještě o chlup rychlejší než Explorer, vypadá to, že dokáže vstřebat chyby při kopírování, ale při rozpojení VPN navázat bohužel nedokáže. Teď třeba jeden 21GB soubor stahuju už po 3tí, protože se mi ž 2x rozpojila VPN, a už mě to pěkně štve.
- Ještě chci zkusit RichCopy, protože jsem přišel jak tam zadat do cesty jednotlivý soubor (původně to vypadalo, že to kopíruje jen celé adresáře) a pak jsem ještě našel UtraCopier, ten bych taky mohl vyzkoušet. Ještě mě taky napadlo zapnout na NAS FTP server a zkusit to přes FileZillu taky v rámci VPN, porty v routeru rozhodně otevírat nechci.

Už mě to prostě štve, protože kopírování, co by bylo hotové za pár hodin, pak trvá celý den, když vše musím Xkrát opakovat. Autoři programů funkci navázání při přerušení slibují, ale pak to ve skutečnosti třeba nefunguje při rozpojení VPN jako u toho TeraCopy a zkoušet takto 1000 různých programů, jestli náhodou jeden nebude OK, se mi moc nechce.
Tak mě napadlo, jestli tohle už někdo tady třeba úspěšně nevyřešil.

Díky

[Mex]

Nic takového nepoužívám, takže neporadím.
Ale kdybych byl před podobný problém postavený, tak bych ten soubor rozsekal na několik částí, ty samostatně přenesl a zase spojil. Na to rozsekání a spojování je spousta programů, umí to i TotalCMD.

[Charon]

Jenze sekat nekolika set gigove soubory, ktere jsou samy o sobe vetsinou nekomprimovatelne, je taky sileny opruz. Na tohle je nejvyhodnejsi nekolikanasobna hw vpn mezi dvema routery lepsi znacky. Ale ty asi potrebujes byt mobilni, neni to mezi dvema danyma lokalitama.
Hele asi nejschudnejsi je pustit na nasce ftp server, nebo jestli to nejsou moc citliva data, vyuzit nejake online uloziste, kde si calnout prostor. Jen vybirat dobre

[Dawe]

Ten FTP server bezici na NAS je dobra volba, bude to rychle i spolehlive. Taky to tak mam. Slusny klient a nebude problem.

[aleshonsa]

Několika set GB nejsou, naštěstí jen desítky GB. Rozdělit to ale stejně nejde, protože v bytě teď vyjma toho NAS žádný počítač není, ten jsem odvezl na chatu, odkud se připojuju.
On na jedné straně je spolehlivý router od Cisco kde je VPN přímo na HW bázi toho routeru. Nicméně teď je to dělané jako client-to-site VPN. Primárně mi jde o přístup z chaty kde je Linksys, což je taky celkem kvalitní router, ale ten site-to-site neumí.
Ten UltraCopier je taky na nic (pomalý, nenavazuje, kopíruje celou složku) a s RichCopy se mi nakonec nepodařilo kopírování vůbec spustit. Takže jedině zkusit to FTP. Já už jsem to na NAS sice zapnul, ale neopsal jsem si číslo portu (protože jsem nemínil to otevírat na routeru), které pak ale po mě FileZilla chtěla. Druhá věc je, že jsem nenastavil účet, protože jsem myslel, že to půjde přes účet admin. Takže to budu muset při nejbližší příležitosti napravit.

[xener]

na taketo akcie je najlepsi rsync

[Charon]

No a nejjednodussi reseni je prevezt na chatu cely nas A nas rat kolegy, kteri ty data potrebuji

[aleshonsa]

Kolegy tím nenaštvu, protože je to celé jen moje privátní doma. Ale zavařím si to sobě, protože na ten NAS se realizuje nahrávání ze set top boxu. Takže sice bych měl NAS na chatě v LAN s gigabit připojením, ale jaksi by mi byl bez nových dat/nahrávek k ničemu ...

Koukal jsem na ten rsync, ale ten dle popisu taky bohužel dělá jen synchronizaci.

[xener]

tak precitaj este raz a poriadne., alebo si najdi pokec od niekoho co tomu rozumie.
prenasat mozes ktorymkolvek smerom cokolvek, od jedneho konkretneho suboru cez adresar s podadresarmi , bud s vymazanim neexistujucich suborov z druhej strany, ale len nakopirovanim, filtrovanie, vynechavanie.. atd. tiez diferencialne prenosy, restart z preruseneho miesta

https://linux.die.net/man/1/rsync

[prcek]

Hlasuju take pro rsync - ma asi 10^9 ruznych moznosti, jak to pustit a co to bude delat. Z hlavy to nevypotim, ale k tomuto ucelu by mel byt pouzitelny. Umi urcite fungovat tak, ze soubor si rozseka na bloky, porovnava nejaka crc, jestli je blok zmeneny a podle toho blok bud prenese, nebo ne. Nekompletni soubor logicky ma nejake bloky s ruznym crc...

[Habešan]

soubory, ktere jsou samy o sobe vetsinou nekomprimovatelne,

Ten Total Commander umí dělení souborů bez toho, že by se je pokoušel komprimovat.
Taky umí vytvořit a porovnat kontrolní součty obsahu jednotlivých souborů.
Z toho uživatel snadno pozná, že např. soubory číslo 073 a 097 byly poškozeny a je potřeba je poslat znovu.

(Osobně bych si to prostě doma zkopíroval na jiný harddisk a ten si na tu chatu odvezl.)

[aleshonsa]

(Osobně bych si to prostě doma zkopíroval na jiný harddisk a ten si na tu chatu odvezl.)

To je v praxi pro mě nepoužitelné. Já to potřebuju především průběžně kontrolovat, jestli je nahrávka OK (čím dříve tím lépe) a zároveň to tím i rovnou zálohovat. Nemluvě že teď třeba se do Prahy dostávám bez problémů pravidelně, ale jestli zase problém s koronavirem nějak vygraduje (což se klidně stát může a je k tomu nakročeno - zatím je Praha v klidu) tak tam prostě jezdit nebudu.

Já se obecně snažím vše co jde dostat do stavu aby to mohlo fungovat remote …

[aleshonsa]

tak precitaj este raz a poriadne., alebo si najdi pokec od niekoho co tomu rozumie.
prenasat mozes ktorymkolvek smerom cokolvek, od jedneho konkretneho suboru cez adresar s podadresarmi , bud s vymazanim neexistujucich suborov z druhej strany, ale len nakopirovanim, filtrovanie, vynechavanie.. atd. tiez diferencialne prenosy, restart z preruseneho miesta

https://linux.die.net/man/1/rsync

OK a máš vyzkoušeno, že to v reálu dokáže nejen absorbovat chyby během přenosu, ale i navázat v případě přerušení síťového spojení + že to dokáže plně využít kapacitu linky (tj. při 20Mb/s to poběží 20Mb/s a ne jen 10Mb/s)? Bohužel navazováním apod. se chlubili právě všichni autoři, ale v reálu to zvládá jen robocopy, které je bohužel velmi pomalé.

[milan584]

Ten FTP server bezici na NAS je dobra volba, bude to rychle i spolehlive. Taky to tak mam. Slusny klient a nebude problem.

ten FTP server (FTP ne SFTP nebo FTPS) běžící na nasu, otevřený do internetu je ta nejblbější možná volba, co vůbec lze "vymyslet".
Protože FTP (mj. je z roku 1971 kdy se nějaká bezpečnost na uzavřené síti ARPANETu vůbec neřešila) přenáší hesla nešifrovaný, takže každé tříleté dítě, které se na to napíchne, si to heslo dokáže odposlechnout a pak to okamžitě naboří.
Takže pokud ano tak FTPS, nebo SFTP (přes sshčko - ale to bude pro obvyklého klikače problém) a nebo jedině tunnel a v tom si pak pustit to čistý FTP nebo to FTPS. Bezpečnost pak bude daná tunnelem, spolehlivost tím FTP.
Rozumný klient (filezilla, tc.....) přerušený FTP samozřejmě umí napojovat.
https://www.altair.blog/2018/08/ftps

[milan584]

tak precitaj este raz a poriadne., alebo si najdi pokec od niekoho co tomu rozumie.
prenasat mozes ktorymkolvek smerom cokolvek, od jedneho konkretneho suboru cez adresar s podadresarmi , bud s vymazanim neexistujucich suborov z druhej strany, ale len nakopirovanim, filtrovanie, vynechavanie.. atd. tiez diferencialne prenosy, restart z preruseneho miesta

https://linux.die.net/man/1/rsync

OK a máš vyzkoušeno, že to v reálu dokáže nejen absorbovat chyby během přenosu, ale i navázat v případě přerušení síťového spojení + že to dokáže plně využít kapacitu linky (tj. při 20Mb/s to poběží 20Mb/s a ne jen 10Mb/s)? Bohužel navazováním apod. se chlubili právě všichni autoři, ale v reálu to zvládá jen robocopy, které je bohužel velmi pomalé.

Robocopy vůbec neběhá pomalu - pokud ano, tak problém je za klávesnicí (v obsluze) a ne v robocopy - protože se to překvapivě musí nastavit.
https://pureinfotech.com/robocopy-trans ... indows-10/
Ovšem pokud to pouštíš tunelem, tak ty krabky, co dělají ten tunnel to musí být (ten datový tok) schopné upočítat - takže nevím, co tam máš použité - to cisco (tohle konkrétní ) neznám, a jestli máš na drohé straně nějakou shitozní krabičku typu ovislink, tplink, dlink, fucklink, shitlink, blablalink, Barricade a nebo podobně, tak rovnou můžeš zapomenout na to že to bude běhat rychle a spolehlivě.