Große Datenmengen, kleine Bandbreite, automatisiert/Fernsteuerung

[alter_Bekannter]

Es geht darum große Datenmengen möglichst wenig störend über einen längeren Zeitraum in mein Netzwerk zu transferieren.

Die bisherigen Denkansätze waren primär fern und/oder timer gesteuerter FTP Download. Denn bisher starte und stoppe ich
manuell, was suboptimal ist weil ich es immer mal wieder vergesse und das ganze generell noch auf mehr Nutzer ausgebaut
werden soll. Die ähnlich widrigen Bedingungen ausgeliefert sind.

Serverseite wo die Daten liegen, Debian 24/7 100 Mbit

Clients: Win7/Debian ~2 Mbit und die sollen noch normal nutzbar sein inklusive Internetverbindung. Laufen aber teilweise auch 24/7,
automatischer Download Nachts wäre also ein sehr guter Anfang. Optimalerweise will ich unterschiedliche Zielpfade in der Warteschlange
angeben können. Eine Fernsteuerung über Androidgerät wäre ebenfalls sehr geil.

Gibts da irgendwas fertiges oder muss ich alles bis auf den FTP-Server/Client selber bauen?

 

[Kampfmelone]

Am elegantesten wäre natürlich den Traffic des Downloads am Router in der Priorität so nach hinten zu stellen, dass aller anderer Traffic Vorrang hat. In wie weit das geht, dass man quasi nichts davon merkt und der Download nur die unbenötigte Bandbreite benutzt, kann ich nicht sagen.

 

[alter_Bekannter]

Nur Schrottrouter im Haus, daher fallen Routerseitige Lösungen von Anfang an aus.

 

[accC]

Kann jDownloader ftp? Der hätte ein Webinterface, kennt Ratenbeschränkung.. allerdings bin ich mir nicht sicher, ob er auch Zeitsteuerung kennt.

 

[alter_Bekannter]

Funktioniert das mittlerweile ordentlich?

Nach meiner letzten Info wars noch eine Mittelstabile Beta..
Allerdings durchaus ne Idee wenns geht.

 

[drfuture]

schau dir das mal an - wenn ich das reichtig verstehe müsstest du je Zieladresse Bandbreitenlimits am Hostserver definieren können http://tcng.sourceforge.net/

 

[alter_Bekannter]

Das geht wohl nur noch sehr grob in die richtige Richtung.

 

[drfuture]

ey ein wenig Fantasie

 

[gelöschter Benutzer]

Was spricht gegen rsync? Das kann ein Bandbreitenlimit und unterbrochene Transfers fortsetzen. Über cron könntest du dann die "Zeitschaltuhr" einstellen.

Wie sehen deine Datenmengen genau aus? Einzelne, kleine Dateien? Unkomprimierbare Audio/Video-Files?

 

[alter_Bekannter]

Verhältnismäßig wenige Dateien zwischen 300MB und 40000MB. Die Reihenfolge ist wichtig und ich bezweifle das es sonderlich praktikabel ist das unter Windows ans laufen zu bekommen.

zu Komprimieren gibts da nichts, Spiele Images und h264 Videomaterial.

 

[gelöschter Benutzer]

Unter Windows läuft rsync mit cygwin wunderbar. Gibt es auch für Faule in einer Standalone-Version, die vermutlich auch von cygwin stammt: http://www.rsync.net/resources/howto/windows_rsync.html

Keine Ahnung, wie man das fernsteuern soll, vielleicht dann doch JDownloader oder PyLoad?

 

[drfuture]

Hm, aber warum ist nun meins sooo weit weg vom Thema, ich dachte mir die Software am Server der mit 100mbit läuft zu installieren und für die Ziele die du hast ein Limit festzulegen - dann sender der Server an diese ziele schon weniger.. - oder hast du an selbige Rechner zusärtlich noch mehr über diesen Server laufen? - wobei man das wohl sogar auf Protokolle Limitieren können müsste... das nur ftp zu deinem win / linux Client so langsam laufen und alles andere schnell...

 

[alter_Bekannter]

Es geht ja vor allem auch um manuelle Steuerung, es soll ja doch möglichst schnell übertragen werden wenn die Leitung gerade nicht anderweitig gebraucht wird.

Ich hab nie gesagt das es einfach wäre. Optimal wäre eine Zeitgesteuerter FTP Client mit Remoteoberfläche für Android oder so.

 

[drfuture]

ah - ok, hm wie wäre dann Traffic-shaping? http://seriousbit.com/netbalancer/ und http://www.iplocation.net/tools/traffic-control.php
Du gibst der Übertragung der Daten des Servers eine niedrige Prio - sodass jeder andere traffic vorrang hat... wenn kein anderer Trafic da ist lastet der download die Leitung aus und sonst nicht ...
Ich versuche halt manuelle Eingriffe immer zu vermeiden

 

[alter_Bekannter]

Geht nicht, denn auf den ROuter bringen kann ich es nicht und woanders bringts nichts weil es hier um mehrere Geräte geht.

Primär darum Daten aus dem Netz auf meinen Debian Microserver zu ziehen ohne dabei meinen Hauptrechner zu beeinträchtigen.

Werde dann wohl mal ausprobieren ob wget beim Ordner downloaden Resume unterstützt. Wget über SSH scheint dann bislang die einzige Option zu sein.