Download von Dokumenten aus einer Dateiablage

[Fluffy_Unicorn]

Hallo zusammen,

Wir haben in unserer Schule ein Dateiablagesystem (Moodle, Passwortgeschützt, Account ist natürlich vorhanden), wo alle Dokumente aus dem Jahr abgelegt sind. Dies wird nun im Sommer für zwei Wochen nicht verfügbar sein, diese Zeit sollten wir aber zum Lernen benutzen, da die Prüfungen im August sind. Nun muss ich also alle Dokumente herunterladen, dies Manuell zu erledigen benötigt aber viel zu viel Zeit.

Habt Ihr eine Idee, wie man das Ganze konfortabel herunterladen könnte?
Habe bereits den JDownloader genutzt, mit diesem habe ich es aber nicht zustande gebracht. FTP-Zugang ist leider auch nicht vorhanden, habe ich heute bei der Schule nachgefragt.

Danke und Gruss

PS: Sollte es im falschen Bereich sein, bitte verschieben.

 

[sia]

Das könnte man sicher mit einem Python-Script automatisieren.

Anmeldung passiert ja mit einem einfachen POST-Request. Leider loggt sich unser Moodle nach 10min aus, daher kann man da kein Cookie nutzen.

Die URL der Dateien sieht immer so ähnlich aus: //moodle-root/pluginfile.php
Man könnte doch alle Links einmal crawlen und dann die Dateien in ein Unterverzeichnis (./Kurs/Thema/) einsortieren.

Python lernen hier: https://automatetheboringstuff.com/
Python-Links hier: https://github.com/vinta/awesome-python (z.B. Web Crawling)

HTTP-Requests eventuell damit: http://docs.python-requests.org/en/latest

Anderes interessantes Projekt: https://github.com/chfoo/wpull

Wpull is a Wget-compatible (or remake/clone/replacement/alternative) web downloader and crawler.

[...]
Python & Lua scripting support

Wenn du Python (noch) nicht kannst oder nicht nutzen willst, vielleicht mit HTTrack probieren.

 

[Fluffy_Unicorn]

Danke schonmal für deine Antwort.

Python habe ich leider erst minimale Erfahrungen, wäre zu aufwendig dies jetzt noch kurz zu lernen, da ich im Moment andere Sachen zu lernen habe .
Schaue es aber trotzdem kurz an.

HTTrack ist das Problem wohl die fehlende Authentifizierungsmöglichkeit, bekomme da nur Fehler zurück.

 

[sia]

Habe gerade HTTP Auth über die URL ausprobiert, geht wohl nicht.

Die Formularbasierte Authentifizierung ginge mit HTTrack dann so: http://httrack.kauler.com/help/CatchURL_tutorial

 

[Fluffy_Unicorn]

Ah voila, dies mit der Authentifizierung habe ich übersehen...

Nun bekomme ich eine leere Seite zurück, respektive folgende Fehler:

Spoiler

HTTrack3.48-21+htsswf+htsjava launched on Tue, 30 Jun 2015 09:21:19 at http://***:****@moodle.***.ch/mod/resource/view.php?id=22017 http://***:****@moodle.***.ch/mod/resource/view.php?id=22017 +*.doc +*.docx +*.pdf
(winhttrack -qiC2%Ps2u1%s%uN0%I0p3DaK0H0%kf2A25000%f#f -F "Mozilla/4.5 (compatible; HTTrack 3.0x; Windows 98)" -%F "<!-- Mirrored from %s%s by HTTrack Website Copier/3.x [XR&CO'2014], %s -->" -%l "de, en, *" http://david.zehnder:BoiS,BuveZ_2552@moodle.gymneufeld.ch/mod/resource/view.php?id=22017 http://***:****@moodle.***.ch/mod/resource/view.php?id=22017 -O1 "\\industrie.****.intra\private\AAG\Home01\AAGZeD\Desktop\Test\Test" +*.doc +*.docx +*.pdf )
Information, Warnings and Errors reported for this mirror:
note: the hts-log.txt file, and hts-cache folder, may contain sensitive information,
such as username/password authentication for websites mirrored in this project
do not share these files/folders if you want these information to remain private
09:21:19 Warning: Cache: damaged cache, trying to repair
09:21:19 Warning: Cache: 0 bytes successfully recovered in 0 entries
09:21:19 Warning: Cache: error trying to open the cache
09:21:21 Error: "Connect Error" (-4) after 2 retries at link ***:****@moodle.***.ch/robots.txt (from primary/primary)
09:21:21 Warning: Retry after error -4 (Connect Error) at link ***:****@moodle.***.ch/mod/resource/view.php?id=22017 (from primary/primary)
09:21:23 Warning: Retry after error -4 (Connect Error) at link ***:****@moodle.***.ch/mod/resource/view.php?id=22017 (from primary/primary)
09:21:24 Error: "Connect Error" (-4) after 2 retries at link ***:****@moodle.***.ch/mod/resource/view.php?id=22017 (from primary/primary)
09:21:24 Warning: No data seems to have been transferred during this session! : restoring previous one!

Keine Ahnung welche URL ich hier eintragen soll, da die Links alle zur view.php verweisen, diese liest wahrscheinlich die Dokumente...

 

[sia]

Trag doch die Startseite des Kurses ein und lass crawlen...

Sieht eher aus wie ein Rechteproblem im Dateisystem. Mal in die Logs geguckt? Welches Betriebssystem?

 

[Fluffy_Unicorn]

Hm, gut, war auf der Arbeit, vielleicht liegts an dem (Windows).

Werde es zu Hause noch einmal ausprobieren (Max Osx), melde mich heute Abend wieder.

 

[Pleitgengeier]

Warum ist das eigentlich dein Problem?

Die Schule hat sich entschieden, proprietären Müll zu verwenden. Soll sich doch der Admin oder Hersteller darum kümmern, euch die Unterlagen zur Verfügung zu stellen wenn die Schule keine Verfügbarkeit garantieren kann...

Mir scheint hier haben wiedermal inkompetente Personen nicht fundierte Entscheidungen getroffen und jetzt sollen es die Nerds unter den Schülern richten...

 

[Fluffy_Unicorn]

So ist es leider. Es wurde uns aber so kommuniziert, eine Lösung haben sie nicht zur Verfügung gestellt. Auch meine Beschwerde konnte da nichts ausrichten.

Kann man nichts machen.

Edit:
Bin nun auf das Addon Downloadthemall gestossen, dies macht genau das was ich benötige. Ist dann zwar nicht geordnet, aber so habe ich zumindest alles lokal .

Danke für eure Hilfe

 

[sia]

Die Schule hat sich entschieden, proprietären Müll zu verwenden.

Sorry, aber an dieser Stelle würde ich gerne unterbrechen und darauf hinweisen, dass Moodle Open Source Software mit einer freien Lizenz ist.

Was gäbe es denn deiner Meinung nach für eine Alternative? Sharepoint?