[Debian Ext4] nicht lesbare Umlaute in allen Dateinamen ersetzen

[alter_Bekannter]

Umbenennen mit "mv" geht prinzipiell, habe ich auch schon ein paar mal gemacht, nur manuell ist mir das definitiv mittlerweile zu lästig...

Solche Skripte gibts sicher schon zu tausenden im Web aber ich finde sie einfach nicht.

Das Problem mit nicht lesbaren Umlauten hatte ich jetzt schon öfter, das stört aber eigentlich nur beim übertragen.
Aber leider will ich die Daten ja zu mir übertragen.

Ein Skript das nur den aktuellen Ordner durchgeht mit Unterordnern wär natürlich toll, aber nicht nötig.
Ersetzungstechnisch reichts wenn nicht lesbare Zeichen notfalls einfach gelöscht werden.

Beispiel für manuelle Korrektur:
[src=bash]mv S01E04\ -\ Hercules\ im\ Reich\ der\ toten\ G▒tter.mp4 S01E04\ -\ Hercules\ im\ Reich\ der\ toten\ Goetter.mp4[/src]


Vielleicht überlebt das falsche Zeichen ja das Copy&Paste und jemand kann das gleich automatisch richtig fixen...

Ausgabe über ls sieht wie folgt aus:

Spoiler

S02E01 - Der K?nig der Diebe.mp4 S02E06 - Ewige Liebe.mp4 S02E11 - Der Geist des Timuron.mp4 S02E16 - Der grosse Wettkampf.mp4 S02E21 - Die R?ckkehr des blauen Priesters.mp4
S02E02 - Spiel mit dem Gl?ck.mp4 S02E07 - Der Heiratsschwindler.mp4 S02E12 - Das Schwert der Wahrheit.mp4 S02E17 - Der goldene Apfel.mp4 S02E22 - Eine besondere Gabe.mp4
S02E03 - Unter falschem Namen.mp4 S02E08 - In der Unterwelt.mp4 S02E13 - Heras Kriegerin.mp4 S02E18 - Hochzeit mit Hindernissen.mp4 S02E23 - Gleiches Recht f?r Alle.mp4
S02E04 - Goth der Barbar.mp4 S02E09 - Der Schatz der Hera.mp4 S02E14 - Einmal ein Held, immer ein Held.mp4 S02E19 - K?nig f?r einen Tag.mp4 S02E24 - Die H?hle des Echos.mp4
S02E05 - Der Aussenseiter.mp4 S02E10 - Maceus' Rache.mp4 S02E15 - Hellseher wider Willen.mp4 S02E20 - Der Verwandlungsk?nstler.mp4

Umlaute werden "?"

Edit:
Folgende Ersetzungsregeln brachten verwertbare Ergebnisse:

rename 's/\204/ae/g' *
rename 's/\224/oe/g' *
rename 's/\201/ue/g' *
rename 's/\341/ss/g' *
rename 's/\231/Oe/g' *

 

[mathmos]

Kopierst du Dateien z. B. von NTFS auf ext4?

Mal ins Blaue geraden könnte convmv hier weiterhelfen. Z. B. convmv -f utf-8 -t iso-8859-1 -r /Verzeichnis (mit -f wird die Kodierung der vorhandenen "Problemverzeichnisse" angegeben. Mit -t die in die umgewandelt wird. Mit -r wird rekursiv gearbeitet).

 

[alter_Bekannter]

Jein

Zielsystem ist zwar NTFS aber ich denke das Problem liegt schon am Server oder der SFTP-Protokollimplementierung von Filezilla.

Dateien stammen aus dem Usenet, das urspüngliche Filesystem könnte also alles inklusive Fat32 etc sein.
Aufgrund der Uploads würde ich außerdem sagen das der Uploader wohl sein Betriebssystem auf deutsch eingestellt hat.

Zum konvertieren mit convmv müsste ich jetzt wissen wie die Zeichen jetzt codiert sind und das kann ich im schlimmsten Fall einfach nicht.
Notepad++ stellt die Zeichen mit keinem plausiblen Encoding richtig dar.

Hab was gefunden das vieleicht hilft:
der Output von dir:

Spoiler

S02E01\ -\ Der\ K\224nig\ der\ Diebe.mp4 S02E07\ -\ Der\ Heiratsschwindler.mp4 S02E13\ -\ Heras\ Kriegerin.mp4 S02E19\ -\ K\224nig\ f\201r\ einen\ Tag.mp4
S02E02\ -\ Spiel\ mit\ dem\ Gl\201ck.mp4 S02E08\ -\ In\ der\ Unterwelt.mp4 S02E14\ -\ Einmal\ ein\ Held,\ immer\ ein\ Held.mp4 S02E20\ -\ Der\ Verwandlungsk\201nstler.mp4
S02E03\ -\ Unter\ falschem\ Namen.mp4 S02E09\ -\ Der\ Schatz\ der\ Hera.mp4 S02E15\ -\ Hellseher\ wider\ Willen.mp4 S02E21\ -\ Die\ R\201ckkehr\ des\ blauen\ Priesters.mp4
S02E04\ -\ Goth\ der\ Barbar.mp4 S02E10\ -\ Maceus'\ Rache.mp4 S02E16\ -\ Der\ grosse\ Wettkampf.mp4 S02E22\ -\ Eine\ besondere\ Gabe.mp4
S02E05\ -\ Der\ Aussenseiter.mp4 S02E11\ -\ Der\ Geist\ des\ Timuron.mp4 S02E17\ -\ Der\ goldene\ Apfel.mp4 S02E23\ -\ Gleiches\ Recht\ f\201r\ Alle.mp4
S02E06\ -\ Ewige\ Liebe.mp4 S02E12\ -\ Das\ Schwert\ der\ Wahrheit.mp4 S02E18\ -\ Hochzeit\ mit\ Hindernissen.mp4 S02E24\ -\ Die\ H\224hle\ des\ Echos.mp4

"ö" zum Beispiel ist da offensichtlich "\224"

Bisherige Lösung
rename 's/\204/ä/g' *
rename 's/\224/ö/g' *
rename 's/\201/ü/g' *

 

[Metal_Warrior]

@alter_Bekannter:
Alternativ kann ich mich dran erinnern, dass Samba - wenn nicht richtig eingestellt - solchen Mist produziert. Dazu musst du nur das Charset nicht richtig eingestellt haben. Das sollte auch rückwärtskompatibel sein; also Samba sollte die Files wieder für die Clients rückumbenennen können. Ergo mein Vorschlag: Samba draufschmieren, Charset auf clientseitiges Charset einstellen, Daten über Netzlaufwerk mit einem Windows-Client ziehen und aufs NTFS schreiben. Sparst du dir sed & Co. aufm Dateisystem.

 

[alter_Bekannter]

Nette Idee, aber in diesem Szenario eine unpraktikable Lösung weil die Daten definitiv auch via FTP transferiert werden sollen.

 

[cy_coe]

Ich mach das auch immer per convmv. Infos z.B. hier. Auf der Seite gibts dann noch andere Möglichkeiten, vllt. findest du da was brauchbares.

 

[alter_Bekannter]

Da rename funktioniert habe ich auch kein Bock mehr groß zu experimentieren, die vorläufige Liste sieht wie folgt aus:
rename 's/\204/ae/g' *
rename 's/\224/oe/g' *
rename 's/\201/ue/g' *
rename 's/\341/ss/g' *
rename 's/\231/Oe/g' *

 

[Metal_Warrior]

@alter_Bekannter:
Wieso oe statt ö? Linux verwendet doch standardmäßig UTF-8 und kann fast alle Zeichen auf EXT4 im Dateinamen abspeichern...

 

[alter_Bekannter]

Ja das tuts auch, aber wie gesagt die Übertragung...


Die zickt nämlich irgendwie auch bei Umlauten etc, zumindest manchmal. Keine AHnung warum vielleicht unterschiedliche ENcodings Win7/Putty/Filezilla?
Keine Ahnung steht eigentlich alles auf UTF-8.

 

[Metal_Warrior]

@alter_Bekannter:
Ich verwende PuTTY zwar nicht, aber es sollte SFTP können, und das verwendet normalerweise den SSH-eigenen FTP-Server. Evl. macht der weniger Zicken.

 

[wellen]

Bei Filezilla kannst du im Server-Manager den Zeichensatz manuell auf 8859-1 einstellen. Siehe http://www.tecchannel.de/bild-zoom/2039060/1/2157361/d2e240-media/

 

[jimsy]

Ganz spontan fällt mir da 'rsync' mit dem '--iconv' Parameter ein.

 

[alter_Bekannter]

Dann brauch ich dennoch einiges an Features die nur Proftpd hat.

Serverwechsel kommt erstmal also nicht in Frage.

Ein Versuch verbleibende Zweifel zu klären:
Es handelt sich um ein Angebot für eine geschlossene Gesellschaft mit Quotalimits.

 

[Metal_Warrior]

@alter_Bekannter:
Proftpd hab ich mir erst angeschaut, wegen eines Missverständnisses mit unserem neuen Multifunktionscenter - das hat massig Optionen. Ich kann mir kaum vorstellen, dass da ein Encoding-Converter fehlt.

Mal ganz blöde Frage (kommt aber auch bei mir häufig vor): Du hast nach dem Config-Schreiben schon den Service neu gestartet, oder?

 

[alter_Bekannter]

Welche Config?
Proftpd musste ja wegen einer bekannten Lücke vor ein paar Tagen neu gestartet werden.

 

[Metal_Warrior]

@alter_Bekannter:
Guck dir mal den Ordner /etc/proftpd an. Da findest du (wie bei jedem anderen Dienst auch) ein paar Config-Dateien, die natürlich schon leicht an Debian vorangepasst sind.

 

[alter_Bekannter]

Wo die von Proftpd sind weiss ich die Frage war:
Auf welche Konfiig konkret beziehst du dich jetzt?

Denn wie gesagt habe ich den ja erst vor recht kurzer Zeit neugestartet, welche Änderung meinst?
Für den Verlauf dieses Threads könnte ich mich jetzt nicht erinnern irgendeinen Dienst umkonfiguriert zu haben.

Unabhängig davon habe ich durchaus ein paar Sachen geändert aber die Änderungen sind alle wie gewünscht aktiv.


Meine Vermutung ist ja nach wie vor das es irgendwo in Filezilla hakt. Denn wenn ich die Befehle wie mv über Putty reinjage wurden die Dateien ja von Anfang an gefunden ich nehme an Filezilla baut die Dateinamen komisch.

 

[musv]

Die Ausgangsdateien werden vermutlich mit Windows hochgeladen. Damit dürfte das Encoding UCS-2 sein, was Unicode ist. Probier demzufolge mal aus Ausgangs-Encoding UCS-2 (alternativ UTF-16) und als Zielkodierung UTF-8 zu nehmen.

Du weißt aber auch, dass die Windows-Leute dann wieder Probleme mit der Umlautedarstellung haben werden, wenn du alles schön in UTF-8 umgewandelt hast? Damit können die nämlich nach dem Runterladen nichts mehr anfangen bzw. sehen nur kryptische Zeichen anstelle der Umlaute.

 

[Metal_Warrior]

@alter_Bekannter:
Auf gar keine konkret, dazu habe ich mich in der halben Stunde Einlesen zu wenig drin umgeschaut. Ich hab nur festgestellt, dass proftpd ähnlich wie Samba unendlich viele teils versteckte Optionen hat, die man zusätzlich eintragen kann bzw. haufenweise mods, die man zusätzlich installieren kann etc. Insofern würde ich mal stackoverflow und die proftpd docs durchforsten. Mal ne Sache, die ich grade eben in 10 Sekunden ergoogled habe:
http://www.proftpd.org/docs/modules/mod_lang.html

Versteh mich nicht falsch, ich kenne mich mit proftpd nicht wirklich aus, ich bin nur sehr an Debian gewöhnt und hab bislang noch nie wirklich ein Problem gehabt, dass man nicht durch eine Konfigdatei oder ein zusätzliches Paket lösen konnte (mal von topaktueller oder exotischer Hardware abgesehen).Ich kanns auch selber nicht ausprobieren, weil ich es nur für einen Scanner brauchte, bei dem ich hinterher festgestellt habe, dass er auch mit etwas gutem Zureden mit meinem Samba redet und FTP daher überflüssig ist.

 

[alter_Bekannter]

Das könnte sogar tatsächlich helfen, wenns doof läuft aber wieder nur für genau in Spezialscenario...

Ich werds demnächst mal testen, aber viel Zeit werde ich da aus genannten Gründen nicht reinstecken das das Workaround auf kompatiblere Zeichen zu setzen mir wesentlich stabiler erscheint. Zumal die wenigsten Dateinamen Umlaute enthalten.

In dem Sinne:
Schon klar, es gibt kein "unmöglich", nur "außerhalb des Budgets".