Ergebnis 1 bis 9 von 9

Thema: Deduplikation von aehnlichen Ordnern

  1. #1
    Mitglied
    Registriert seit
    Jul 2014
    Beiträge
    56

    Question Deduplikation von aehnlichen Ordnern

    Moin,

    ich suche eine Moeglichkeit, mit der ich Dateien zwischen mehreren Ordner deduplizieren und nur bei Bedarf tatsaechlich neu schreiben kann.

    Mein Use-Case ist, dass ich viele Ordner (wine-prefixes) habe, die sich groesstenteils aehnlich sind, aber in ein paar Dateien unterscheiden (verschiedene Konfigurationen, wie zB library-overrides, etc). Momentan speichere ich diese einfach als einzelne Ordner, was entsprechend Platz wegnimmt.
    Effizienter waere es, aehnlich wie bei Docker-Kernels, eine "Master-Kopie" zu haben und in allen Derivaten nur Unterschiede zu speichern.

    Haette jemand von euch eine Idee, wie ich das am Besten erreichen koennte?
    Vielen Dank fuer alle Hinweise!

    Gruss,
    kpj

  2. #2
    Defender of Freedom

    Administrator

    Avatar von Metal_Warrior
    Registriert seit
    Aug 2013
    Ort
    /dev/mapper/home
    Beiträge
    2.148
    ngb:news Artikel
    3

    Re: Deduplikation von aehnlichen Ordnern

    @kpj: BTRFS und Subvolumes. Erstelle ein Master-Volume, und daraus eine Subvolume-Kopie. Die liegen dann nebeneinander, zeigen den gleichen Inhalt, nehmen aber nur einfach Platz weg, egal wie viele es sind. Danach kannst du die entsprechenden Ordner (die Volumes im BTRFS werden auch als Folder angezeigt) mergen, es werden dann nur die jeweiligen Unterschiede tatsächlich auf der Festplatte abgespeichert.
    GCM/IT/S/O d-(--) s+:- a? C++(+++) UL+++(++++)$ P L+++>++++ W++ w@$ M--$ PS+(++) PE(-) Y+(++) PGP++(+++) t+ 5(+) R* !tv b+(++++) DI(++) G++ e+>++++ h(--) y?
    Das Ende ist nahe: Dem Harleyschen Kometen folgt der Gammablitz beim Scheißen.

  3. #3
    Mitglied

    (Threadstarter)


    Registriert seit
    Jul 2014
    Beiträge
    56

    Re: Deduplikation von aehnlichen Ordnern

    Das wuerde dann aber bedeuten, dass ich mein komplettes FS auf BTRFS umformatieren muesste, oder?

    Am Liebsten wuerde ich das ganze FS-unabhaengig gestalten.
    Ich schreibe mir naemlich gerade ein kleines Script, dass wine-prefixes managed und haette gerne als Feature, dass viele Prefixe nicht super-viel Speicher wegnehmen.

    Eine naive Idee von mir war, irgendwie geschickt soft links zu legen, habe aber das Gefuehl, dass das schnell kompliziert und kaputt wird.

  4. #4
    Defender of Freedom

    Administrator

    Avatar von Metal_Warrior
    Registriert seit
    Aug 2013
    Ort
    /dev/mapper/home
    Beiträge
    2.148
    ngb:news Artikel
    3

    Re: Deduplikation von aehnlichen Ordnern

    Zitat Zitat von kpj Beitrag anzeigen
    Eine naive Idee von mir war, irgendwie geschickt soft links zu legen, habe aber das Gefuehl, dass das schnell kompliziert und kaputt wird.
    Genau das. Klar funktioniert es, aber halt nicht wirklich zuverlässig, zumindest nicht, wenn du im laufenden Betrieb Daten änderst (und dann auf einmal Softlinks durch Kopien ersetzen musst). Initial ist das sogar recht einfach machbar mit Softlinks, aber es ist halt one-shot, und danach sollte nix mehr geändert werden.

    Ja, dein Dateisystem müsstest du mit BTRFS formatieren, das ist korrekt. Allerdings könntest du auch ne eigene Partition nehmen (oder nen imagefile), die/das du dann in den .wine-Folder mountest und dort das BTRFS drauf hast. Das lässt deine anderen Daten hübsch weiter auf ext4.
    GCM/IT/S/O d-(--) s+:- a? C++(+++) UL+++(++++)$ P L+++>++++ W++ w@$ M--$ PS+(++) PE(-) Y+(++) PGP++(+++) t+ 5(+) R* !tv b+(++++) DI(++) G++ e+>++++ h(--) y?
    Das Ende ist nahe: Dem Harleyschen Kometen folgt der Gammablitz beim Scheißen.

  5. #5
    Mitglied

    (Threadstarter)


    Registriert seit
    Jul 2014
    Beiträge
    56

    Re: Deduplikation von aehnlichen Ordnern

    Ich wuerde das ganze am Liebsten so automatisiert wie moeglich machen (damit es evtl auch andere Leute nutzen koennen).

    Das mit der BTRFS-Image-File hoert sich daher ziemlich cool an.
    Das ganze wuerde man dann in etwa so wie hier machen, oder?

    Weisst du, ob man die Groesse dieser Image-File automatisch an den Inhalt des BTRFS-Volumens anpassen koennte, oder muss man das manuel mit zB `truncate` machen?

  6. #6
    Defender of Freedom

    Administrator

    Avatar von Metal_Warrior
    Registriert seit
    Aug 2013
    Ort
    /dev/mapper/home
    Beiträge
    2.148
    ngb:news Artikel
    3

    Re: Deduplikation von aehnlichen Ordnern

    @kpj: Truncate macht das automatisch. Du erstellst ein Image mit 200 GB, truncate lässt es aber erstmal nur so viel Platz belegen, wie das Dateisystem selbst braucht. Das Device wird aber als 200 GB erkannt und verwendet, es wächst halt mit der Zeit (immer, wenn du einen weiteren Sektor beschreibst). Bin mir grad nicht sicher, ob das mit mount *irgendein image* auf jeder Distro funktioniert, dass er das automatisch erstellt, kannst aber mal probieren. Ich mein, im schlimmsten Fall musst du halt ein paar Imagedateien löschen, die du kurz vorher testhalber erstellt hast. Ist bei mir schon ne Weile her, seit ich das zum letzten Mal gebraucht hab.
    GCM/IT/S/O d-(--) s+:- a? C++(+++) UL+++(++++)$ P L+++>++++ W++ w@$ M--$ PS+(++) PE(-) Y+(++) PGP++(+++) t+ 5(+) R* !tv b+(++++) DI(++) G++ e+>++++ h(--) y?
    Das Ende ist nahe: Dem Harleyschen Kometen folgt der Gammablitz beim Scheißen.

  7. #7
    Mitglied

    (Threadstarter)


    Registriert seit
    Jul 2014
    Beiträge
    56

    Re: Deduplikation von aehnlichen Ordnern

    Super, vielen Dank schonmal soweit!
    Das mit der BTRFS-Image-File funktioniert wunderbar, und ich kann sie auch mounten und BTRFS-Subvolumes erstellen.

    Ich verstehe jetzt aber gerade nicht ganz, was du in deinem ersten Post mit "Erstelle ein Master-Volume, und daraus eine Subvolume-Kopie." meinst.
    Soweit wie ich es verstehe, kann man nur per
    Code (Bash):
    1. btrfs subvolume create sub01
    ein Subvolumen erstellen. Wo genau kommt jetzt ein Master-Volumen mit Kopien ins Spiel?

  8. #8
    Defender of Freedom

    Administrator

    Avatar von Metal_Warrior
    Registriert seit
    Aug 2013
    Ort
    /dev/mapper/home
    Beiträge
    2.148
    ngb:news Artikel
    3

    Re: Deduplikation von aehnlichen Ordnern

    @kpj: Das Ganze nennt sich "Snapshot". Ein Snapshot kann von einem Subvolume erstellt und dann beliebig verändert werden. Das Quellvolume wäre dann der Master, der von dir mehrfach gesnapshotted wird. In den resultierenden Subvolumes kannst du dann arbeiten.
    GCM/IT/S/O d-(--) s+:- a? C++(+++) UL+++(++++)$ P L+++>++++ W++ w@$ M--$ PS+(++) PE(-) Y+(++) PGP++(+++) t+ 5(+) R* !tv b+(++++) DI(++) G++ e+>++++ h(--) y?
    Das Ende ist nahe: Dem Harleyschen Kometen folgt der Gammablitz beim Scheißen.

  9. #9
    Mitglied

    (Threadstarter)


    Registriert seit
    Jul 2014
    Beiträge
    56

    Re: Deduplikation von aehnlichen Ordnern

    Ah, macht Sinn. Ich werde damit mal ein bisschen rumspielen.

    Vielen Dank fuer deine Hilfe!

Berechtigungen

  • Neue Themen erstellen: Nein
  • Themen beantworten: Nein
  • Anhänge hochladen: Nein
  • Beiträge bearbeiten: Nein
  •