[Sammelthread] ZFS

[vtepes]

Hier soll ein Thread entstehen in dem alles was mit ZFS zu tun hat besprochen wird.
Ich habe es selber seit einer Weile im Einsatz und bin schwer begeistert.

Mal gucken was hieraus wird

Was ist ZFS?

Dateisystem + Volume-Manager + Software-Raid mit ein Paar Features die man woanders nur teilweise durch Drittsoftware nachrüsten kann. Ursprünglich entwickelt von Sun und Teil von Solaris seit 2005. Geht mittlerweile neben diversen Solarisderivaten nativ unter Linux, FreeBSD, und OS X (siehe auch links weiter unten).
TL;DR: ZFS ist da wo btrfs mal hin will.

(interessante)Features

- einfach administrierbar - es gibt genau 2 Befehle: zpool und zfs
- thin provisioning bei Dateisystemen und Volumes
- raid1/raid5/raid6 - ähnliche Funktionalität, und mehr. Man kann z.B. einen Pool erzeugen bei dem 3 Platten ausfallen können ohne dass die Daten weg sind.
- Datenintegrität - ZFS speichert zu jedem Datenblock eine Prüfsumme, und kann I/O Fehler erkennen und korrigieren. Normale Dateisysteme können bei I/O Fehlern höchstens fsck ausführen um FS-Metadaten in einen konsistenten Zustand zu bringen.
- Snapshots in Echtzeit (!); integrierter Mechanismus für (inkrementelle) Dateisystem-Backups mit zfs send/zfs receive
- Caching-Mechanismen, vgl. bcache unter Linux , nur in "abgehangen"

Wikipedia: http://en.wikipedia.org/wiki/ZFS

Was ist mit Verschlüsselung?

ZFS-eigene Verschlüsselung leider nur unter Solaris, das wird sich für Produktiveinsatz auch so schnell nicht ändern.
Man kann natürlich die Platten anderweitig verschlüsseln und dann ZFS auf den verschlüsselten Devices machen - das macht optional z.B. FreeNAS. Inwiefern die Performance/Features darunter leiden kann ich nicht sagen.

Caveeats

- ZFS wurde für ~Enterprise~ Einsatz entwickelt, und braucht daher vergleichweise viele Ressourcen um optimal zu performen. 64-bit System und 1GB RAM sind so ziemlich Mindestvoraussetzung.
- man kann aus Designgründen (s.o.) nicht "mal eben" seinen raid5 (heisst im ZFS-Slang raidz) um eine Platte erweitern wie mdadm das z.B. kann

Wie bekomme ichs unter Linux zum laufen?

-> http://zfsonlinux.org/
Von Entwicklern Anfang des Jahres als "produktionsreif"deklariert, siehe hier:
http://www.heise.de/open/meldung/Dateisystem-ZFS-on-Linux-bereit-fuer-Alltagseinsatz-1833105.html
Ist nur aus lizenztechnischen Gründen nicht im Kernel-Tree.

weterführende Links

http://nex7.blogspot.de/2013/03/readme1st.html <- lesen, das ganze Blog ist btw. empfehlenswert
http://www.solarisinternals.com/wiki/index.php/ZFS_Evil_Tuning_Guide
http://open-zfs.org/wiki/Main_Page

 

[EvilEye]

Re: Erfahrungen mit ZFS

Interessant könnte noch folgendes sein, falls man ZFS auf "normale" Rechner einsetzen möchte:

64-Bit-Prozessor, umfangreicher Hauptspeicher
Die Vorteile von ZFS kommen auf einem normalen Desktop-System womöglich nicht voll zur Geltung. Es werden beispielsweise 4 GiB oder mehr freier (!) Arbeitsspeicher empfohlen. (Faustregel: 1 GiB Arbeitsspeicher pro TiB Speicherplatz in den Pools.) Bestimmte Funktionen (insbesondere Deduplizierung) erfordern noch mehr (ab 16 GiB). Erst der Einsatz im Server-Bereich und in Rechenzentren liefert sinnvolle Nutzungsmöglichkeiten zur effizienten Verwaltung sehr großer Datenmengen. Verfügt man aber über angemessene Hardware (64-Bit-Prozessor, viel RAM, genügend Festplattenanschlüsse), dann macht sich die Erleichterung im Bereich Festplatten-Speichermanagement auch für den privaten Nutzer schnell bemerkbar.

http://wiki.ubuntuusers.de/Baustelle/ZFS_on_Linux

Und paar Infos für Frickler: https://wiki.archlinux.org/index.php/ZFS

 

[vtepes]

Re: Erfahrungen mit ZFS

Ja das ist so nicht falsch, allerdings wird bei den RAM-Empfehlungen auch von ~enterprise~ Nutzungsszenarien ausgegangen wo mehr als 2-3 User auf die Daten zugreifen.
So wie ich das verstehe cached ZFS wenn es kann Lesezugriffe im RAM und Schreibzugriffe optional auf nem extra-Device - z.B. einer schnellen SSD. Wenn wenig RAM da ist muss man die Cachegrösse halt begrenzen, was aber nicht heisst dass es unbenutzbar langsam wird, oberhalb einer gewissen Grenze natürlich.


Ich hab n NAS mit 4GB RAM und nem Atom drin, und kann absolut nicht klagen. Ein raidz mit 3 Platten macht beim Kopieren von grossen Dateien via Samba-Freigabe easy 1 Gbit dicht, in beide Richtungen.
Wer Zuhause übers Netzwerk mehr will (= Hardware die LACP o.ä. kann oder 10GbE) der zahlt die Paar RAM-Riegel aus der Portokasse

Bei vielen kleinen Dateien wirds momentan schnarchlangsam, was aber ziemlich sicher an Samba liegt. Ich will mal demnächst ein zvol (logisches Volume im ZFS-Slang) über iSCSI am Client (Win7) anbinden, mal gucken wie gut da ZFS mitspielt.


Würde generell behaupten dass man mit minimal Tuning ab 2GB RAM mit ZFS richtig loslegen kann. Rumtesten kann man auch mit 1 GB.