• Hallo liebe Userinnen und User,

    nach bereits längeren Planungen und Vorbereitungen sind wir nun von vBulletin auf Xenforo umgestiegen. Die Umstellung musste leider aufgrund der Serverprobleme der letzten Tage notgedrungen vorverlegt werden. Das neue Forum ist soweit voll funktionsfähig, allerdings sind noch nicht alle der gewohnten Funktionen vorhanden. Nach Möglichkeit werden wir sie in den nächsten Wochen nachrüsten. Dafür sollte es nun einige der Probleme lösen, die wir in den letzten Tagen, Wochen und Monaten hatten. Auch der Server ist nun potenter als bei unserem alten Hoster, wodurch wir nun langfristig den Tank mit Bytes vollgetankt haben.

    Anfangs mag die neue Boardsoftware etwas ungewohnt sein, aber man findet sich recht schnell ein. Wir wissen, dass ihr alle Gewohnheitstiere seid, aber gebt dem neuen Board eine Chance.
    Sollte etwas der neuen oder auch gewohnten Funktionen unklar sein, könnt ihr den "Wo issn da der Button zu"-Thread im Feedback nutzen. Bugs meldet ihr bitte im Bugtracker, es wird sicher welche geben die uns noch nicht aufgefallen sind. Ich werde das dann versuchen, halbwegs im Startbeitrag übersichtlich zu halten, was an Arbeit noch aussteht.

    Neu ist, dass die Boardsoftware deutlich besser für Mobiltelefone und diverse Endgeräte geeignet ist und nun auch im mobilen Style alle Funktionen verfügbar sind. Am Desktop findet ihr oben rechts sowohl den Umschalter zwischen hellem und dunklem Style. Am Handy ist der Hell-/Dunkelschalter am Ende der Seite. Damit sollte zukünftig jeder sein Board so konfigurieren können, wie es ihm am liebsten ist.


    Die restlichen Funktionen sollten eigentlich soweit wie gewohnt funktionieren. Einfach mal ein wenig damit spielen oder bei Unklarheiten im Thread nachfragen. Viel Spaß im ngb 2.0.

RAID erstellen schlägt fehl

alter_Bekannter

N.A.C.J.A.C.

Registriert
14 Juli 2013
Beiträge
4.823
Ort
Midgard
KOnkrete Fehlermeldung:
mdadm: no raid-devices specified.

Vorbereitet sollte alles sein:
Disk /dev/sda: 3000.6 GB, 3000592982016 bytes
255 heads, 63 sectors/track, 364801 cylinders, total 5860533168 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disk identifier: 0x000c695d

Device Boot Start End Blocks Id System
/dev/sda1 63 1564404088 782202013 fd Linux raid autodetect
Partition 1 does not start on physical sector boundary.

Disk /dev/sdb: 3000.6 GB, 3000592982016 bytes
255 heads, 63 sectors/track, 364801 cylinders, total 5860533168 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disk identifier: 0x0001edca

Device Boot Start End Blocks Id System
/dev/sdb1 63 1564404088 782202013 fd Linux raid autodetect
Partition 1 does not start on physical sector boundary.

Disk /dev/sdc: 3000.6 GB, 3000592982016 bytes
255 heads, 63 sectors/track, 364801 cylinders, total 5860533168 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disk identifier: 0x000a5a59

Device Boot Start End Blocks Id System
/dev/sdc1 63 1564404088 782202013 fd Linux raid autodetect
Partition 1 does not start on physical sector boundary.

Disk /dev/sde: 3000.6 GB, 3000592982016 bytes
255 heads, 63 sectors/track, 364801 cylinders, total 5860533168 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disk identifier: 0x000de8a5

Device Boot Start End Blocks Id System
/dev/sde1 63 1564404088 782202013 fd Linux raid autodetect
Partition 1 does not start on physical sector boundary.

Verwendeter Befehl:
mdadm --create --verbose /dev/md0 --level=5 raid-devices=3 /dev/sda1 /dev/sdb1 /dev/sdc1 --spare-device=1 /dev/sde1
 

gelöschter Benutzer

Guest

G
Fehlen da eventuell zwei Striche vor der Option --raid-devices? ;)
 

Metal_Warrior

Defender of Freedom
Teammitglied

Registriert
10 Aug. 2013
Beiträge
6.829
Ort
/dev/mapper/home
Hihi, beliebter Fehler, passiert mir auch oft. Arbeitet man mit -o, packt was dazwischen und schon kennt er sich nicht mehr aus :D

Naja, fragen Sie im NGB, da werden Sie geholfen ;)
 

alter_Bekannter

N.A.C.J.A.C.

Registriert
14 Juli 2013
Beiträge
4.823
Ort
Midgard
  • Thread Starter Thread Starter
  • #5
So, das RAID device ist viel zu klein, ~1,6TB ist es groß, eine Idee was schiefgelaufen ist?
 

gelöschter Benutzer

Guest

G
Da ich i.d.R. mit LVM-RAID arbeite, weiß ich nicht genau was es sein könnte, aber kann es sein dass die Dateisysteme noch nicht synchronisiert wurden? Dauert ja ne Weile bis so ein RAID aufgebaut ist, auch wenn noch keine Daten drauf sind.

Allerdings solltest du mal den Output von folgendem posten:
[src=bash]cat /proc/mdstat
mdadm --detail --scan[/src]
 

Metal_Warrior

Defender of Freedom
Teammitglied

Registriert
10 Aug. 2013
Beiträge
6.829
Ort
/dev/mapper/home
Mich würde an der Stelle
[src=bash]df -h[/src]
auch interessieren (natürlich nur das RAID), falls dir
[src=bash]cat /proc/mdstat[/src]
überhaupt schon sagt, dass der Build fertig ist. Kann ich mir irgendwie nur schwer vorstellen, nachdem du scheinbar direkt drauf gearbeitet hast.
Und warum hast du überhaupt unterhalb des RAIDs noch Partitionen erstellt, wenn du eh die ganze Platte verwendest? Ist eigentlich unnötig.
 

alter_Bekannter

N.A.C.J.A.C.

Registriert
14 Juli 2013
Beiträge
4.823
Ort
Midgard
  • Thread Starter Thread Starter
  • #8
Erstellung ist fertig:


hat ca 80 Minuten gedauert, die Fortschrittsanzeige wurde auch über
cat /pro/mdstat
immer aktualisiert

root@NAS:~# mdadm --detail --scan
ARRAY /dev/md/0 metadata=1.2 spares=1 name=NAS:0 UUID=682709dc:292986a7:85949e1a:c05ae0a4
root@NAS:~# cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4]
md0 : active raid5 sda1[0] sde1[3](S) sdc1[4] sdb1[1]
1564141568 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/3] [UUU]

unused devices: <none>

Partitionen hab ich aus Kompatiblitätsgründen zu eventuell kleineren späteren Austauschplatten erstellt.

edit:
root@NAS:~# df -h
Dateisystem Größe Benutzt Verf. Verw% Eingehängt auf
rootfs 3,5G 915M 2,5G 27% /
udev 10M 0 10M 0% /dev
tmpfs 185M 400K 185M 1% /run
/dev/disk/by-uuid/1a3145e1-8abd-4ae2-9801-76ffa23b0ff1 3,5G 915M 2,5G 27% /
tmpfs 5,0M 0 5,0M 0% /run/lock
tmpfs 411M 0 411M 0% /run/shm
Aber was hat das mit dem zu kleinen RAID Device zu tun?
 

gelöschter Benutzer

Guest

G
Hast du das RAID-Device überhaupt schon eingebunden? Sonst kann man die Größe eh nicht genau bestimmen ;)

Die Anzahl der Blocks stimmt auf jeden Fall schon mal. Wenn ich 1564141568 / 782202013 rechne, komme ich auf ~2,0 – das ist ja die Kapazität beim RAID-5 (n-1 → 2 Disks Kapazität, weil eine ja hot spare ist)...

EDIT: Noch was: Normalerweise partitioniert man heute mit GPT und fängt bei Sektor 2048 an. Dann passt das auch mit den Boundaries mit 4K, Sektor 63 könnte zu Performanceproblemen führen. Das ist ja noch aus XP-Zeiten ;)
 
Zuletzt bearbeitet:

alter_Bekannter

N.A.C.J.A.C.

Registriert
14 Juli 2013
Beiträge
4.823
Ort
Midgard
  • Thread Starter Thread Starter
  • #10
Ja, nicht grafisch zu partitionieren ist Neuland für mich abgesehen von dem "XP-Dingen", aber das bot nicht so viele Möglichkeiten.:D

Ich denke ich sollte nochmal von vorne anfangen.

Ausgangssituation:
4 x 3TB Seagate Surveillance
Debian Oldstable

Ziel dar Aktion sollte ein 9TB Datenträger sein der sicher ist falls eine Platte ausfällt,
ich denke nicht das 2 gleichzeitig ausfallen aber früher oder später werden die Platten
wohl sterben. Geschwindigkeitszuwachs durch RAID-Nutzung ist nicht nötig.

Wenn das Ding nachher mit soliden 100Mb pro Sekunde lesen kann reicht mir das völlig,
was bei Schreibgeschwindigkeiten von ca 140-150MB/Sekunde laut meinen Erfahrungen
von gestern wohl locker drin sein sollte...

Die Partitionierungsanweisung(also das exakte vorgehen) hab ich leider nicht mehr vorliegen,
aber war ja eh nicht zielführend, habe "parted" verwendet. Geringfügig kleinere Partitionen
sollten allerdings aus Kompatiblitätsgründen verwendet werden.

Wie gehe ich jetzt vor?
 

Metal_Warrior

Defender of Freedom
Teammitglied

Registriert
10 Aug. 2013
Beiträge
6.829
Ort
/dev/mapper/home
Ich schließ mch da an, Hotspare ist Verschwendung, zumal mdadm die Platten selbst bei kleinsten Fehlern sofort rauswirft (eigene Erfahrung - Platte zu langsam reagiert, zack raus).

Persönlich hab ich mit LVM keine Erfahrungen, ich habs bislang immer oldschool gemacht. Vielleicht hilft dir auch die Anleitung:
https://raid.wiki.kernel.org/index.php/Linux_Raid

Ist mein Lesezeichen für so ziemlich alles in der Hinsicht.

Kleiner Tipp noch: Eine gerade Anzahl an Festplatten ist suboptimal für ein RAID5. Üblicherweise nimmt man ungerade Anzahlen, meist 3 oder 5, weil drüber kommen dann Ausfallsicherheits-Überlegungen zum Tragen. Mit gerader Anzahl bricht meineswissens die Performance ziemlich ein.

Ähm, und ja, df -h ist nur sinnvoll für bereits gemountete Devices ;)
 

alter_Bekannter

N.A.C.J.A.C.

Registriert
14 Juli 2013
Beiträge
4.823
Ort
Midgard
  • Thread Starter Thread Starter
  • #13
Sieht bislang gut aus, allerdings bekomm ich wohl jetzt keine Größenangabe bis es fertig ist.

Zumindest nicht in parted -l, aber die Fortschrittsanzeige sieht gut aus.
 

gelöschter Benutzer

Guest

G
Kleiner Tipp noch: Eine gerade Anzahl an Festplatten ist suboptimal für ein RAID5. Üblicherweise nimmt man ungerade Anzahlen, meist 3 oder 5, weil drüber kommen dann Ausfallsicherheits-Überlegungen zum Tragen. Mit gerader Anzahl bricht meineswissens die Performance ziemlich ein.

Nicht ganz richtig. Die Leseperformance sollte ungefähr dieselbe bleiben oder weniger als 10% im Vergleich zu linearer Skalierung einbrechen, die Schreibperformance hängt von der Anzahl der Schreibvorgänge zur Parität ab. Je nach Blockgröße (sollte ein Vielfaches eines Stripes über alle Festplatten hinweg sein) beansprucht man eine gewisse Anzahl an Laufwerken. Wenn die Stripe-Größe sich nicht in die Blockgröße zerlegen lässt (also z.B. 4K-Blöcke, aber 4 Festplatten – 3+Parity → 4/3 = wäh – müssen manche Festplatten mehr beschrieben werden als andere.

2^n+1 Festplatten funktionieren deswegen besser, weil die Standardgröße der Stripes einem Vielfachen der tatsächlichen Blockgröße entspricht und alle Festplatten auslastet.
Kleine Blöcke, bei denen eh nur auf eine einzige Festplatte + Parität geschrieben wird, erfahren durch eine ungerade Anzahl an Platten natürlich keinen Performanceverlust.

Bei 4 Festplatten nimmt man also am Besten ein Vielfaches von 1,5K als Blockgröße. Also beispielsweise 1,5K (3*512), 3K (6*512) etc. pp. Wenn das natürlich noch mit der Blockgröße von Festplatten übereinstimmt, also z.B. 4K*3 = 12K Blockgröße, verschenkt man bei vielen kleinen Dateien einen Haufen an Speicherplatz, gewinnt bei großen Dateien aber Performance hinzu.

Hoffe, das ist soweit verständlich.

EDIT: konkret an alter_Bekannter: Ist schon okay mit den 4 Platten und 4K Sektoren, die Performance ist nicht geringer als mit 3 Platten, nur die Schreibperformance nicht linear höher sondern vermutlich ähnlich. Ich tippe auf ~180MB/s schreiben und 250MB/s lesen, je nach CPU.
 

Metal_Warrior

Defender of Freedom
Teammitglied

Registriert
10 Aug. 2013
Beiträge
6.829
Ort
/dev/mapper/home
@phre4k:
Ich meinte da mal was von Seiten der Paritätsberechnung gesehen zu haben, weil bei 3 Festplatten eine XOR-Operation den Parity-Streifen erzeugen kann, während bei 4 Platten bereits zwei XORs geschachtelt werden müssen, die sequenziell ausgeführt werden müssen. Bei 5 Festplatten sind dann natürlich 3 XORs nötig, wovon jedoch zwei parallel ausgeführt werden können und die Dritte nur auf die Ergebnisse der beiden anderen Operationen zurückgreift, was dann in Zeiten etwa so aussieht:

3 Platten: 1x (1/3 pro Platte)
4 Platten: 2x (1/2 pro Platte)
5 Platten: 2x (2/5 pro Platte)

Aber ich lass mich gern belehren.
 

alter_Bekannter

N.A.C.J.A.C.

Registriert
14 Juli 2013
Beiträge
4.823
Ort
Midgard
  • Thread Starter Thread Starter
  • #16
Mehr als 1Gbit/s werde ich sowieso nie drauf schreiben und das doppelte beim lesen klingt doch echt gut.

Dateigröße überwiegend über 200MB daher sollte das wohl alles klappen.
 

gelöschter Benutzer

Guest

G
@phre4k:
Ich meinte da mal was von Seiten der Paritätsberechnung gesehen zu haben, weil bei 3 Festplatten eine XOR-Operation den Parity-Streifen erzeugen kann, während bei 4 Platten bereits zwei XORs geschachtelt werden müssen, die sequenziell ausgeführt werden müssen.

Da hast du schon recht, die Paritätsberechnung dauert natürlich länger. Der Code ist aber recht gut optimiert, sodass der Einbruch eben nicht so stark ausfällt wie man vermuten könnte.
 

alter_Bekannter

N.A.C.J.A.C.

Registriert
14 Juli 2013
Beiträge
4.823
Ort
Midgard
  • Thread Starter Thread Starter
  • #18
Schreiben: 121MB/s
Lesen: 261MB/s(niedrigster Wert aus 5 Tests)

Getestet mit 2,9GB von /dev/zero

Alles bestens, Leseperformance weit über der Erwartung und durch das
Striping sind vermutlich auch 2 oder 3 lesende Zugriffe Parallel insgesamt
noch ähnlich schnell. 2 1Gbit-Ports können jedenfalls locker lesend bedient
werden, von daher: top.

Zugriffe auf den RAID sind jetzt vermutlich schneller als die von lokaler HDD.
 
Zuletzt bearbeitet:

alter_Bekannter

N.A.C.J.A.C.

Registriert
14 Juli 2013
Beiträge
4.823
Ort
Midgard
  • Thread Starter Thread Starter
  • #19
Vorweg: noch läuft alles

Aber wie würde ich das System wiederherstellen wenn eine Festplatte spontan verrecken würde?
Die Section Recovery behandelt ja scheinbar erst das Thema wenn bereits wirklich Daten futsch sind: https://raid.wiki.kernel.org/index.php/RAID_Recovery

Aber vorher sollte die Wiederherstellung ja relativ trivial sein, würde halt nur wieder ziemlich genau 80 Minuten dauern.:D
 

SP4C3

Neu angemeldet

Registriert
27 Aug. 2013
Beiträge
54
Sofern eine Festplatte den Geist aufgibt oder du die Kapazität durch den tausch der Platten erhöhen willst, würdes du erst die zu tauschende Platte aus dem Raid entfernen(sollte beim defekt automatisch geschehen, bzw. als defekt markiert werden). Dann die neue Einbauen, Partitionieren und dem Raid hinzufügen.

Befehle kann ich leider nicht auswendig, aber das schrittweise Tauschen zur Kapazitätserhöhung hab ich schon hinter mir. Dauert halt ewig u.U..
 
Oben