Sie sind nicht angemeldet.

1

04.12.2009, 13:17

Gentoo Xen - ocfs2 Problem

Hallo liebe Wissende,

ich habe ein Problem mit den ocfs2-tools-1.4.{2 3}.

Situation:

Vorhanden sind 4 Rechner (x86_64 Intel(R) Xeon(R) CPU E5520 @ 2.27GHz) auf denen je ein Xen-dom0 (2.6.31-xen-r7) läuft. Sie sind jeweils über ein bond0 aus 4 1gig NICs mit einem Switch verbunden. Auf dem bond0 liegen diverse VLAN Geräte, auf denen wiederum je eine Bridge für die xen vifs liegen.
Desweiteren habe ich eine iscsi-Backplane in der ein 3TB RAID6 liegt, welche ich an alle Server anbinden möchte. Das Device kann an alle angebunden werden und die Testpartition (5GB ext3) kann gemountet werden. Nun möchte ich, dass die domU Images, die ich noch baue, auf allen Servern verfügbar sind. Hierfür benötige ich ein clustering Filesystem. Meine Wahl fiel auf ocfs2.

Da ocfs2-tools nicht mehr im Portage sind, habe ich ein Overlay angelegt und dort die ebuilds von ocfs2-tools-1.4.{2 3} abgelegt. Der emerge derer funktionierte tadelos.
Nun habe ich noch die Module gebaut und geladen und wollte loslegen.

Mein Ablauf:

##Erstellen der nodes

Quellcode

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
# vim /etc/ocfs2/cluster.conf (gekürzt)
cluster:
name = ocfs2
count = 4

node:
name = srv1
cluster = ocfs2
number = 1
ip_address = 10.10.21.201
ip_port = 7777

...

...

node:
name = srv4
cluster = ocfs2
number = 4
ip_address = 10.10.21.204
ip_port = 7777


## Clusternamen konfigurieren

Quellcode

1
2
# vim /etc/conf.d/ocfs
OCFS2_CLUSTER="ocfs2"


## Hinzufügen der moount-Points

Quellcode

1
2
3
# vim /etc/fstab
none /config configfs defaults 0 0
none /dlm ocfs2_dlmfs defaults 0 0


## Schaun ob alle Module geladen wurden

Quellcode

1
2
3
4
5
6
7
8
9
10
11
12
13
14
# lsmod
ocfs2_dlmfs 19512 1 
ocfs2_stack_o2cb 5112 0 
ocfs2_dlm 194616 2 ocfs2_dlmfs,ocfs2_stack_o2cb
iscsi_tcp 12852 4 
libiscsi_tcp 17724 1 iscsi_tcp
libiscsi 42008 2 iscsi_tcp,libiscsi_tcp
scsi_transport_iscsi 33528 3 iscsi_tcp,libiscsi
dm_mod 70040 0 
dlm 125240 0 
ocfs2 569296 0 
ocfs2_stackglue 13368 2 ocfs2_stack_o2cb,ocfs2
ocfs2_nodemanager 205832 4 ocfs2_dlmfs,ocfs2_stack_o2cb,ocfs2_dlm,ocfs2
configfs 28104 3 dlm,ocfs2_nodemanager


## Formatieren der Partition

Quellcode

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
# mkfs.ocfs2 -N 4 /dev/sdb1
mkfs.ocfs2 1.4.3
Cluster stack: classic o2cb
Filesystem label=
Block size=4096 (bits=12)
Cluster size=4096 (bits=12)
Volume size=5379297280 (1313305 clusters) (1313305 blocks)
41 cluster groups (tail covers 23065 clusters, rest cover 32256 clusters)
Journal size=67108864
Initial number of node slots: 4
Creating bitmaps: done
Initializing superblock: done
Writing system files: done
Writing superblock: done
Writing backup superblock: 2 block(s)
Formatting Journals: done
Formatting slot map: done
Writing lost+found: done
mkfs.ocfs2 successful


## Starten des Clusters

Quellcode

1
2
3
4
# /etc/init.d/ocfs2 start
 * Caching service dependencies ...                                                                                                                                                            [ ok ]
 * Starting OCFS2 cluster
 *  - ocfs2 ...                                                                                                                                                                                [ !! ]


Und hier ist der Punkt an dem ich nicht weiter komme.

Ich habe mir das init-Script mal angeschaut und gesehen das es eigentlich nur folgenden Befehl ausführt:

Quellcode

1
/sbin/o2cb_ctl -H -n ${cluster} -t cluster -a online=yes >/dev/null 2>&1


Ein echo dieser Zeile in dem script ergab folgende Ausgabe:

Quellcode

1
/sbin/o2cb_ctl -H -n ocfs2 -t cluster -a online=yes


Wenn ich das per Hand versuche auszuführen, kommt folgende Fehlermeldung:

Quellcode

1
2
# /sbin/o2cb_ctl -H -n ocfs2 -t cluster -a online=yes
 o2cb_ctl: Unable to load cluster configuration file "/etc/ocfs2/cluster.conf"


Es schaut so aus als ob er die Datei nicht findet bzw. nicht darauf zu greifen kann. Sie ist aber da:

Quellcode

1
2
# ls -al /etc/ocfs2/cluster.conf
-rwxr-xr-x 1 root root 380 Dec  4 12:01 /etc/ocfs2/cluster.conf


Und wenn ich versuche das Device zu mounten kommt dieser Fehler:

Quellcode

1
2
# mount /dev/sdb1 /mnt/gentoo/
mount.ocfs2: Unable to access cluster service while trying to join the group



Hat irgendwer eine Ahnung was das bedeuten soll? Komme nicht klar damit. Hat irgendwer Erfahrung mit ocfs2? Könnt ihr mir ein anderes Filesystem empfehlen was für meine Zwecke geeignet ist?

In einigen Dokus ist immer wieder die Rede von einer Datei "/etc/init.d/o2cb". Diese existiert nicht bei mir. Ist das korrekt so?

Grüße,
Mike
4x [[ 2x Intel(R) Xeon(R) CPU E5520 @ 2.27GHz w/HP, 12x 4GB RAM, RAID 1 500GB (7200U), 4x 1Gbit/s NIC, 1x IPMI NIC]]

iSCSI Backplane w/ 16 SATA Slots [[ 4x 1Gbit/s iSCSI NIC, 1x RAID 5 1TB BACKUP, 2x RAID 6 3 TB Data]]

Linux 2.6.38-gentoo-xen-r1

Dieser Beitrag wurde bereits 1 mal editiert, zuletzt von »crazymind« (04.12.2009, 18:12)


2

04.12.2009, 13:36

hast du dir mal drbd angeschaut?


http://en.gentoo-wiki.com/wiki/Heartbeat…onfiguring_DRBD

bzw.

ocfs2 on top of drbd

habs nur kurz überflogen ... aber da hat z.b. NODE 1 ..in der ocfs2 config die "number 0" ... bei dir in der config, beginnst du mit 1 ... kann es sein das 0 verlangt wird?

und netzwerktechnisch blockt hoffentlich nichts den port 7777 oder?
Intel core 2 duo E6600
XFX Geforce 7950 gt
4096 MB DDR2
Intel DP35DP

3

04.12.2009, 13:56

Zitat


Soweit ich das verstanden habe benötige ich drbd nicht dafür. Da drbd nur 2 nodes pro Cluster (sofern ich das richtig verstanden habe) unterstützt, wäre das auch nicht der richtige weg: ich brauche 4 nodes auf einem Cluster.

Zitat

habs nur kurz überflogen ... aber da hat z.b. NODE 1 ..in der ocfs2 config die "number 0" ... bei dir in der config, beginnst du mit 1 ... kann es sein das 0 verlangt wird?

Habe das eben mit der Nummer korrigiert und es hat sich nichts geändert an den Fehlern.

Zitat

und netzwerktechnisch blockt hoffentlich nichts den port 7777 oder?

Ich denke nicht das es was mit dem Port zu tun hat, zumal es nicht die beiden Fehler erklären würde. tcdump sagt das (noch) kein Verkehr auf Port 7777 stattfindet.
4x [[ 2x Intel(R) Xeon(R) CPU E5520 @ 2.27GHz w/HP, 12x 4GB RAM, RAID 1 500GB (7200U), 4x 1Gbit/s NIC, 1x IPMI NIC]]

iSCSI Backplane w/ 16 SATA Slots [[ 4x 1Gbit/s iSCSI NIC, 1x RAID 5 1TB BACKUP, 2x RAID 6 3 TB Data]]

Linux 2.6.38-gentoo-xen-r1

4

04.12.2009, 14:13

habs nochmal überflogen und mir fällt folgendes auf ..


in deiner config .. beim punkt " cluster:"


laut offizieller doku lautet der parameter "node_count = 4", bei dir in der config steht jedoch "count = 4"


noch eine blöde frage: .. können die namen der einzelnen nodes aufgelöst werden? ... macht angeblich auch komische probleme wenn die namensauflösung nicht funktioniert
Intel core 2 duo E6600
XFX Geforce 7950 gt
4096 MB DDR2
Intel DP35DP

5

04.12.2009, 14:50

ich habe ich eben feststellen müssen, dass bei "name =" der lokale hostname stehen muss, da die auflösung wohl direkt über die hostfile läuft.

ich teste eben einen cluster zwischen zwei node.

desweiteren muss schon beim booten die konfiguration komplett KORREKT sein, da er beim laden der module die /config dateien baut (nodes etc.)

erstatte gleich bericht
4x [[ 2x Intel(R) Xeon(R) CPU E5520 @ 2.27GHz w/HP, 12x 4GB RAM, RAID 1 500GB (7200U), 4x 1Gbit/s NIC, 1x IPMI NIC]]

iSCSI Backplane w/ 16 SATA Slots [[ 4x 1Gbit/s iSCSI NIC, 1x RAID 5 1TB BACKUP, 2x RAID 6 3 TB Data]]

Linux 2.6.38-gentoo-xen-r1

6

04.12.2009, 15:33

Dauert wohl noch etwas. Habe hier noch viele kleinere Probleme.
4x [[ 2x Intel(R) Xeon(R) CPU E5520 @ 2.27GHz w/HP, 12x 4GB RAM, RAID 1 500GB (7200U), 4x 1Gbit/s NIC, 1x IPMI NIC]]

iSCSI Backplane w/ 16 SATA Slots [[ 4x 1Gbit/s iSCSI NIC, 1x RAID 5 1TB BACKUP, 2x RAID 6 3 TB Data]]

Linux 2.6.38-gentoo-xen-r1

7

04.12.2009, 17:40

SO es ist geschafft. :thumbsup:

Es war dann doch eine Fehlkonfiguration in der Datei /etc/ocfs2/cluster.conf

Der Fehler beim Mount kam also weil ocfs nicht initialisiert werden konnte, was wiederum wegen der Fehlkonfiguration der cluster.conf beim booten geschuldet war.

[Edit]
Nur zu dumm das der Output der Fehlermeldungen nicht eindeutig auf einen bestimmten Fehlerh inweisen
[/Edit]

Grüße und Danke für das Beistehen

Mike

P.S.: Versucht ihr auch immer im Forum mit der tabcompletion zu arbeiten? :D
4x [[ 2x Intel(R) Xeon(R) CPU E5520 @ 2.27GHz w/HP, 12x 4GB RAM, RAID 1 500GB (7200U), 4x 1Gbit/s NIC, 1x IPMI NIC]]

iSCSI Backplane w/ 16 SATA Slots [[ 4x 1Gbit/s iSCSI NIC, 1x RAID 5 1TB BACKUP, 2x RAID 6 3 TB Data]]

Linux 2.6.38-gentoo-xen-r1

8

04.12.2009, 17:48

bitte gerne .. wieder ein Problem gelöst :D


Zitat

P.S.: Versucht ihr auch immer im Forum mit der tabcompletion zu arbeiten?




seit dem ich die Firefox Extension namens "its all text" habe, nicht mehr 8)
Intel core 2 duo E6600
XFX Geforce 7950 gt
4096 MB DDR2
Intel DP35DP

9

04.12.2009, 18:01

okay :P
4x [[ 2x Intel(R) Xeon(R) CPU E5520 @ 2.27GHz w/HP, 12x 4GB RAM, RAID 1 500GB (7200U), 4x 1Gbit/s NIC, 1x IPMI NIC]]

iSCSI Backplane w/ 16 SATA Slots [[ 4x 1Gbit/s iSCSI NIC, 1x RAID 5 1TB BACKUP, 2x RAID 6 3 TB Data]]

Linux 2.6.38-gentoo-xen-r1

10

04.12.2009, 18:07

wenn wir schon so schön am plaudern sind ...

1. .. pardon .. willkommen im forum ..

und 2. .. setz den thread doch bitte gleich auf gelöst .. (musst den 1. beitrag bearbeiten, dann kannst das prefix des themas ändern)
Intel core 2 duo E6600
XFX Geforce 7950 gt
4096 MB DDR2
Intel DP35DP

11

04.12.2009, 18:15

;) Danke, fühl mich schon ganz wohl hier.

Bin allerdings noch nen Anfänger was Linux angeht. Arbeite erst richtg seit Aug.08 damit. Scheint aber ganz nett zu sein. Das nervigste bis jetzt war Bacula ;)

Xen ist was echt nettes. Unsere komplett firmeninterne Serverstruktur will ich damit virtualisieren. Und wenn man erstmal die Netzwerkstruktur gebaut hat geht da alles recht easy.


Grüße und auf Bald,
Mike
4x [[ 2x Intel(R) Xeon(R) CPU E5520 @ 2.27GHz w/HP, 12x 4GB RAM, RAID 1 500GB (7200U), 4x 1Gbit/s NIC, 1x IPMI NIC]]

iSCSI Backplane w/ 16 SATA Slots [[ 4x 1Gbit/s iSCSI NIC, 1x RAID 5 1TB BACKUP, 2x RAID 6 3 TB Data]]

Linux 2.6.38-gentoo-xen-r1

12

04.12.2009, 18:17

haha schön das du das sagst (bacula) .. hab mich gerade eben kurz damit rum geärgert .. aber generell ists echt super . hab ich auf ca. 10 servern seit 1 jahr oder so im einsatz



find ich auch .. gerade erst vor 5min ein xen update eingespielt ;)
Intel core 2 duo E6600
XFX Geforce 7950 gt
4096 MB DDR2
Intel DP35DP

13

04.12.2009, 18:23

Hast du bei Bacula auch ab und zu das Problem das dir der bacula-dir abkratzt? Das passiert bei mir alle paar Tage, wenn ein so 10-15 Jobs gleichzeitig starten.
4x [[ 2x Intel(R) Xeon(R) CPU E5520 @ 2.27GHz w/HP, 12x 4GB RAM, RAID 1 500GB (7200U), 4x 1Gbit/s NIC, 1x IPMI NIC]]

iSCSI Backplane w/ 16 SATA Slots [[ 4x 1Gbit/s iSCSI NIC, 1x RAID 5 1TB BACKUP, 2x RAID 6 3 TB Data]]

Linux 2.6.38-gentoo-xen-r1

14

04.12.2009, 18:29

ich hatte früher mal probleme damit, daher starte ich max 2 jobs gleichzeitig .. seit dem hab ich eine ruh :D


muss mir nur noch paar skripte schreiben, welche mir vorm bacula backup die xen domains startet falls sie nicht online sind .. aber ist ja nicht gerade der big task
Intel core 2 duo E6600
XFX Geforce 7950 gt
4096 MB DDR2
Intel DP35DP

15

04.12.2009, 18:34

Hm okay, dann sollte ich das auch mal in Betracht ziehen.

Was nutzt du denn bei xen für Harddiskimages? Habe da noch keine großen Performancetests gemacht. Momentan laufen 5 auf jedem mit .img-Dateien als Harddisk für die domU. Es sollen aber noch einige mehr werden (so 15-20 domU / Server)
4x [[ 2x Intel(R) Xeon(R) CPU E5520 @ 2.27GHz w/HP, 12x 4GB RAM, RAID 1 500GB (7200U), 4x 1Gbit/s NIC, 1x IPMI NIC]]

iSCSI Backplane w/ 16 SATA Slots [[ 4x 1Gbit/s iSCSI NIC, 1x RAID 5 1TB BACKUP, 2x RAID 6 3 TB Data]]

Linux 2.6.38-gentoo-xen-r1

16

04.12.2009, 18:45

lvm partitionen auf einem software raid5


also jeder gast hat eine root und eine swap partition
Intel core 2 duo E6600
XFX Geforce 7950 gt
4096 MB DDR2
Intel DP35DP

17

04.12.2009, 18:52

Ja eine root und eine swap hatte ich auch geplant, nur eben auf img-Dateien. Mal schaun was die Performance so macht bei dem Setup. Sollte eigentlich recht fix gehen mit einem Hardware RAID6 mit einer 4Gbit Anbindung (bonding ist so toll).

Nun denn. Ich geh jetzt in mein verdientes Wochenende.

Grüße und schönes Wochenende :sleeping:
4x [[ 2x Intel(R) Xeon(R) CPU E5520 @ 2.27GHz w/HP, 12x 4GB RAM, RAID 1 500GB (7200U), 4x 1Gbit/s NIC, 1x IPMI NIC]]

iSCSI Backplane w/ 16 SATA Slots [[ 4x 1Gbit/s iSCSI NIC, 1x RAID 5 1TB BACKUP, 2x RAID 6 3 TB Data]]

Linux 2.6.38-gentoo-xen-r1