Monat: August 2012

Es ist mal wieder so weit: der alte Server ist zu klein, ein neuer muss her. Dieser Artikel ist ein Update zu meinem Update meiner alten Anleitung zum Setup des Rootservers.

Ein Serverumzug ist eine gute Gelegenheit, ein paar Dinge anders zu machen als bisher:

• ZFS: die bisherige Lösung aus Raid + LVM + Dateisystem funktioniert zwar, aber das vergrößern / verkleinern der Partitionen ist doch immer eine recht spannende Angelegenheit und kann nicht immer online durchgeführt werden. Btrfs bietet noch nicht alle Features, die ich haben möchte (quotas auf FS-Ebene) und mit ZFS on Linux steht ZFS auch nativ als Kernelmodul zur Verfügung.
• LXC statt OpenVZ: der Betrieb mit OpenVZ war nie ganz frei von Sorgen. Es ist super, dass man so viele Parameter hat und Resourcen flexibel zuweisen kann, aber speziell beim Webserver hatten wir das Gefühl, dass nie genug RAM vorhanden ist. Stößt der Server an das RAM-Limit, kommt es zu den seltsamsten Effekten, incl. Stillstand des Webserver. LXC ist im Mainline-Kernel und für unsere Zwecke gut genug, d.h. ich will Resourcen flexibel zuweisen und kann auf die höhere Sicherheit einer echten Virtualisierung verzichten.
• nginx statt Apache: weil man es mal gemacht haben sollte 😉

Eine Sache, die sich hingegen bewährt hat, ist alle Dienste (PAM, Mail, sonstige Accounts) über LDAP abzuwickeln. Damit ist LDAP der „single point of administration and failure“, der sich besonders gut scripten lässt.

Hier also wieder die Copy & Paste Anleitung für das Setup von

Ubuntu auf einem Rootserver mit ZFS

Ich habe meinen Server bei Hetzner, aber das muss jeder selbst wissen. Als erstes bootet man ins Rescue-system und sichert den Inhalt der Datei /etc/network/interfaces:

### Hetzner Online AG - installimage
# Loopback device:
auto lo
iface lo inet loopback

# device: eth0
auto  eth0
iface eth0 inet static
  address   5.9.62.176
  broadcast 5.9.62.191
  netmask   255.255.255.224
  gateway   5.9.62.161

# default route to access subnet
up route add -net 5.9.62.160 netmask 255.255.255.224 gw 5.9.62.161 eth0

Festplatten einrichten

Dieses Mal soll der Server mit zfs betrieben werden. Es gibt zwar diverse Anleitungen, wie man Ubuntu in ein natives Root-ZFS-Dateisysten installiert, ich wähle aber bewusst einen anderen Weg.

Im Recovery-Fall komme ich nicht an den physikalischen Server. Ich kann nur ein Rescue-System booten, das kein ZFS-Kernelmodul hat, damit würde ich nicht an das root-Dateisystem kommen.
Deswegen installiere ich das Basissystem auf einer ext4-Partition. Hier läuft lediglich der LDAP-Server und ein SSH-Server. Alle anderen Dienste laufen in LX-Containern und diese können auf dem ZFS untergebracht werden.

Der Server ist mit 2×3 TB Festplatten ausgestattet, d.h. mit einem MBR kommt man nicht sehr weit, statt dessen wird eine GUID Partition Table (GPT) eingerichtet. Neben Root, Swap, ZFS wird auch eine „BIOS boot partition“ benötigt (ein EFI-Requirement).

gdisk /dev/sda

Der Rechner hat 32 GB Ram, also sollten 16 GB Swap genügen. Für das Root-System stelle ich 10GB bereit. Auf LVM verzichte ich bewusst um die Komplexität gering zu halten. Ich verliere damit die Möglichkeit das Basissystem über LVM-Snapshots zu sichern, den Kompromiss kann ich eingehen. Root und Swap werden aber in einem Raid-1 betrieben um einen Plattenausfall abzufangen. So sieht das gewünschte Layout aus:

Command (? for help): p
Disk /dev/sda: 5860533168 sectors, 2.7 TiB
Logical sector size: 512 bytes
Disk identifier (GUID): 932661F7-1628-4107-A48F-8FDDC9DB29E4
Partition table holds up to 128 entries
First usable sector is 34, last usable sector is 5860533134
Partitions will be aligned on 2048-sector boundaries
Total free space is 2014 sectors (1007.0 KiB)

Number  Start (sector)    End (sector)  Size       Code  Name
   1            2048            4095   1024.0 KiB  EF02  BIOS boot partition
   2            4096        33558527   16.0 GiB    FD00  Linux RAID
   3        33558528        54530047   10.0 GiB    FD00  Linux RAID
   4        54530048      5860533134   2.7 TiB     BF00  Solaris root

Die Platte /dev/sdb wird analog eingerichtet. Jetzt ist ein guter Zeitpunkt um das System zu rebooten (wir müssen nochmal das Rescue-System auswählen), damit die neue Partitionstabelle verwendet wird.

Dann können swap und / angelegt werden:

mdadm -v --create /dev/md0  --level=mirror  --metadata=0.90 --raid-devices=2 /dev/sda2 /dev/sdb2
mdadm -v --create /dev/md1  --level=mirror  --metadata=0.90 --raid-devices=2 /dev/sda3 /dev/sdb3

Wichtig: --metadata=0.90 sollte unbedingt gesetzt werden, sonst kann man große Probleme mit grub bekommen.

Swap aktivieren:

mkswap /dev/md0
swapon /dev/md0

Root-Dateisystem anlegen und mounten:

mkfs.ext4 /dev/md1
mkdir /mnt/install
mount /dev/md1 /mnt/install/

Jetzt können wir

Ubuntu installieren

Wir benötigen erstmal ein neueres debootstrap und installieren damit dann Ubuntu 12.04 LTS:

wget http://archive.ubuntu.com/ubuntu/pool/main/d/debootstrap/debootstrap_1.0.42_all.deb
dpkg -i debootstrap_1.0.42_all.deb 
debootstrap --arch amd64 precise /mnt/install http://archive.ubuntu.com/ubuntu

Die fstab muss angepasst werden:

vim /mnt/install/etc/fstab

proc                    /proc   proc    defaults 0 0
/dev/md0                none    swap    defaults,pri=1 0 0
/dev/md1                /       ext4    defaults 0 1

ausserdem muss die Netzwerk-Config, die wir vorhin gesichert haben wieder gesetzt werden:

vim /mnt/install/etc/network/interfaces

### Hetzner Online AG - installimage
# Loopback device:
auto lo
iface lo inet loopback

# device: eth0
auto  eth0
iface eth0 inet static
  address   5.9.62.176
  broadcast 5.9.62.191
  netmask   255.255.255.224
  gateway   5.9.62.161

# default route to access subnet
up route add -net 5.9.62.160 netmask 255.255.255.224 gw 5.9.62.161 eth0

Die Spezialmounts werden noch gemountet:

mount -t proc none /mnt/install/proc
mount --bind /sys /mnt/install/sys
mount --bind /dev /mnt/install/dev
mount -t devpts none /mnt/install/dev/pts

Dann können wir ins System chrooten…

chroot /mnt/install/ /bin/bash

… und ein paar Einstellungen vornehmen. Zuerst ein neues root-Passwort:

shadowconfig on
passwd

Wir brauchen das Universe-Repository

vim /etc/apt/sources.list

deb http://archive.ubuntu.com/ubuntu precise main universe

Dann werden ein paar grundsätzliche Tools installiert:

apt-get update
apt-get install aptitude
aptitude install man-db vim ssh

Ausserdem wird mdadm zur Raidverwaltung benötigt. Da in Ubuntu eine Abhängigkeit zu einem MTA existiert und der default Postfix ist, installieren wir das sehr schlanke Tool SSMTP mit:

aptitude install ssmtp mdadm

Dann brauchen wir noch einen Bootloader. Dieser wird als Abhängigkeit des Kernels installiert:

aptitude install linux-image-generic

Damit die Boot-Partitionen durch die initrd auch einwandfrei gemountet werden, sollte Änderung der Datei mdadm.conf noch die initrd neu angelegt werden, z.B. durch Ausführen von

dpkg-reconfigure mdadm

Sofern die entsprechenden Module, md bzw. raid0, raid1, noch nicht in der /etc/initramfs-tools/modules aktiviert wurden, muss dies noch erfolgen:

echo "raid0" >>/etc/initramfs-tools/modules
echo "raid1" >>/etc/initramfs-tools/modules
echo "md" >>/etc/initramfs-tools/modules

und anschließend das initramfs mit

update-initramfs -u -k all

aktualisiert werden.

Zum Schluss solle die Option „quiet splash“ aus /etc/default/grub entfernt werden. Die Remote-Konsole LARA bei Hetzner kommt sonst mit dem Bildschirmmodus nicht klar und man würde bei bootproblemen nichts sehen.

vim default/grub

Dann noch grub updaten, aus dem Chroot aussteigen und rebooten.

update-grub
exit
reboot

Wenn kein Fehler aufgetreten und der Server wieder hoch gekommen ist, können wir

ZFS installieren

Für Ubuntu ist die Installation sehr einfach. Wir brauchen erstmal das Paket python-software-properties, da sonst add-apt nicht funktioniert:

aptitude install python-software-properties

Dann kann nach der Installationsanleitung verfahren werden:

add-apt-repository ppa:zfs-native/stable
aptitude update
aptitude install ubuntu-zfs

Das Kernelmodul zfs.ko sollte jetzt gebaut und geladen sein. Jetzt können wir einen zpool auf dem verbleibenden Festplattenplatz anlegen.

zpool create -o ashift=12 tank mirror /dev/disk/by-id/ata-ST3000DM001-9YN166_W1F0W2EW-part4 /dev/disk/by-id/ata-ST3000DM001-9YN166_W1F0WNK2-part4

Die Option ashift=12 sort für ein passendes Alignment. Die Namen der Festplatten müssen natürlich angepasst werden.

Der Pool ist angelegt…

zfs list
NAME   USED  AVAIL  REFER  MOUNTPOINT
tank   472K  2.66T   136K  /tank

…und kann jetzt mit Filesystemen bestückt werden:

zfs create -o mountpoint=/home tank/home  
zfs create -o mountpoint=/var/vm tank/vm 
zfs list
NAME        USED  AVAIL  REFER  MOUNTPOINT
tank        864K  2.66T   136K  /tank
tank/home   136K  2.66T   136K  /home
tank/vm     136K  2.66T   136K  /var/vm

Ich habe zunächst nur ein Filesystem für /home und für die Linuxcontainer angelegt. Ab hier weiss sicherlich jeder selbst am besten, wie das System organisiert wird.

Credits: Das Setup des Basissystems mit GPT hätte ich ohne die Anleitung von Mattias nicht so schnell hinbekommen.