Differences

This shows you the differences between two versions of the page.

--- serverdokumentation [2012/12/13 02:21] – ChristianPointner
+++ serverdokumentation [2026/01/25 12:59] (current) – aj
@@ Line 4: / Line 4: @@
 ====== Server Dokumentation ======
-:!: Diese Dokumentation beschreibt unsere Serverlandschaft. Die restliche Technische Dokumentation ist auf der Seite [[:TechnischeDokumentation|TechnischeDokumentation]] zu finden. Zurzeit gibt es an 2 Standorte Server von Funkfeuer Graz. Die Meisten Server befinden sich in unserem Rack im Keller des Spektrals. Ausserdem gibt es noch einen Server in der Leitnergasse im Serverhousing von [[[http://mur.at|mur.at|http://mur.at|mur.at]]].
+Link: [[Core/[[:ServerDokumentationIntern|ServerDokumentationIntern]]|interner Teil]]
+:!: Diese Dokumentation beschreibt unsere Serverlandschaft. Die restliche Technische Dokumentation ist auf der Seite [[:TechnischeDokumentation|TechnischeDokumentation]] zu finden. Zurzeit gibt es an 4 Standorten Server von Funkfeuer Graz. Es gibt Server an der TU Graz, bei EDIS in Wien, in der Leitnergasse im Serverhousing von [[[http://mur.at|mur.at|http://mur.at|mur.at]]] und einen Server im 19" Rack am Dach der TU Bibliothek.
-===== Rack im Spektral/Housing =====
+===== TU Graz =====
+#fixme
-==== KVM Host (spektral.ffgraz.net) ====
-Ein leistungsfähiger Rechner im Rack im Spektral der uns als Wirtsystem für unsere KVM Instanzen dient. Er hängt mit je einem Netzwerkinterface im Funkfeuer VLAN des Housing Switches und im VLAN für das Housing selbst und hat somit direkten Zugang zum Internet über die SDSL Verbindung zur Citycom. Das Mainboard besitzt einen BMC mit Hilfe dessen die gesamte Maschine ohne Unterstützung des darauf laufenden Betriebssystems kontrolliert werden kann. Das funktioniert auch wenn der Rechner eigentlich ausgeschaltet ist. Solange das Mainboard Strom hat kann man also die Maschine so steuern als würde man davor stehen. Wir verwenden nur die die SOL (Serial over LAN) Fähigkeit des BMC. Dadurch kann der gesamte Bootprozess (BIOS, <del>Bootloader</del> (Grub2 macht da leider Probleme), Kernel) überwacht und kontrolliert werden. Nähres dazu und über das gesamte Management VLAN kann man auf der Seite [[:HousingManagementVlan|HousingManagementVlan]] herausfinden. Um IPMI am Wirt selbst zu verwenden werden über die Datei ///etc/modules// die Module //ipmi_si// und //ipmi_devintf// geladen.
-Die derzeitige Hardwareausstattung:
-  * Intel Core2Duo E8500, 2x 3.16 GHz
-  * [{{s3210shlc-manual.pdf|Intel|S3210SHLC}}] Entry Server Board, 2x GBit Ethernet onboard
-  * 8GB (4x2GB) Kingston ValueRam DDR2-800
-  * 1x Intel Pro-1000 Server Adapter
-  * 2x Western Digital 5002ABYS 500 GB Raid Edition
-  * Gehäuse Chenbro RM217-06, 6 Hot Swap SATA/SAS Buchten, 3x PCI normale Bauhöhe, 1x PCIe x1 Riser Karte, inkl 510 W EPS12V Netzteil 2HE
-Der Wirt selbst ist ein Debian Squeeze in einer sehr minimalen Basisinstallation. Die beiden Festplatten sind in 3 jeweils als Software Raid-1 gebündelte Partitionen geteilt. Die erste Partition enthält den Bootloader und alles was unter /boot liegt. Die zweite Partition ist mittels LVM (Volumegroup //system//) weiter unterteilt und dient hauptsächlich als Systempartition. Der dritte Teil ist ebenfalls ein LVM (Volumegroup //data//) und beherbergt neben einer kleinen Backuppartition (gemountet unter /backup) mit dem alten auf Debain Lenny basierenden System die einzelnen Volumes für die virtuellen Maschinen. Als Virtualisierungslösung wird KVM (aufbauend auf Intel VT) eingesetzt. Die Konfiguration und Steuerung der virtuellen Maschinen erfolgt über libvirtd. Die Konfigurationsdateien für die einzelnen VM's sind im XML-Format  in ///etc/libvirt/qemu/// zu finden. Beim Booten werden alle als automatisch markierte VM's gestartet und bei einem Reboot werden alle laufenden Maschinen beendet (nicht suspended). Zur Steuerung und Konfiguration der virtuellen Maschinen sollte bevorzugt //virsh// verwendet werden. Diese kann entweder als //root// ausgeführt werden oder von allen Benutzern die zur Gruppe libvirt gehören gestartet werden. Im letzteren fall muss die //virsh// mit dem Kommando:
-<file># virsh --connect qemu:///system
-</file>
-gestartet werden. Zu bemerken ist dabei das die XML Dateien der einzelnen VM's nur vom user root gelesen oder geändert werden können allerdings können alle anderen Gruppenmitglieder virtuelle Maschinen steuern (rebooten etc). Alle bisher installierten VM's verwenden als tty die erste (virtuelle) serielle Schnittstelle (Bootloader + Kernel + getty) damit ist es möglich über das //virsh// Kommando //console// sich auf der Maschine einzuloggen auch wenn das über Netzwerk nicht funktionieren sollte. Auch dafür sind derzeit root Rechte von Nöten. :!: Besondere Vorsicht ist bei dem //virsh// Kommando //undefine// geboten da damit nicht nur die virtuelle Maschine aus der Hostliste entfernt wird sondern auch die dazugehörende XML Datei gelöscht wird. Also vor einem //undefine// unbedingt die XML Datei sichern.
-Als einziger erwähnenswerter Dienst läuft auf unserem Wirt eine //munin-node// mithilfe derer Langzeitstatistiken über die wichtigsten Systemparameter geführt werden. Näheres ist unter [[[#Munin|Munin|#Munin|Munin]]] zu finden.
-==== Nat-Gateway (oldgw.ffgraz.net) ====
-Zurzeit gibt es einen Gateway der auf unsere SHDSL Leitung um Spektral das NAT für das gesamte Netzwerk übernimmt. Dieser Gateway ist als virtuelle Maschine auf unserem Wirt Server eingerichtet. Der Gateway natet auf die IP Adresse **217.29.149.69**. Die VM ist relativ minimalistisch ausgeführt. Die folgende Dienste laufen darauf:
-  * olsrd (///etc/olsrd/olsrd.conf//) - announced die default Route und die Anycast DNS Adresse (10.12.0.10)
-  * lighttpd (///etc/lighttpd/lighttpd.conf//, ///var/www//) - Serviert eine minimale Webseite hauptsächlich für unseren Version Scan.
-  * snmpd (///etc/snmp/snmpd.conf//) - dient zum Auslesen der Interfacestatistik über MRTG
-  * munin-node (//etc/munin/*//) - Datensammelnode für Munin
-Die Firewall (NAT Regeln etc.) werden über das Initscript ///etc/init.d/firewall// konfiguriert.
-==== Public IP Gateway (gw-cc.ffgraz.net) ====
-Eine weitere virtuelle Instanz auf unserem Wirt. Dieser Router übernimmt gemeinsam mit //gw-mur.ffgraz.net// das BGP Announcment unseres Public IP Bereichs. Details zu dem Public IP Setup gibt es auf der Seite [[PublicIP]]. Dort ist auch eine Beschreibung der Gateway spezifischen Konfiguration zu finden [[PublicIPGateway]]. Weiters ist diese VM einer der Knoten des Anycast DNS Netzes
-Neben Quagga und olsrd laufen noch folgende Dienste:
-  * lighttpd (///etc/lighttpd/lighttpd.conf//, ///var/www//) - Serviert eine minimale Webseite hauptsächlich für unseren Version Scan.
-  * snmpd (///etc/snmp/snmpd.conf//) - dient zum Auslesen der Interfacestatistik über MRTG
-  * named (///etc/bind/*//) - als Slave für die diversen Funkfeuer DNS-Zonen konfiguriert. Er verwendet 2 DNS Server der Citycom als Forwarder.
-  * munin-node (//etc/munin/*//) - Datensammelnode für Munin
@@ Line 135: / Line 91: @@
-==== Buildserver (build.ffgraz.net) ====
+===== EDIS =====
-Diese virtuelle Maschine läuft ebenfalls auf unserem Wirt und dient uns als Buildserver für Debian Pakete und unsere Firmware Images. Der Server ist derzeit in Aufabu.
+#fixme
-==== Tunnel (tun.ffgraz.net) ====
-Eine virtuelle Maschine die uns als OpenVPN Server dient. Auf diesem Router enden alle über OpenVPN realisierten Tunnelverbindungen. Näheres dazu ist auf der Seite [[:FunkInsel|FunkInsel]] zu finden. Die Konfiguration des Routers kann auf [[:FunkInselServer|FunkInselServer]] zu finden.
@@ Line 148: / Line 99: @@
-==== mur (mur.ffgraz.net) ====
+==== KVM Wirt (mur.ffgraz.net) ====
-:!: Achtung dieser Server wird gerade auf einen Virtualisierungsserver umgebaut - einige der Informationen stimmen nicht
+Ein leistungsfähiger Router im Rack von mur.at in der Leitnergasse. Er hängt in dem VLAN das uns von mur.at geshaltet wird, einem VLAN das uns bis zum mur.at Knoten //WRE// geschaltet wird und am Core Router von mur.at (//r1ko//). Der Server wird als Wirt für diverse Services verwendet. Als Virtualisierungslösung kommt //kvm// und //libvirt// zum Einsatz. Auf der SSD liegen neben dem Root Filesystem noch die Logical Volumes der virtuellen Maschinen. Die beiden 500 GB Festplatten sind zu der Volume Group //data// zusammengefasst. Um die Abhängigkeit von //gw-mur.ffgraz.net// aufzutrennen läuft auf diesem Server eine eigene //olsrd// Instanz.
-Ein leistungsfähiger Router im Rack von mur.at in der Leitnergasse. Er hängt in dem VLAN das uns von mur.at durchgeschalten wurde und erledigt derzeit das Routing zwischen mur.at und Funkfeuer. Ausserdem ist er ein Knoten des Anycast DNS Netzes. Dieser Rechner übernimmt weiters gemeinsam mit //gw.ffgraz.net// das BGP Announcement unseres Public IP Bereichs. Details zu dem Public IP Setup gibt es auf der Seite [[PublicIP]]. Dort ist auch eine Beschreibung der Gateway spezifischen Konfiguration zu finden [[PublicIPGateway]]. Ausserdem läuft auf diesem Rechner unser APT-Proxy (siehe [[Services]]).
 Die derzeitige Hardwareausstattung:
@@ Line 164: / Line 113: @@
   * 2x Western Digital WD5002ABYS-0 500 GB Raid Edition
   * Gehäuse Chenbro RM223, 6x PCI low profile, inkl 380W ATX Netzteil
+==== Public IP Gateway (gw-mur.ffgraz.net) ====
+Diese virtuelle Instanz auf //mur.ffgraznet// übernimmt gemeinsam mit den anderen Gateways das BGP Announcment unseres Public IP Bereichs. Details zu dem Public IP Setup gibt es auf der Seite [[PublicIP]]. Dort ist auch eine Beschreibung der Gateway spezifischen Konfiguration zu finden [[PublicIPGateway]]. Weiters ist diese VM einer der Knoten des Anycast DNS Netzes.
 Neben Quagga und olsrd laufen noch folgende Dienste:
-  * lighttpd (///etc/lighttpd/*//, ///var/www//) - Serviert eine minimale Webseite hauptsächlich für unseren Version Scan und spielt Reverse Proxy for //apt-cacher-ng// und //apache2//.
+  * lighttpd (///etc/lighttpd/lighttpd.conf//, ///var/www//) - Serviert eine minimale Webseite hauptsächlich für unseren Version Scan.
-  * apache2 (///etc/apache2/*//, ///var/www//) - Serviert unser Portal //share.ffgraz.net//.
   * snmpd (///etc/snmp/snmpd.conf//) - dient zum Auslesen der Interfacestatistik über MRTG
-  * named (///etc/bind/*//) - als Slave für die diversen Funkfeuer DNS-Zonen konfiguriert. Er verwendet 2 DNS Server von mur.at als Forwarder.
+  * named (///etc/bind/*//) - als Slave für die diversen Funkfeuer DNS-Zonen konfiguriert. Er verwendet 2 DNS Server der Citycom als Forwarder.
   * munin-node (///etc/munin/*//) - Datensammelnode für Munin
-  * apt-cacher-ng (///etc/apt-cacher-ng/*//, ///srv/apt-cacher-ng/*//) - APT Cacher für Debian, Ubuntu und GRML (siehe [[Services]])
+  * ntpd (///etc/ntp.conf//) - NTP Server ntp.ffgraz.net
-Das Root Filesystem des Routers ist Readonly gemounted und befindet sich auf der ersten Partition des USB Sticks. Die beiden 500 GB Platten sind per LVM (Volumegroup //data//, Logical Volume //storage//) gebündelt und unter ///srv// gemountet. Die wichtigsten Konfigurationsdateien (zb. ///etc/bind//) befinden sich auf einer zweiten Partition auf dem USB Stick welche unter ///flash// gemounted ist. Dieser Teil ist schreibbar weil sich die darauf befindlichen Dateien nur selten ändern. Ausserdem existiert ein //tmpfs// unter ///var/log/tmp// in dem trotz Readonly Root Filesystem die wichtigsten Logfile vorhanden sind. Es kann also ein Großteil der Konfiguration ohne besondere Vorkehrungen geändert werden. Sollte trotzdem eine Änderung des Readonly Teils nötig sein (zb. bei einem Systemupdate) muss zunächst durch aufrufen von
+==== APT-Cacher (debian.ffgraz.net) ====
+Eine weitere virtuelle Maschine. Sie beherbergt unseren APT-Cacher. Als Storage dafür ist das Logical Volume //storage// der Volume Group //data// von //mur.ffgraz.net// als //vdb// durchgereicht. Genaueres zu unserem APT-Cacher ist auf [[Services]] zu finden - dieses Service wurde jedoch eingestellt. Um die Abhängigkeit von //gw-mur.ffgraz.net// aufzutrennen läuft auf diesem Server eine eigene //olsrd// Instanz.
-<file># writeable
-</file>
-die Partiton schreibbar gemacht werden. Nach der Änderung sollte unbedingt mit
+  * lighttpd (///etc/lighttpd/lighttpd.conf//, ///var/www//) - Reverse Proxy für den Apt-Cacher.
+  * apt-cacher-ng (///etc/apt-cacher-ng/*//, ///srv/apt-cacher-ng/*//) - APT Cacher für Debian, Ubuntu und GRML (siehe [[Services]])
-<file># nowriteable
+===== TUB Dach Technikerstrasse 4 =====
-</file>
-wieder alles auf den Ursprungszustand gestellt werden um nicht durch unnötiges häufiges Schreiben den Flashchip zu beschädigen.
+==== KVM Wirt (tub.ffgraz.net) ====
+Ein leistungsfähiger Server im Rack am Dach der TU Bibliothek in der Technikerstrasse 4. Der Server wird als Wirt für diverse Services verwendet. Als Virtualisierungslösung kommt //kvm// und //libvirt// zum Einsatz. Auf der SSD liegen neben dem Root Filesystem noch die Logical Volumes der virtuellen Maschinen. Neben den unten beschriebenen VMs läuft auf dieser Maschine noch eine VM die von Funkfeuer Wien verwaltet wird. Um die Abhängigkeit von //gw-wien.ffgraz.net// aufzutrennen läuft auf diesem Server eine eigene //olsrd// Instanz.
+Die derzeitige Hardwareausstattung:
-:!: Um Änderungen am LVM vorzunehmen muss das Root File System schreibbar gemounted sein!
+  * Intel Xeon E3-1220V2, 4x 3.10GHz + Supermicro SNK-P0046P
+  * Supermicro X9SCL-F retail, C202
+  * 2x 4GB Kingston ValueRam DDR3-1333 ECC (KVR13E9K2/8I)
+  * 1x Samsung SSD 830 Series 64GB
+  * Gehäuse Supermicro 510L-200B schwarz, 1HE, 200W, 1x 2,5" Bracket (2x 2.5" Slot)