Tumblelog by Soup.io
Newer posts are loading.
You are at the newest post.
Click here to check if anything new just came in.

April 14 2018

23:28

Selbstgebaute billig PDU

Wer seine Server in einem anderen Zimmer stehen hat und gerne mal Strom sparen will, hat sicher schon über eine PDU nachgedacht.

Ich habe mir heute eine aus einer 20€ 19" Steckdosenleiste und einem Sonoff POW gebastelt. Alles in allem kostet das Projekt knapp unter 40€ wenn man bei Amazon bestellt. Wer etwas mehr Zeit hat, kann auch in China bestellen, da kann man nochmal 10€ für das Sonoff Modul sparen.

Auf das Sonoff Modul sollte man Tasmota flashen und kann dann die Steckdosenleiste bequem per Browser oder MQTT schalten.

pdu1

Ich habe das Sonoff Modul einfach hinter die Steckdosenleiste geklebt, wenn man das Modul um 90° drehen würde, passt sie auch noch in 1HE.

pdu2

Das POW Modul zeigt auch gleich noch den Energieverbrauch an.

tasmota-1

April 07 2018

19:38

Sun T5120 - Neue Festplatten und zfs Vorbereitung

Die ersten vier SAS Platten scheinen über das SED Feature schreibgesperrt zu sein. Ich konnte jedenfalls noch nicht drauf schreiben, habe es mir allerdings auch noch nicht genauer angeschaut. Es gibt ein Tool namens SEDutil, das jedoch nicht von einer Ubuntu Live CD läuft. Evtl. schau ich mir das irgendwann nochmal an und berichte.

In der Zwischenzeit habe ich jedoch vier neue Platten besorgt. Mit denen gab es keine Probleme, die Installation hat ohne Probleme funktioniert.

Will man aus seinem ZFS root Pool einen Mirror machen, sollte man folgender Anleitung folgen:

https://docs.oracle.com/cd/E19253-01/819-5461/gkdep/index.html

Das wollte ich auch machen und bin auf folgendes Problem gestoßen:

root@t5120:~# zpool attach rpool c2t0d0s0 c2t1d0s0
cannot attach c2t1d0s0 to c2t0d0s0: device is too small

Schaut man sich die Platte mit dem format Tool an, sieht sie so aus:

partition> print
Current partition table (original):
Total disk cylinders available: 33916 + 2 (reserved cylinders)

Part      Tag    Flag     Cylinders         Size            Blocks
  0       root    wm       0 -    31      132.00MB    (32/0/0)       270336
  1       swap    wu      32 -    63      132.00MB    (32/0/0)       270336
  2     backup    wu       0 - 33915      136.62GB    (33916/0/0) 286522368
  3 unassigned    wm       0                0         (0/0/0)             0
  4 unassigned    wm       0                0         (0/0/0)             0
  5 unassigned    wm       0                0         (0/0/0)             0
  6        usr    wm      64 - 33915      136.37GB    (33852/0/0) 285981696
  7 unassigned    wm       0                0         (0/0/0)             0

Man muss also slice 0 etwas vergrößern, dabei habe ich auch gleich noch slice 1 und 6 gelöscht. Ich weiß nicht, ob das der offizielle und effizienteste Weg ist, aber es hat funktioniert:

partition> 6
Part      Tag    Flag     Cylinders         Size            Blocks
 6        usr    wm      64 - 33915      136.37GB    (33852/0/0) 285981696

Enter partition id tag[usr]:
Enter partition permission flags[wm]:
Enter new starting cyl[64]:
Enter partition size[285981696b, 33852c, 33915e, 139639.50mb, 136.37gb]: 0gb
partition> 1
Part      Tag    Flag     Cylinders         Size            Blocks
 1       swap    wu      32 -    63      132.00MB    (32/0/0)       270336

Enter partition id tag[swap]:
Enter partition permission flags[wu]:
Enter new starting cyl[32]:
Enter partition size[270336b, 32c, 63e, 132.00mb, 0.13gb]: 0gb
partition> 0
Part      Tag    Flag     Cylinders         Size            Blocks
 0       root    wm       0 -    31      132.00MB    (32/0/0)       270336

Enter partition id tag[root]:
Enter partition permission flags[wm]:
Enter new starting cyl[0]:
Enter partition size[270336b, 32c, 31e, 132.00mb, 0.13gb]: 136.62gb
partition> label
[0] SMI Label
[1] EFI Label
Specify Label type[0]: 0
Ready to label disk, continue? y

Danach hat dann auch das Erstellen des Mirrors funktioniert:

root@t5120:~# zpool attach rpool c2t0d0s0 c2t1d0s0
Make sure to wait until resilver is done before rebooting.
root@t5120:~# zpool status
  pool: rpool
 state: DEGRADED
status: One or more devices is currently being resilvered.  The pool will
        continue to function in a degraded state.
action: Wait for the resilver to complete.
        Run 'zpool status -v' to see device specific details.
  scan: resilver in progress since Thu Jan  1 01:00:00 1970
    71,1G scanned
    2,81G resilvered at 79,8M/s, 4,06% done, 14m34s to go
config:

        NAME          STATE     READ WRITE CKSUM
        rpool         DEGRADED     0     0     0
          mirror-0    DEGRADED     0     0     0
            c2t0d0s0  ONLINE       0     0     0
            c2t1d0s0  DEGRADED     0     0     0  (resilvering)

errors: No known data errors

March 26 2018

12:55

Sun T5120 - Mehr RAM und Festplatten Probleme

Funktionierendes RAM ist inzwischen da.

OpenBoot 4.33.6, 130944 MB memory available, Serial #89118602.

Bei der Solaris Installation bin ich jetzt aber auf ein weiteres Problem gestoßen.

Und zwar gefallen Solaris die Festplatten noch nicht so ganz.

WARNING: /pci@0/pci@0/pci@2/scsi@0/sd@0,0 (sd4):
        Corrupt label; wrong magic number

WARNING: /pci@0/pci@0/pci@2/scsi@0/sd@1,0 (sd5):
        Corrupt label; wrong magic number

WARNING: /pci@0/pci@0/pci@2/scsi@0/sd@2,0 (sd6):
        Corrupt label; wrong magic number

WARNING: /pci@0/pci@0/pci@2/scsi@0/sd@3,0 (sd7):
        Corrupt label; wrong magic number

Das sollte man eigentlich mit dem Format Befehl lösen können, jedoch hat der Probleme ein Label zu schreiben:

format> disk


AVAILABLE DISK SELECTIONS:
       0. c2t0d0 <SEAGATE-DKS5B-K146SS-4F5E cyl 58758 alt 2 hd 4 sec 1220>
          /pci@0/pci@0/pci@2/scsi@0/sd@0,0
       1. c2t1d0 <SEAGATE-DKS5B-K146SS-4F5E cyl 58758 alt 2 hd 4 sec 1220>
          /pci@0/pci@0/pci@2/scsi@0/sd@1,0
       2. c2t2d0 <SEAGATE-DKS5B-K146SS-4F5E cyl 58758 alt 2 hd 4 sec 1220>
          /pci@0/pci@0/pci@2/scsi@0/sd@2,0
       3. c2t3d0 <SEAGATE-DKS5B-K146SS-4F5E cyl 58758 alt 2 hd 4 sec 1220>
          /pci@0/pci@0/pci@2/scsi@0/sd@3,0
Specify disk (enter its number)[2]: 3
selecting c2t3d0
[disk formatted]
Mar 25 16:18:08 solaris cmlb: WARNING: /pci@0/pci@0/pci@2/scsi@0/sd@3,0 (sd7):
Mar 25 16:18:08 solaris         Corrupt label; wrong magic number
Disk not labeled.  Label it now? y
Mar 25 16:18:09 solaris cmlb: WARNING: /pci@0/pci@0/pci@2/scsi@0/sd@3,0 (sd7):
Mar 25 16:18:09 solaris         Corrupt label; wrong magic number
Warning: error writing VTOC.
Warning: no backup labels
Write label failed

Es gibt da noch den Tipp einfach mit DD die ersten paar Blöcke der Platte zu überschreiben aber auch das hat bei mir nicht funktioniert:

root@solaris:/root# dd if=/dev/zero of=/dev/rdsk/c2t3d0s2 bs=1024 count=100
write: I/O error
1+0 records in
1+0 records out

Slice 2 ist hierbei die ganze Platte auf Sparc Systemen, nicht nur eine Partition.

Ich bin gerade am Recherchieren, wie man das Problem noch lösen könnte. Wenn es nicht mit der Solaris CD funktioniert, werd ich nochmal zu Ubuntu greifen, da sollte das DD zumindest kein Problem sein.

March 21 2018

10:46

Sun T5120 - Mehr RAM

t5120-ram

Beim Upgrade auf 128GB ist dann allerdings was schief gelaufen. Zwei der acht Riegel waren defekt.

Auf der Console sieht das dann so aus:

0:0:0>Test Memory....Done
0:0:0>Setup POST Mailbox ....Done
0:0:0>Master CPU Tests Basic....Done
0:0:0>Init MMU.....
Fault | critical: SP detected fault at time Wed Mar 21 09:14:27 2018. /SYS/MB/CMP0/BR3/CH1/D1 Inserted disabled
Fault | critical: SP detected fault at time Wed Mar 21 09:14:27 2018. /SYS/MB/CMP0/BR3/CH0/D1 Inserted disabled
Fault | critical: SP detected fault at time Wed Mar 21 09:14:39 2018. Generic Powersupply fault at PS0 asserted
0:0:0>NCU Setup and PIU link train....Done
0:0:0>L2 Tests....Done
0:0:0>Extended CPU Tests....Done
0:0:0>Scrub Memory....Done
0:0:0>SPU CWQ Tests...Done
0:0:0>MAU Tests...Done
0:0:0>Network Interface Unit Port 0 Tests ..Done
0:0:0>Network Interface Unit Port 1 Tests ..Done
0:0:0>Functional CPU Tests....Done
0:0:0>Extended Memory Tests....Done
2018-03-21 09:19:35.056 0:0:0>INFO:
2018-03-21 09:19:35.109 0:0:0>	POST Passed all devices.
2018-03-21 09:19:35.164 0:0:0>POST:	Return to VBSC.
2018-03-21 09:19:35.217 0:0:0>Master set ACK for vbsc runpost command and spin...
Chassis | major: Host is running


SPARC Enterprise T5120, No Keyboard
Copyright (c) 1998, 2012, Oracle and/or its affiliates. All rights reserved.
OpenBoot 4.33.6, 32640 MB memory available, Serial #89118602.
Ethernet address 0:21:28:4f:d7:8a, Host ID: 854fd78a.



ERROR: The following devices are disabled:
    MB/CMP0/BR3/CH0/D1
    MB/CMP0/BR3/CH1/D1


Aborting auto-boot sequence.
{0} ok

32GB hier, da man jeden Branch mit den gleichen Modulen bestücken muss. Ich habe jetzt einen Mix aus 32GB Samsung, 32GB SK Hynix und 64GB Micron wovon 2 defekt sind. Nur der erste Channel hatte in dem Fall funktionierende Module.

Siehe auch: https://docs.oracle.com/cd/E19637-01/E21876-01/z40012191414552.html

March 17 2018

18:45

Sun T5120 - ALOM User anlegen

Das LOM ist in ILOM (Integrated Lights Out Management) und ALOM (Advanced Lights Out Management) unterteilt, fragt mich nicht warum. root ist ein ILOM User. ALOM ist zwar älter, scheint aber etwas freundlicher zu sein, deshalb will man das benutzen.

Der einfachste Weg ist einfach einen zweiten User anzulegen und ihm Rechte für ALOM zu geben.

Das geht so (wir sind als root im ILOM angemeldet):

create /SP/users/admin role=Administrator cli_mode=alom
Creating user... Enter new password: ********
Enter new password again: ********
Created /SP/users/admin

Der User kann sich dann direkt per ssh verbinden ssh admin@sunkiste und bekommt eine ALOM shell.

ORACLESP-ALK09503DD login: admin
Password:
Waiting for daemons to initialize...
 
Daemons ready
 
Integrated Lights Out Manager
 
Version 3.0.x.x
 
Copyright 2008 Sun Microsystems, Inc. All rights reserved. Use is subject to license terms.
 
sc>

Eine Vergleichstablle gibt es hier.

17:01

520byte Festplatten umformatieren

Die SAS Platten für den T5120 hatte ich von ebay - 20€ für vier Stück. Bei der Solaris Installation bin ich dann über folgenden Fehler gestolpert:

WARNING: /pci@0/pci@0/pci@2/scsi@0/sd@0,0 (sd4):
        Unsupported logical block size 520
WARNING: /pci@0/pci@0/pci@2/scsi@0/sd@1,0 (sd5):
        Unsupported logical block size 520
WARNING: /pci@0/pci@0/pci@2/scsi@0/sd@2,0 (sd6):
        Unsupported logical block size 520
WARNING: /pci@0/pci@0/pci@2/scsi@0/sd@3,0 (sd7):
        Unsupported logical block size 520

Die Platten scheinen aus einem HP P9500 zu stammen. Sie waren noch in den original Caddys.

Zum Glück liegt der Sun Server auf meinem alten Fileserver, der zufällig auch einen SAS Kontroller hat. Die Caddys passen mit etwas gefummel auch in die 3,5" Schächte.

sasinsas

Also Ubuntu 16.04 gebootet, die setblocksize Sourcen runtergeladen und kompiliert (die build-essentials scheinen schon installiert zu sein auf der Live-CD).

Leider hat es mit /dev/sda nicht funktioniert, nach etwas Recherche fand ich dann heraus, dass man noch die sg3-utils braucht.

Danach kann man mit sg_scan -i die Platten identifizieren und dann mit z.B. setblocksize -b512 /dev/sg1 reformatieren.

15:27

Sun T5120 - so sieht ein Boot aus

Wir befinden uns hier in einer ALOM Konsole via SSH. Wie man dafür einen Nutzer anlegt erkläre ich in einem anderen Post.

Der Powersupply Fault kommt von nur einem angeschlossenen Netzteil. Der Server hat nun 64GB RAM... :) Das ist der erste Boot nach dem RAM Upgrade.

sc> poweron
sc> Chassis | major: Host has been powered on
console
Enter #. to return to ALOM.
Fault | critical: SP detected fault at time Sat Mar 17 14:32:49 2018. Generic Powersupply fault at PS0 asserted
0:0:0>
0:0:0>POST 4.33.6 2012/03/14 08:28
0:0:0>
0:0:0>Copyright (c) 2012, Oracle and/or its affiliates. All rights reserved.
0:0:0>POST enabling CMP 0 threads: ffffffff.ffffffff
0:0:0>VBSC mode is: 00000000.00000001
0:0:0>VBSC level is: 00000000.00000001
0:0:0>VBSC selecting Normal mode, MAX Testing.
0:0:0>VBSC setting verbosity level 2
0:0:0>Basic Memory Tests....Done
0:0:0>Test Memory....Done
0:0:0>Setup POST Mailbox ....Done
0:0:0>Master CPU Tests Basic....Done
0:0:0>Init MMU.....
0:0:0>NCU Setup and PIU link train....Done
0:0:0>L2 Tests....Done
0:0:0>Extended CPU Tests....Done
0:0:0>Scrub Memory....Done
0:0:0>SPU CWQ Tests...Done
0:0:0>MAU Tests...Done
0:0:0>Network Interface Unit Port 0 Tests ..Done
0:0:0>Network Interface Unit Port 1 Tests ..Done
0:0:0>Functional CPU Tests....Done
0:0:0>Extended Memory Tests....Done
2018-03-17 14:40:11.596 0:0:0>INFO:
2018-03-17 14:40:11.655 0:0:0>	POST Passed all devices.
2018-03-17 14:40:11.709 0:0:0>POST:	Return to VBSC.
2018-03-17 14:40:11.762 0:0:0>Master set ACK for vbsc runpost command and spin...
Chassis | major: Host is running
ChassisSerialNumber ALK09503DD
hostname sv3254
LOCATION Soss;RZ2;B12;32


SPARC Enterprise T5120, No Keyboard
Copyright (c) 1998, 2012, Oracle and/or its affiliates. All rights reserved.
OpenBoot 4.33.6, 65408 MB memory available, Serial #89118602.
Ethernet address 0:21:28:4f:d7:8a, Host ID: 854fd78a.



Bad magic number in disk label
Can't open disk label package
ERROR: boot-read fail
Boot device: sdsmirror  File and args: -v
Bad magic number in disk label
Can't open disk label package
ERROR: boot-read fail

Evaluating:

Can't open boot device

{0} ok

Das Datum war komischerweise richtig, die Uhrzeit völlig falsch. Zeit vom Einschalten bis zum Ende ca. 8 Minuten. Am längsten haben die Extended Memory Tests gedauert.

10:44

Sun T5120 - ILOM Passwort resetten

Falls man sich nicht mit root:changeme am ILOM anmelden kann, gibt es eine einfache Prozedur um das root-Passwort zurückzusetzen.

Dazu muss man sich mit der seriellen Schnittstelle des ILOMs verbinden (der RJ45 Stecker neben dem ILOM Ethernet Port).

root@spider:~# screen /dev/ttyUSB0 9600

ORACLESP-ALK09503DD login: default
Press and release the physical presence button.
Press return when this is completed...
Password: 
Waiting for daemons to initialize...

Daemons ready

Oracle(R) Integrated Lights Out Manager

Version 3.0.12.4.v r71977

Copyright (c) 2010, Oracle and/or its affiliates. All rights reserved.

->

Username ist hier default, das Passwort ist defaultpassword. Bevor man das Passwort eingeben kann, muss man einmal den Locator-Button vorne oder hinten an der Kiste drücken.

Das root-Passwort kann man dann mit set /SP/users/root password neu setzen.

Oben der Button ist der Locator-Button.

t5120-locator

10:36

Sun T5120

Ich habe ein neues Spielzeug bekommen - einen Sun T5120.

t5120-1-1

Das ist der Nachfolger des Sun T2000. Er wurde Ende 2007 vorgestellt. Entwickelt daran haben Sun und Fujitsu, die den Server auch unter eigenem Namen anboten.

Darin werkelt ein UltraSPARC T2. Das besondere an dem sind die 8 Threads pro Core. Mein T5120 ist mit dem 8 Core Prozessor bestückt, kann also 64 Threads bearbeiten. Das war nicht schlecht für 2007 und ist auch heute noch bemerkenswert. Besonders schnell soll er trotzdem nicht sein aber ich werde demnächst mal benchmarken.

t5120-2

Er kann mit maximal 128GB DDR2 RAM bestückt werden, meiner hat derzeit nur 32GB verbaut. Dazu kommen noch ein DVD Laufwerk und vier 2,5" SAS Einschübe, die bei mir leer waren, jetzt sind vier 146GB 15k SAS Platten verbaut.
In der Grundausstattung bietet er vier 1Gbit NICs, meiner hat noch weitere vier Ports auf einer PCIe Karte verbaut. Man kann noch zwei weitere PCIe Karten verbauen, alternativ passen auch zwei XAUI Karten rein, die jeweils einen 10Gbit Port bieten. Die 10Gbit Controller sind dabei in der CPU integriert, das sind also eigentlich nur breakout Karten.

t5120-3

Ansonsten hat er noch ein Lights Out Management (LOM), mit dem man den Server aus der Ferne starten, stoppen und einiges mehr machen kann. LOM wird als serielle Schittstelle und einen dedizierten Netzwerkport angeboten.

October 28 2017

23:30

Neuer Fileserver Teil 11 - neuer SAS Controller, ESXi 6.5U1 Update

Heute habe ich einen IBM M1215 (LSI 3008) eingebaut, der musste auch auf IT Mode umgeflasht werden, aber IBM legt da zum Glück keine Stolpersteine in den Weg.
Die Performance scheint mir etwas besser zu sein. Derzeit läuft ein Scrub mit 600MB/s auf den drei Platten. Einen Fehler gabs bisher nicht, aber beim alten Controller auch erst nach Wochen gemerkt.
Falls das Problem mit dem Controller hier nicht mehr auftritt, liegt das Problem sehr wahrscheinlich am FreeBSD Treiber oder an der Firmware des Controllers selbst.

Man könnte es sehr wahrscheinlich auch in der Firmware der Festplatten fixen aber da müsste man erstmal einen Fehler nachweisen. Mit Seagate hatte ich zwar Kontakt, aber da kommt man wohl nur weiter, wenn das Problem bei wirklich vielen Leuten auftritt. Bisher konnte ich nur einen Leidensgenossen finden.

Da ich den Server zum Einbau des Controllers eh herunterfahren musste, habe ich gleich noch ein ESXi Update gemacht. VMWare macht einem das auch nicht ganz einfach, aber ich habe diese Anleitung gefunden. Die Command-Line-Methode funktioniert auch mit dem kostenlosen ESXi.

Update:

Beim ersten Scrub wurden ein paar kaputte Checksummen auf einer der Platten gefunden, sie konnten aber alle repariert werden. Ich habe dann noch einen zweiten Scrub durchlaufen lassen, bei dem dann alles ok war. Bisher keine SATA/SAS Errors.

Greenshot-2017-10-30-01.18.37

Hier sieht man schön, dass das System bei so einem Scrub wirklich etwas tut. Die CPU Temperatur stieg von 36°C auf 40°C (dunkelgrün).

October 07 2017

21:12

Neuer Fileserver Teil 10 - noch ein Problem

Es hat mir jetzt schon zweimal eine Platte aus dem raidz1 geschossen. Im Kernel Log war immer sowas hier zu finden:

mps0:0:0:0): SCSI sense: UNIT ATTENTION asc:29,0 (Power on, reset, or bus device reset occurred)

Die Platte ist ok, man kann den Fehler auch mit einem zpool clear wieder zurücksetzen und der Pool läuft nach einem Reboot wieder normal ohne Fehler weiter.

Ich dachte erst, dass evtl. das SAS Kabel defekt sei, aber das hab ich heute getauscht und hatte kurz danach nochmal das gleiche Problem mit einer anderen Platte.

Nach kurzer Suche habe ich dann einen weiteren freenas User gefunden, der einen ähnlichen SAS Controller mit den gleichen Platten einsetzt. Er hat eine etwas ältere Firmware und heute auf meine Version upgedated. Vorher lief sein Controller mit anderen Platten ohne Probleme.

Das könnte nun ein Bug im FreeBSD Treiber für den Controller sein, evtl. liegt es auch an der Firmware der Platten. Ich überlege gerade Seagate mal zu kontaktieren.

October 01 2017

12:54

Neuer Fileserver Teil 9 - Benchmark des alten Fileservers

Hier noch einen Link zum Benchmark des alten Servers. Der neue ist gut doppelt so schell und läuft bisher ohne Probleme.

Damit der Post hier nicht zu kurz wird, hier noch die Temperaturen des neuen Servers... ;)

Bildschirmfoto-2017-10-01-um-14.52.25

September 15 2017

19:04

Neuer Fileserver Teil 8 - neues Ram neues Glück

So das neue RAM ist da, Micron/Crucial 16GB reg. ECC Riegel (MTA36ASF2G72PZ-2G1A2). Die finden sich auch auf der HCL von Supermicro. Ich bin zuversichtlich. Diesmal konnte ich auch große Dateien kopieren und derzeit läuft einen Memtest.

Der Server steht gerade unter meinem Schreibtisch und ist schon sehr leise. Das lauteste sind die Seagate Platten.

...ein paar Stunden später...

Memtest lief auch durch ohne Probleme, diesmal ohne Failsafe-Mode.
Habe auch gerade Geekbench4 laufen lassen, hier das Ergebnis:
https://browser.geekbench.com/v4/cpu/4022145

Etwas langsamer als der Spielerechner mit i7-7700K aber schneller als der Mac Pro mit Xeon x5670. Demnächst werde ich auch mal den alten Server benchmarken.

ICjkzdC

September 13 2017

17:30

Warum Ubuntu immer schlechter wird

Ich habe hier IPv6 auf Vodafone zum laufen gebracht und wollte mal schnell was in einer Lubuntu 16.04.3 VM testen (noch nicht auf dem neuen Server, da fehlt immernoch das RAM). Dabei fiel mir auf, dass folgendes Kommando funktioniert:

dig -6 heise.de a @2a02:810c:c83f:d6f0:20d:b9ff:fe45:ce7a

aber dieses nicht:

dig -6 heise.de a

Das war sehr verwunderlich, da "2a02:810c:c83f:d6f0:20d:b9ff:fe45:ce7a" mein lokaler Nameserver ist und dieser Ubuntu auch bekannt ist.

Das Kommando versucht den A Record für heise.de zu resolven. "-6" gibt an, dass es dazu nur IPv6 benutzen soll. "@ip" gibt an, dass eben dieser Nameserver gefragt werden soll.

Dass der Nameserver dem System wirklich bekannt ist, weiß ich durch folgendes Kommando:

nmcli -t device show enp0s3 | grep IP6.DNS

Die Ausgabe davon ist:

IP6.DNS[1]:2a02:810c:c83f:d6f0:20d:b9ff:fe45:ce7a

Das passt also.

Warum funktioniert es dann nicht?

Ganz einfach, die Spezialexperten von Ubuntu konnten natürlich nicht einfach die ermittelten Nameserver nach /etc/resolv.conf schreiben, sondern mussten das abstrahieren. In /etc/resolv.conf steht jetzt nur noch "nameserver 127.0.1.1" was eine Localhost Addresse ist. Und auf Localhost lauscht dieser Prozess hier:

cbubel@lubuntu-vm:~$ sudo netstat -tulpn | grep 53
tcp        0      0 127.0.1.1:53            0.0.0.0:*               LISTEN      919/dnsmasq     
udp        0      0 127.0.1.1:53            0.0.0.0:*                           919/dnsmasq

Und damit hätten wir auch schon das Problem gefunden.

Natürlich kann dig nicht IPv6 benutzen, wenn der verdammte dnsmasq nur auf dem IPv4 Localhost lauscht. Damit das funktioniert müsste noch ein ::1/128 in die resolv.conf und dnsmasq müsste natürlich auch darauf hören. Einfach mal ne Config ändern reicht hier nicht, da muss man erstmal die Config anlegen, da das alles hard gecoded ist. Wers nicht glaubt, möge mal die Stelle suchen, an der dnsmasq gesagt wird, dass er auf localhost hören soll.

Ob das Problem auch in 17.04 besteht, weiß ich nicht. Aber schlimm genug, dass es keinem im LTS aufgefallen ist.

Update: Ja auch 17.04 ist kaputt, etwas anders zwar, aber kaputt. Dnsmasq scheint durch systemd ersetzt worden zu sein, aber da bin ich mir nicht absolut sicher.

September 09 2017

15:26

Neuer Fileserver Teil 7 - Instabil

Habe nun einige VMs installiert und angefangen alles ausgiebiger zu testen. Als ich größere Files vom alten Fileserver in die neue FreeNAS VM kopiert habe blieb das ganze System nach ein paar GB stehen. Auch beim Import einer großen VM ist mir der Server abgesürzt. Zum Ram hatte ich zwar vertrauen, da der Memtest diesmal tatsächlich lief, aber das könnte immernoch die Ursache der Probleme sein.

Ich muss mal schauen, ob ich anderes RAM zum testen besorgen kann, am besten welches, das auch in der Kompatibilitätsliste von Supermicro auftaucht.

01:01

vim.fault.filenotfound

Falls ihr mal eine VM, die ihr aus einem anderen ESXi exportiert habt, importieren wollt, könnte euch die Fehlermeldung aus dem Titel begegnen.

Das Problem hierbei ist meistens ein der VM zugeordnetes ISO File, das nicht mit exportiert wird. Wenn man ein OVF File hat, kann man einfach die Sektion mit dem CD-Rom Laufwerk entfernen und der Import wird funktionieren.

Bei einem OVA File wird das etwas komplizierter. Und zwar muss man dieses File erstmal entpacken. 7-Zip ist da hilfreich. Danach sollte man ein OVF und ein VMDK File erhalten. Das OVF kann nun wie zuvor beschrieben editiert werden.

September 08 2017

19:23

Neuer Fileserver Teil 6 - pulsierende Lüfter

Das neue Mainboard ist da und läuft deutlich stabiler. ESXi ist installiert und ich fange an die virtuellen Maschinen einzurichten. Den SAS Controller an FreeNAS durchzureichen war kein Problem. Das neue Webinterface ist an manchen Stellen etwas merkwürdig, aber ich will mich nicht beschweren.

Etwas genervt haben die Lüfter, die laufen nur mit 300rpm und das Mainboard dachte die seien wohl kaputt und hat dann immer wieder auf 1500rpm hochgeregelt. Das lag daran, dass der minimal Wert im IPMI per Default zu niedrig gesetzt ist. Im Webinterface kann man die Werte nicht setzen, aber dafür gibt es ipmiutil, das auch in Homebrew unter MacOS oder jeder guten Linux Distribution enthalten ist. Alternativ kann man auch ipmitool nehmen.

So liest man die Lüfter aus:

ipmiutil sensor -N 192.168.0.159 -U ADMIN -P ADMIN -c -g fan
ipmiutil ver 2.95
isensor: version 2.95
Connecting to node 192.168.0.159 192.168.0.159
-- BMC version 3.50, IPMI version 2.0
 ID  | SDRType | Type            |SNum| Name             |Status| Reading
03f1 | Full    | Fan             | 41 | FAN1             | OK   | 300.00 RPM
0434 | Full    | Fan             | 42 | FAN2             | Absent | 0.00 na
0477 | Full    | Fan             | 43 | FAN3             | OK   | 300.00 RPM
04ba | Full    | Fan             | 44 | FAN4             | OK   | 300.00 RPM
04fd | Full    | Fan             | 45 | FAN5             | OK   | 300.00 RPM
0540 | Full    | Fan             | 47 | FANA             | Absent | 0.00 na
ipmiutil sensor, completed successfully

Und so setzt man die neuen Werte:

ipmiutil sensor -N 192.168.0.159 -U ADMIN -P ADMIN -n 47 -u 250:250:250:25400:25400:25500

Die 47 ist die SNum des Lüfters. Das macht man für alle und dann ist Ruhe. Evtl. muss man noch einmal den IPMI Controller resetten.

September 03 2017

12:48

Neuer Fileserver Teil 5

Ok nach einigen Tests sieht es so aus als wäre Channel 1 auf dem Mainboard defekt. Alle vier RAM Riegel zeigten seltsames verhalten in Channel 1. In Channel 2 kann ich bisher keine Probleme feststellen. ESXi lies sich beim ersten Versuch installieren und derzeit läuft ein Memtest mit einem installierten Modul.

iKVM_capture-2-1

... ein paar Stunden später ...

Ja da scheint das Mainboard kaputt zu sein. Fehler bei belegtem Channel 1. Werde es zurückschicken. :(

September 02 2017

23:16

Neuer Fileserver Teil 4

Alles ist zusammengebaut, der SAS Controller wurde auf IT Mode geflasht (hier gibts eine gute Anleitung für den Fujitsu D2607-A21 , aber ich hab Probleme ESXi 6.5 zu installieren. Die Installation bricht an beliebigen Stellen einfach ab und das System bleibt hängen. Fehlermeldungen gibt es keine. Einen Memtest konnte ich auch noch nicht zum laufen bringen. GRML läuft manchmal.

Ich dachte erst an einen defekten RAM Riegel, aber es könnte auch ein BIOS Setting oder nicht supportes RAM sein. In der RAM Liste von Supermicro kommen keine 16GB LRDIMMs vor. Wäre sehr ärgerlich, wenn es daran läge.

Ich werde morgen die RAM Riegel einzeln testen und wenn alle das Problem haben, wahrscheinlich einen supporteten Riegel besorgen und damit testen. Es könnte natürlich auch ein defektes Mainboard oder gar die CPU sein, aber da würde ich eher andere Fehler erwarten. Eine defekte CPU hab ich bisher auch noch keine gesehen.

September 01 2017

18:58

Neuer Fileserver Teil 3

So inzwischen ist alles bestellt. Ich habe mich doch für 64GB Ram entschieden. Die 8GB Module lohnen sich kaum. Es ist dann noch Platz für weitere vier Module auf dem Mainboard.
In naher Zukunft brauche ich die nicht, aber mal sehen, evtl. gibt es irgendwann mal einen Grund. Evtl. findet sich auch mal ein gebrauchter Xeon mit mehr Kernen bei ebay.

Gehäuse und Netzteil sollten heute ankommen, der Rest im Laufe der Woche.

... wenige Tage später ...

Es ist Freitag und alles ist da. Die Festplatten, das Netzteil und die SSD hab ich schon eingebaut.

IMG_20170831_130751s

IMG_20170831_131422s

IMG_20170831_024931s

Das Mainboard und der CPU Kühler kamen heute an. Die werde ich heute Nacht einbauen und evtl. auch gleich alles installieren.

Hier eine Liste der Komponenten:

  • Fractal Design Define R5 Black
  • EVGA 650 GQ 650W ATX 2.3
  • Supermicro X10SRi-F retail
  • Intel Xeon E5-2608L v4
  • 4x TeamGroup Elite server LRDIMM 16GB, DDR4-2400
  • Fujitsu D2607-A21 + SAS auf SATA Kabel
  • Samsung SSD 850 Evo 500GB
  • Seagate FireCuda 2TB
  • 3x Seagate Enterprise Capacity 3.5 HDD 10TB
  • Noctua NH-U12DX i4
  • 3x Noctua NF-A14 PWM
Older posts are this way If this message doesn't go away, click anywhere on the page to continue loading posts.
Could not load more posts
Maybe Soup is currently being updated? I'll try again automatically in a few seconds...
Just a second, loading more posts...
You've reached the end.

Don't be the product, buy the product!

Schweinderl