rumlingen und der Wald vor lauter Bäumen


Hinterlasse einen Kommentar

Brückentag

Es ist erstaunlich, wie viele Menschen an einem Brückentag arbeiten müssen.

Rumi auch.

Rumi legt eine Server-Downtime für 2 Server auf den Freitag, in der Hoffnung dass a) niemand da ist, den das stört, und b) niemand sie dann stört.
Die Key User auf den Servern haben zugestimmt (DIE haben ja Urlaub!), es ist seit Wochen alles angekündigt und bekanntgegeben. Wirklich seit Wochen. Seit Mitte Mai. Das ist echt langer Vorlauf für unsere Verhältnisse.

Um 8:06 Uhr gehen die Server down.

Um 8:30 Uhr habe ich die erste erboste Email im Postfach. -> Ich maile höflich zurück, dass es sich um eine genehmigte, angekündigte Downtime handelt. [Link zu Downtime-Ankündigungen] [Link zum Wartungskalender] [Bebilderte Anleitung, wie man die Notifications per Email bekommen kann]

Um kurz nach 9 melden sich User des anderen Servers, mit einer imposanten Sammlung an Ausrufezeichen und meinem Chef in cc. -> Ich maile höflich zurück, dass es sich um eine genehmigte, angekündigte Downtime handelt. [Link zu Downtime-Ankündigungen] [Link zum Wartungskalender] [Bebilderte Anleitung, wie man die Notifications per Email bekommen kann]
Ich verkneife mir den Hinweis, dass das in der Begrüßungsmail auch schon stand. Man muss ja Eskalieren können.


Hinterlasse einen Kommentar

Neujustierung

Ich habe ja möglicherweise schonmal erwähnt, dass ich die Abteilung gewechselt hab.
Nicht?
Also, ich habe ja letztens die Abteilung gewechselt. Ich gehöre jetzt nicht mehr zu denen mit dem bekloppten Namen, sondern ich bin wieder ein richtiger Indianer.

Da war eine heftige Neujustierung fällig.

Beispiel gefällig?

Alt:
Situation: Es gibt eine Schulung.
Ergebnis: Es werden 2 Kollegen geschickt, die mit dem Wissen aus einer 4-h-Schulung dann den Rest der Abteilung schulen sollen.

Neu:
Chef: „Es gibt da eine Möglichkeit, eine Schulung zum Thema X mitzumachen. Is für uns nicht direkt wichtig, würde uns aber helfen, zu verstehen was die Kunden brauchen. Vielleicht könnten wir ein paar von uns hinschicken?“
Rumis Hand schießt nach oben. Die des Werksstudenten auch. Die des Kollegen auch. Damit haben wir quasi 100% Interesse.
Chef guckt glücklich.

Mehr?

Alt:
Jemand gibt rumi eine Aufgabe. Rumi macht und findet dabei irgendwas verlinktes, das auch gemacht werden müsste.
Jemand: „Lass das, das is nich dein Job, dafür haben wir $Team, lass die das machen.“

Neu:
Chef schiebt rumi ein Arbeitspaket rüber. Dokumentenreview, Dokument A. Rumi macht, und ihr innerer Grammar-Nazi feiert Weihnachten. Aber guck ma, da is noch Dokument B, das hat ganz am Rande mit mir zu tun, darf ich da auch…? Und Dokument C fällt eindeutig in meinen Bereich. Her Damit! Und sag mal, Kollege, das Dokument D, das da bei dir zur Review liegt… du bist doch so furchtbar beschäftigt mit Zeug, das ich nicht kann, wie wärs wenn ich deine Review mache und das Layout herrichte, und du musst nur noch mal fachlich prüfen, dass ich keinen allzu großen Scheiß reingeschrieben hab?
Ergebnis: Chef glücklich, Kollege glücklich, Chef schiebt mehr Dokumente rüber mit „mach ma!“

Auch neu:
Chef schiebt ein Arbeitspaket rüber, „Mach mal A“. Rumi macht A, nötigt den zwischendurch gelangweilten Werksstuden, dazu ein paar Anpassungen zu machen, macht AB, B, daraus entwickelt sich C, der Student fuddelt noch ein bisschen an der Config rum, bis rumi zufrieden ist.
Rumi: „Chef guck ma, passt dir das so?“
Chef: Daumen hoch. Er schiebt noch ein paar verwandte Arbeitspakete rüber, die rumi übersehen hat. Passiert, rumi ist schließlich neu.

Noch mehr Beispiele?

Alt:
rumi: „Kann ich eine Fußstütze haben?“
TA: „Nein. Zu teuer.“

rumi: „Wann isn dieses Jahr die Kalenderbestellung? Ich hätte gern wieder so einen 3-Monats-Kalender für aufn Tisch.“
TA: „Fällt aus. Zu teuer.“

Neu:

Rumi ist neu. Braucht also eine Erstausstattung. Noch in der alten Abteilung kommt ein Mail vom neuen Chef: Was hättste denn gern für einen Rechner. Guck ma auf $Webseite und äußere Wünsche. Aber übertreibs nicht!
Rumi guckt. Aber das mit dem Maximum-fordern -und-dann-Minimum-kriegen kann sie ja nicht, darum gibt sie ihr Minimum. Da sie schon weiß, dass sie öfter nur mit Laptop ohne extra Monitor arbeiten muss, will sie gern einen „großen“, das heißt hier 15″. (Der ist von Haus aus annehmbar ausgestattet, hat aber nur 4 GB RAM.) Mindestens 8 GB RAM, sonst macht Win7 keinen Spaß. SSD wäre schon Luxus, aber ich würde mich nicht wehren.
Chef bestellt: Laptop in gewünschter Größe, 16 GB RAM, zusätzliche SSD (!), und dazu einen Rucksack. Standard is Schultertasche, aber ich bin ja Rollerfahrer… und Chef wusste das noch.
Am ersten Tag kam er grinsend rein, gab mir einen leicht angeweichten Karton und meinte: „Hier! Anstelle von Blumen. Ich dachte, damit bist du glücklicher.“
Der Mann versteht Frauen!

(Nur dass hier nicht der falsche Eindruck entsteht, es ist nicht nur alles toll. Einen Teil der Ausstattung musste ich später nachbestellen, und dann war nicht mehr verfügbar was die Kollegen haben. Die haben z.B. ein Dual Bluetooth Headset mit NC bekommen. Meins ist zwar Dual Bluetooth, hat aber kein NC und ist deutlich zu klein. Kann ich ohne Kopfweh nicht länger als 10 min tragen. Ich bin also wieder kabelgebunden unterwegs.)

Aber insgesamt bin ich happy. Ich darf wieder mitdenken, hab genug interessante Arbeit, nette Kollegen, und die ganze eklige Zahlenarbeit macht Chef und will er auch nicht abgeben. Wir Minions sollen vor uns hin-technisieren, und er macht das mit dem Verkaufen. Sehr fein.

Und Chef ist auch glücklich, dass ihm jemand Arbeit abnimmt und freiwillig nach mehr Arbeit sucht, und dass der Humor ziemlich übereinstimmt. Wonach er offenbar nicht gescreent hat: Er als Nachteule hat sich 3 (in Zahlen DREI) Frühaufsteher eingehandelt.
Tja. SorryNotSorry. 😀

 


Hinterlasse einen Kommentar

Murphy’s Meisterstück

Zeit, mal wieder die ITler unter euch in Schrecken zu versetzen.

Wir haben 3 DMZen, die je ein Drittel der Welt abdecken. Verbindungen zu unserem Backend passieren primär über die jeweils nächstgelegene DMZ. Geräte in China verbinden sich über die DMZ Asien. Geräte in Canada über die DMZ America.
Jede DMZ hat einen Schwarm Router, die das organisieren.

Nun sind ja in letzter Zeit so einige Backdoors und 0-days bekannt geworden. Vielleicht keine schlechte Idee, die Router mal zu updaten?

Letzte Woche: Fangen wir mal mit Europa an. Und damit wir nicht zur besten Sendezeit stören, machen wir das gegen 22 Uhr. Wird schon nichts schiefgehen, wir haben das ja vorher in unserer Testumgebung getestet…
Rumi tapert morgens um 7 ins Büro und wird mit einem fröhlichen „Gut, dass du schon da bist!“ begrüßt. Oh oh…
Der gut getestete Patch hat nach weniger als einer Stunde den Router stillgelegt, und alle Tunnel auf diesem Router sind down. Es jammern bereits $ziemlichgroßerKundeinDE und $nochgrößererKundeweltweit. Ooops.
Das ist aber schnell behoben. Nach knapp einer Stunde ist der Patch zurückgerollt, ein besserer gefunden, ausgerollt, und angestrengt beobachtet.
Diesmal verhält sich der Patch anständig, also wird er auf alle anderen Router in dieser DMZ ausgerollt, und die Welt ist wieder in Ordnung.
Die Testumgebung hat offenbar nicht genug Traffic generiert, um den Fehler auszulösen.

Diese Woche: Da das ja letzte Woche so gut geklappt hat (*hust*), bringen wir den Patch diesmal auf alle Router gleichzeitig auf. Router aus einer anderen Baureihe. Aber der Patch wird schon passen…
30 Minuten später steht $Entwickler neben mir. „Äh… Mach mal bitte ein SuperGAU-Ticket auf. Die ganze DMZ steht still.“
Nach dem Patch und dem damit verbundenen Neustart waren die Router nicht mehr erreichbar.
Kollege S ruft in dem Rechenzentrum an, in dem unsere Router stehen. Also, er versucht es. Die erste Nummer existiert nicht mehr. Die zweite Nummer führt ihn durch ein mehrstufiges Menü und legt dann einfach auf. Also ruft er einen uns bekannten Supervisor an, um so jemanden zu finden, der sich per Konsolenkabel an unsere Router hängen kann, um mal zu gucken was da so abgeht.
Der Supervisor hat Probleme, jemanden mit den passenden Berechtigungen zu finden. Offenbar hat Murphy beschlossen, uns mal so richtig zu zeigen, was er kann.
Stunden vergehen. 5, um genau zu sein. Langsam wachen die Leute in der DMZ auf und möchten gerne arbeiten. Böse Nachfragen schlagen auf, warum die Downtime nicht angekündigt wurde.
Ich schicke weiter stündlich das gleiche Update raus: „No update available. Expect the next update in about an hour.“
Nach 6 Stunden haben wir vielleicht jemanden, der innerhalb von 45 Minuten vor Ort sein kann und dann auch an die Hardware darf…
Wir sind in dieser Situation die zentrale Anlaufstelle. Wir haben den Kontakt zum Rechenzentrum, wir haben Kontakt zu den Kunden, wir haben Kontakt zu den Entwicklern, die das Update durchgeführt haben. Aber wir sammeln nur, die Verantwortung liegt woanders. Im Grunde stehen wir mit einem Klemmbrett neben einem größeren Unfall und versuchen, nicht allszu offensichtlich jemanden auszulachen.
Nach einigen Stunden stufen die Entwickler ihre Ticketpriorität runter, Grund: „no access to hardware“.
Nach 10 (!!!) Stunden kann der Spätschichtkollege endlich das SuperGAU-Ticket schließen.
Was das Problem war?
Vor zwei Jahren hat ein Kollege aus Sicherheitsgründen die Zertifikate aller Zugangsberechtigten auf den Routern eingerichtet, und dabei ein Steuerungszeichen falsch escaped. Und das hat dann beim nächsten Neustart ein Problem verursacht.
Ein Hoch auf unsere Uptime!

Nächste Woche: Die dritte DMZ steht an…


Hinterlasse einen Kommentar

Umzug und so

Der Umzug lief dann einigermaßen geplant ab. Die Jungs waren deutlich langsamer als beim letzten Mal, wir mussten den gesamten Vormittag im Besprechungsraum rumsitzen. Denn unsere Schreibtische waren ja schon abmontiert.
Alles, was ich dabei hatte, war mein Rufbereitschafts-Rucksack. Und damit war ich schon besser vorbereitet als einige Kollegen, denn ich hatte ein Headset, ein Stromkabel und sogar so Luxusgüter wie Micro-USB-Kabel. Und weil ich ja so ein netter Mensch bin, hab ich das dienstlich gelieferte Headset verliehen, aus meiner Kiste noch schnell die Noise-Cancelling-Kopfhörer gerettet (die haben nämlich auch ein Mikrofon), und so ziemlich ungestört vor mich hingearbeitet. Und während die Kollegen dem Gebohre und Gerumpel zuhören durften, hatte ich p4 im Ohr. (Und das auch nur, weil ich mein Hörbuch mit Audible nicht ans Laufen bekommen hab. Und mein Kopfhörer im Notebook stecken musste. Aber die Musik von p4 is ja super.)

Im neuen Büro sitze ich jetzt hinter 4 Sicherheitstüren, die sich nur mit der richtigen Karte öffnen lassen. Meine ist offenbar nicht die richtige, denn durch die letzte Tür, in mein Büro komme ich nicht mehr hinein. Blöd, wenn ich dann morgens die Erste bin.
Aber glücklicherweise war das schnell geklärt und am nächsten Tag schon durfte ich wieder arbeiten.

So langsam füllt sich auch der große Raum des Büros. Da wir ja eine 24/7-Abteilung sind, ziehen wir in Schichten über 3 Tage verteilt um. Irgendwer muss ja immer arbeitsfähig sein. Wobei sie es diesmal so organisiert haben, dass immer ein Team gemeinsam umzieht und damit quasi für eine Weile ausfällt. Man hat es dann uns überlassen, eine „Wache“ auszuwählen, die vorher oder nachher umzieht.

Das neue Büro liegt gar nicht schlecht. Wir haben zwar nur noch 1 Kantine, die wir in annehmbarer Zeit erreichen können, dafür aber diverse Einkaufsmöglichkeiten in unmittelbarer Nähe, samt Bäcker, Metzger, Imbiss, 2x Sushi, und einem Foodtruck-Parkplatz. Allgemein kein Grund zur Beschwerde. Die Räume sind recht hell, mit rundum gehender Fensterfront von Decke bis zum Boden. Blendung nicht mehr zu verhindern. Keine Klimaanlage mehr, nur noch Passivkühlung und eben offene Fenster. Noch haben wir keinen heißen Tag erlebt…
Mein Büro und das üblicherweise offene Fenster liegt direkt über einer der Raucherecken der Einkaufsmeile unten. Spätestens am Nachmittag zieht der kalte Aschenbecher durchs Fenster. Lecker.
Sonstige Beschwerden, die ich so aufgeschnappt hab: Die Küche ist soweit weg! Auf den Klos is so dunkel! Und das Licht geht auch erst an wenn die Tür schon hinter dir zufällt! Es gibt so wenig Parkplätze in der Gegend! Der Stempelautomat hängt nicht im Sichtfeld, ich hab wieder vergessen mich einzustempeln! Nee, neben der will ich aber nich sitzen! (Das war sogar eine Mehrfachbeschwerde und hat zu großen Dramen in den letzten Wochen geführt.)