Demà dimarts 23 d'octubre a les 08:00 reiniciarem el servidor sites (cPanel, pàgines personals, zones web) per tal de canviar el nucli del sistema pel de la darrera actualització publicada i també aprofitarem per ampliar la memòria del servidor de la intranet (intranet, UU, MRBS, BSCW, RT, wiki) de 2 a 4 GB.

El temps previst per les dues actuacions serà de 30 minuts en total.

El proper dilluns 22 d'octubre a partir de les 8:00 es procedirà a efectuar la migració de la intranet cap a un altre servidor. Per realitzar aquest canvi, el web institucional romandrà en manteniment durant 1 hora.

Aquesta actuació ens permetrà mantenir una separació completa entre el contingut públic i la intranet i eines de treball intern.

Hace unos meses empezamos la migración de algunas conexiones del Centro de Cálculo a 10Gb (fibra óptica).

Lo primero que conectamos fue el sistema de disco de usuarios e infraestructura. Lo siguiente ha sido el sistema de disco que da soporte al cluster. Ayer conectamos los servidores principales de infraestructura y usuarios y hoy dos de los cuatro racks del cluster. En breve añadiremos también los balanceadores de carga (que nos servirán también para mejorar la disponibilidad de ciertos servicios).

¿Se nota el cambio? Aún es pronto para evaluarlo ya que necesitamos optimizar ciertos parámetros en los servidores, los clientes y en los propios equipos de comunicaciones, pero por ejemplo, una carga de prueba que utilizamos para medir el rendimiento del cluster respecto al almacenamiento en red, ayer tardaba 15 minutos y hoy lo hace en 6.

En los próximos meses actualizaremos nuestro conmutador/router principal lo que nos permitirá ampliar el número de puertos a 10Gb y acabar de conectar a esta velocidad los servicios principales. Por ejemplo, la conexión C6-D6 disfrutará de la ampliación de velocidad.

El proper dilluns dia 10 de setembre a les 11h durem a terme una actuació sobre el disc dels clusters per a resoldre una incidència amb alguns dels discs SSD de cache dels servidors.

L'horari de l'actuació es deu a que será conduida per enginyers d'Oracle que realment són al Regne Unit. El temps estimat és de 15 minuts, però pot allargar-se a 1h.

L'actuació precisa de la desconnexió completa del disc dels clusters. No aturarem els nodes del clusters arvei i boada. Si els enginyers d'Oracle aconsegueixen solucionar el problema en un curt periode de temps, és possible que tots els treballs en execució es recuperin. En el pitjor dels casos, aquests treballs es perdran i caldrà que els torneu a llencar. Tots els treballs encuats que encara no hagin començat a executar-se romandran a la cua, i seran executats quan es reestableixi el disc.

Addicionalment, com ja haureu vist, estem patint problemes de rendiment també amb aquest disc. Els enginyers d'Oracle estan recopilant dades sobre aquesta altra incidència, i de moment estem realitzant importants avenços, però encara no tenim una solució definitiva al problema. Us en mantindrem puntualment informats.

Actualització 7 setembre, 13:55h: L'actuació es durà a terme finalment a partir de les 12h per requeriments d'ús del cluster docent boada.

Actualitzacions 10 setembre durant l'actuació:

• 12:00h: Iniciem el procediment: aturem un dels servidors de disc, de moment no hi haurà desconnexió del disc NFS.
• 12:05h: Reiniciem el segon dels servidors de disc; ara sí que hi haurà desconnexió.
• 12:10h: Comencem la re-importació dels pools d'emmagatzematge; ha estat necessari eliminar-los provisionalment per a reassignar els discs SSD de cache de lectura que no eren usables.
• 12:19h: Finalitza la importació dels pools d'emmagatzematge; el servei NFS queda reestablert.
• 12:25h: Assignem els nous discs SSD de cache als pools d'emmagatzematge.
• 12:38h: Restaurem pools al servidor natiu; ambdós servidors estan en funcionament, el servei funciona amb normalitat.

Les darreres actualitzacions de seguretat dels servidors han instal·lat una nova versió del nucli del sistema que requereixen un reinici que durem a terme el proper dijous dia 20 de setembre a les 8:00h. La durada prevista per a l'actuació és d'1 hora.

Els servidors afectats són els següents:

• xarxes-2 (DNS, DHCP, VMPS)
• gw-1 (proxy web, VPN)
• recursos (impressores, samba)
• www-1 (webmail, reports)
• intranet-1 (intranet, UU, MRBS, BSCW, RT, wiki)
• db-1 (bases de dades d'aplicacions de la intranet principalment)
• sistemes i sistemes-1 (base de dades d'equips en xarxa i altres serveis d'infraestructura)
• stats-1 (recull d'indicadors d'ús de serveis)

 Actualització 20 setembre, 8:45h: Tots els serveis tornen a estar de nou en funcionament.

Com sabeu, el disc de scratch del cluster arvei està disponible per NFS a partir del directori /scratch/nas/1 a cadascun dels nodes del cluster. Fins avui aquest era un únic filesystem ofert per un dels dos servidors de disc (NAS: Network Attached Storage).

Com també sabreu, des que es va posar en funcionament el nou servidor de disc del cluster a finals de juliol, estem experimentant problemes de rendiment especialment a les operacions d'escriptura al disc del NAS. Els enginyers d'Oracle, juntament amb la nostra col·laboració, estan tractant d'esbrinar-ne les causes (tot apunta a un bug del sistema que fa que reservi excessiva memòria física del NAS, i tot s'alenteixi). Malauradament, tenim la impressió que no trobarem la solució definitiva a curt termini.

Per tal de reduir l'impacte i millorar el rendiment del servidor NAS, hem particionat el disc de scratch NFS en dos filesystems, cadascun dels quals serà servit per un servidor dedicat. El vostre directori dins del NAS quedarà allotjat de la següent manera, segons la inicial del vostre username:

• de la «a» a la «j» (servidor A): /scratch/nas/1
• de la «k» a la «z» (servidor B): /scratch/nas/2

Per aquells que el vostre directori ha estat mogut, hem creat un symbolic link al path original per a conservar-ne la compatibilitat. Per exemple: si el vostre directori originalment era /scratch/nas/1/username i ara és /scratch/nas/2/username, el path original a /scratch/nas/1 ara serà un link que apuntarà a la localització correcta. Això fa que no calgui modificar cap dels vostres scripts per a que continuin sent operatius. De tota manera però, us recomanem que els actualitzeu convenientment si el vostre directori ha estat mogut. D'aquesta manera us estalvieu una indirecció i una dependència innecessària d'un altre filesystem, que en un moment determinat podria no estar disponible.

Addicionalment, per als usuaris que romangueu a /scratch/nas/1, hem recreat els vostres directoris amb un nou tamany de bloc, que confiem que també aporti beneficis en quant a rendiment. Aquest mateix tamany de bloc és el que hem usat per a crear el nou /scratch/nas/2.

Aquest procés de particionat del disc i recreació dels directoris ha estat realitzat sense interrupció de servei, i ha calgut dur-lo a terme de manera semi-automàtica comprovant que l'usuari propietari del directori no tingui cap treball ni cap procés interactiu al cluster en el moment de l'actuació. Hi ha un nombre d'usuaris pels quals encara no ha estat possible dur a terme el procés, degut a que sovint tenen processos en execució al cluster. En els propers dies ens posarem en contacte amb vosaltres per a dur a terme l'actuació de manera coordinada.

El límits en temps d'execució de la cua huge han estat augmentats.

Fins ara teníem els següents límits per treball:

• CPU time: 150 hores
• Wallclock time: 188 hores

Els nous límits són aquests:

• CPU time: 240 hores
• Wallclock time: 280 hores

Les darreres actualitzacions de seguretat dels servidors han instal·lat una nova versió del nucli i de llibreries bàsiques del sistema que requereixen un reinici que durem a terme el proper dilluns dia  10 de setembre a les 08:00h. La durada prevista per a l'actuació és de mitja hora.

L'únic servidor afectat és:

• sites (cPanel, moodle, pàgines personals, zones web)

Actualització [08:10]: els serveis tornen a estar en funcionament.

Les darreres actualitzacions de seguretat dels servidors han instal·lat una nova versió del nucli i de llibreries bàsiques del sistema que requereixen un reinici que durem a terme demà dijous dia 23 d'agost a les 08:00h. La durada prevista per a l'actuació és d'1 hora.

Els servidors afectats són els següents:

• xarxes-2 (DNS, DHCP, VMPS)
• gw-1 (proxy web, VPN)
• recursos (impressores, samba)
• www-1 (webmail, reports)
• intranet-1 (intranet, UU, MRBS, BSCW, RT, wiki)
• db-1 (bases de dades d'aplicacions de la intranet principalment)

[23/Ago 8:23] Servidors actualitzats i serveis funcionant

Desde ayer lunes tenemos una avería en el disco de scratch compartido del cluster.

El disco compartido lo sirven dos equipos en cluster (para ofrecer alta disponibilidad y rendimiento). Aunque todavía desconocemos las causas, parece que los dos nodos intentaron en algún momento acceder al mismo pool de disco y es posible que haya corrupción de datos.

Estamos trabajando con el fabricante para resolver el problema cuanto antes.

[10/Ago] Los ingenieros de Oracle llevan toda la semana investigando el caso (debug de kernel, estructuras del filesystem) para eesclarecer lo sucedido. Se espera que la semana que viene puedan darnos más datos.

[14/Ago] El soporte de Oracle ha conseguido montar los datos en read-only. Hemos hecho una copia y en principio no se ha perdido ningún dato. Actualmente están obteniendo datos para clarificar el origen del problema. Está previsto recrear el pool y poner todo en producción el viernes.

[15/Ago] Estamos recreando el pool

[17/Ago] Pool recreado, datos copiados y puestos en marcha en todo el cluster

La revisió de les instal·lacions d'alta tensió del Campus Nord d'aquest any afectaran al subministrament elèctric dels espais del DAC als edificis D6 i C6 el dia 9 d'agost, entre les 07:00 i les 16:00 aproximadament.

A principis d'agost us enviarem un recordatori amb més detalls de com planificarem l'actuació per als serveis TIC del DAC. Si teniu alguna necessitat especial que hàgim de tenir en compte, us preguem que us poseu en contacte amb nosaltres el més aviat possible.

[6:00] Comença l'aturada de màquines

[15:00] Torna el subministrament elèctric

[15:30] Posem en marxa els servidors

[18:00] Serveis principals totalmente operatius

Fa uns dies van arribar els 40 nodes nous pel cluster del departament, les característiques dels mateixos són:

• Processador: Xeon E5-2630L
• 64 GB de memòria RAM
• 1 TB de disc local
• 4 targetes de xarxa Gigabit Ethernet

Els nodes ja estan operatius i perfectament integrats amb la resta de nodes del cluster arvei.

El dimecres 25 de JULIOL de 2012 es procedirà a realitzar manteniment al disc centralitzat del departament, pel que s'hauran d'apagar la majoria de serveis mentre duri l'actuació.

L'aturada del sistema està prevista entre les 08:00 i les 14:00 afectant als següents serveis:

• Accés a les dades del disc centralitzat (NFS, SMB, ...)

• DNS (es podrà fer servir el servidor d'UPC).

• Web: pàgines institucionals, zones web, pàginas personals, ...

• Impressores: El servei de cues estarà aturat

• Cluster arvei: Els treballs que s'estiguin executant es perdran. Els treballs encuats s'iniciaran al tornar a posar en marxa el servei.

• VMHosting: S'hauran d'apagar totes les màquines virtuals

• Firma electrónica, usuari únic, gestió de viatges i reserva de sales no seran accesibles.

• Servidor de Windows amargos

• Servidors d'usuarios: safont, florensa, fabre, ...

• BSCW

• FTP

Les darreres actualitzacions de seguretat dels servidors han instal·lat una nova versió del nucli i de llibreries bàsiques del sistema que requereixen un reinici que durem a terme el proper dijous dia 21 de juny a les 8:00h. La durada prevista per a l'actuació és d'1 hora.

Els servidors afectats són els següents:

• xarxes-2 (DNS, DHCP, VMPS)
• gw-1 (proxy web, VPN)
• recursos (impressores, samba)
• sites (cPanel, pàgines personals, zones web)
• www-1 (webmail, reports)
• intranet-1 (intranet, UU, MRBS, BSCW, RT, wiki)
• db-1 (bases de dades d'aplicacions de la intranet principalment)

Actuallització [08:30]: Actuació finalitzada amb èxit.

Aquest matí als voltants de les 8:30 s'ha produit una fallada d'alimentació elèctrica al servidor IMAP durant la substitució d'una de les fonts d'alimentació que estava avariada.

En aquests moments s'està fent la comprovació del sistema de fitxers i el servei IMAP romandrà aturat fins que acabi l'operació.

Disculpeu les molèsties.

Actualització [10:00]: El servei d'IMAP torna a funcionar.

Les darreres actualitzacions de seguretat dels servidors han instal·lat noves versions de llibreries bàsiques del sistema que requereixen un reinici que durem a terme el proper dijous dia 7 de juny a les 8:00h. La durada prevista per a l'actuació és d'1 hora.

Els servidors afectats són els següents:

• gw-1 (proxy web, VPN)
• intranet-1 (intranet, UU, MRBS, BSCW, RT, wiki)
• www-1 (webmail, reports)
• db-1 (bases de dades d'aplicacions de la intranet principalment)
• recursos (impressores, samba)
• xarxes-2 (DNS, DHCP, VMPS)
• ribot2 (web institucional)

Actualització 5 juny: Afegim ribot2 a la llista de servidors per actualitzar.

Actualització 7 juny, 8:22h: Tots els serveis tornen a estar de nou en funcionament.

Arran de l'actualització del sistema del servidor sites s'ha instal·lat una nova versió del nucli que requereixen un reinici. L'actuació es durà a terme el proper dilluns dia 4 de juny a les 08:00. La durada prevista és de 15 minuts i els serveis afectats són:

• pàgines personals
• pàgines de docència i recerca
• zones web del cPanel

Ahir per la tarda es va procedir a retirar definitivament la impressora a color del departament, de nom d6p1c.

L'equip directiu va decidir no comprar més tòner per a aquesta impressora i retirar-la quan s'esgotessin les reserves.

Això significa que no hi ha cap impressora per a usuaris en color al Departament i caldrà fer servir serveis externs per a imprimir a color.

Lamentem les molèsties que aquest fet us pugui causar.

Un cop realitzada la migració de tots els projectes existents al nou servei de projectes amb Trac, ens complau informar-vos de les novetats que us podem oferir a partir d'ara.

• Els administradors del projecte podeu fer canvis a la configuració del Trac, activar plugins i instal·lar-ne de nous.
• Els projectes poden tenir diversos dipòsits (repositoris) de codi associats i cada dipòsit pot ser d'un tipus diferent.
• Els dipòsits de codi poden ser de tipus Subversion (svn), Git (git) o Mercurial (hg).
• Els dipòsits de tipus Git i Mercurial, disposen addicionament dels navegadors gitweb i hgweb respectivament.

Recordeu que podeu trobar tots els detalls del servei al manual d'usuaris. Si teniu cap comentari o suggeriment de millora sobre el servei, no dubteu en fer-nos-els arribar.

El proper dimecres 16 de maig a les 08:00 procedirem a substituir un disc del servidor IMAP que ha donat errors d'ECC durant aquesta setmana. Afortunadament el disc s'ha autoreparat i el RAID ha mantingut la integritat però preferim substituir el disc per a més seguretat.

Fins que finalitzi l'actuació, que durarà 1 hora aproximadament, no es podrà accedir a les bústies de correu. Però recordeu que podreu accedir a la còpia de les bústies del servei de continuïtat de correu, en cas que necessiteu accedir a algun correu que no sigui molt recent.

* Actualització 8:56h: El servei ha estat reestablert per complet. S'està reconstruint RAID en background, és possible que noteu un petit impacte en quant a temps de resposta del servidor. Aquesta reconstrucció pot tardar unes hores.

* Actualització 13:02h: Ha finalitzat la reconstrucció del RAID. El servidor opera amb normalitat.

El proper dimecres 16 de maig a les 08:00 farem un upgrade del sistema de vm-users-3 cap a la versió 5 del VMware ESXi. L'upgrade serà automàtic i durarà aproximadament 1 hora. Si us plau, atureu les vostres màquines virtuals abans de les 08:00.

Amb aquesta actualització del sistema tindrem els dos servidors VMware ESXi amb la versió 5 i estudiarem la possibilitat de poder migrar les màquines virtuals en calent per tal de poder fer les properes actualitzacions sense interrupció de servei.

* Actualització 9:01h: El servei ha estat restablert per complet. Les màquines virtuals que estaven engegades en el moment de l'actuació han estat de nou enceses. Us preguem als usuaris d'aquestes màquines virtuals que en comproveu el correcte funcionament dels vostres serveis.

El proper dilluns 14 de maig farem la migració definitiva de tots els projectes que encara estan hostatjats al servidor code. La migració començarà a les 08:30 i durarà aproximadament 30 minuts.

Recordeu que la majoria de projectes ja es van migrar el dia 23 d'abril i només quedaven per migrar els que tenien algunes característiques més especials.

Amb aquesta migració, tots els projectes de codi estaran hostatjats al nou servidor i aviat us podrem informar de les novetats disponibles per a poder treure'n el màxim profit.

Actualització [09:10]: La migració ha finalitzat correctament.

El proper dijous 10 de maig a les 08:00 farem un upgrade del sistema de vm-users-4 cap a la versió 5 del VMware ESXi. En principi l'upgrade serà força automàtic però per si de cas, esperem que les màquines virtuals puguin restablir-se abans de les 14:00. Si us plau, atureu les vostres màquines virtuals abans de les 08:00.

Amb aquesta actualització del sistema confiem que no torni a fallar la connexió remota per xarxa amb el client de vSphere i més endavant planificarem una actuació similar per fer l'upgrade de vm-users-3.

Actualització [09:00]: L'actualització a la versió 5 s'ha completat amb èxit i les màquines virtuals ja tornen a estar en funcionament. Si teníeu una versió antiga del client vSphere us demanarà que l'actualitzeu el proper cop que connecteu al servidor vm-users-4.

Després d'instal·lar algunes actualitzacions de sistema (especialment del nucli) alguns servidors necessiten que els reiniciem. Així doncs, aprofitant que aquests dies hi ha menys activitat al departament, farem el reboot el proper dimecres 7 de desembre a les 08:00 i esperem que com a molt duri 1h. Els servidors afectats pel reboot de dimecres són els següents:

• db-1 (bases de dades)
• gw-1 (proxy web, VPN)
• intranet-1 (UU, MRBS, BSCW, RT, wiki)
• sites (people, recerca, docencia, moodle, cpanel)
• www-1 (webmail, reports)
• xarxes-1 (DHCP, VMPS)

Actualització [08:15]: tots els servidors reiniciats tret de gw-1, que dóna problemes de disc.

Actualització [09:30]: gw-1 funcionant de nou.

Arran d'algunes actualitzacions de seguretat recents, demà dimecres 9 de maig a les 08:00, procedirem a fer les actualitzacions del sistema que afecten a l'Apache, PHP i Samba. L'actuació durarà 15 minuts i els servidors afectats són els següents:

• intranet-1 (intranet, UU, MRBS, BSCW, RT, wiki)
• recursos (impressores, samba)
• www-1 (webmail, reports, projectes de codi)

Actualització [08:10]: actuació finalitzada amb èxit.

La Xarxa Sense Fils (XSF)/Eduroam de la UPC ya es operativa en los módulos C6 y D6.

Podéis consultar la documentación de este servicio para saber cómo configurar vuestros dispositivos: portátils, PDAs, etc.

Algunos detalles sobre el nuevo servicio:

• Es posible acceder con protocolo de cifrado sin portal (SSID: eduroam), la mejor opción!
• Es posible acceder via portal y usuario guest o autentificado (SSID: XSF-UPC)
• La red sigue siendo externa, por lo que se ha de usar VPN para acceder a los recursos internos del DAC
• Para pequeñas reuniones con invitados externos, se puede utilizar el usuario invitado de XSF
• En caso de eventos específicos con necesidad alta de conectividad podemos poner APs adhoc (fuera del servicio normal de conexión)
• El soporte y la gestión la realiza UPCNet, por lo que si necesitais lo más conveniente es contactar directamente con ATIC

De momento, el nuevo servicio convivirá con el actual, pero a partir del 7 de mayo desmantelaremos el servicio actual dejando sólo XSF.

Actualització 07/05/2012 16:00 hores: Ja no funciona la xarxa sense fils del DAC, de nom "DAC Network". S'han retirat tots els punts d'accés que hi donaven accés.

Les darreres actualitzacions de seguretat dels servidors han instal·lat una nova versió del nucli i de llibreries bàsiques del sistema que requereixen un reinici que durem a terme el proper dilluns dia 30 d'abril a les 8:00h. La durada prevista per a l'actuació és d'1 hora.

Els servidors afectats són els següents:

• gw-1 (proxy web, VPN)
• intranet-1 (intranet, UU, MRBS, BSCW, RT, wiki)
• www-1 (webmail, reports)
• db1 (bases de dades d'aplicacions de la intranet principalment)
• recursos (impressores, samba)
• xarxes-2 (DNS, DHCP, VMPS)
• sistemes (monitorització, backups, altres serveis interns)

Actualització [8:18]: Ha finalitzat l'actualització de tots els servidors i ja tornen a estar operatius.

Demà dijous dia 26 d'abril a les 8:00h durem a terme un reboot del servidor «sites», el qual allotja els continguts web de docència, recerca i pàgines personals. La durada de l'actuació serà d'uns 15 minuts.

El reboot és necessari per a que entrin en funcionament les darreres actualitzacions de seguretat del nucli i d'importants llibreries del sistema, instal·lades avui mateix.