Ceph
Mulig feilfix for VMer som booter til initramfs/bsod
(muligens) pga en manglende konfigurasjon i ceph-mon capabilities i alle versjoner av puppet-modulen ntnuopenstack før versjon VQ.1.1, kan VMer som har blitt skrudd av med tvang, bli meget triste i disken sin og nekte å boote skikkelig. Dette kan fikses ved å gjøre en "flatten" av disken i ceph.
# Skru av VMen som ikke booter # Ta en backup (uuid er VMens uuid fra nova) cephmon1# rbd -p volumes export <uuid>_disk <filnavn> # Kjør flatten (uuid er VMens uuid fra nova) cephmon1# rbd flatten volumes/<uuid>_disk # Skru den på igjen
Skru av reabalansering av OSDer
Dette er nyttig hvis man skal ha planlagt vedlikehold av en ceph-server. Det sørger for at ceph IKKE rebalanserer data når man skrur av en ceph-boks (det skaper veldig mye trafikk).
Gjøres på en ceph-mon host
ceph osd set noout
Etter utført vedlikehold, må man skru på igjen rebalanseringen
ceph osd unset noout
Bytte en disk
storageNN# puppet agent --disable ceph-mon# ceph osd crush reweight osd.<id> 0 // Sett vekting på OSDen til 0, for å migrere data av den, og for å hindre en ny rebalansering når man fjerner OSDen fra crushmap // Vent til rebalanseringen er ferdig ceph-mon# ceph osd out osd.<id> storageNN# systemctl stop ceph-osd@<id> ceph-mon# ceph osd purge osd.<id> --yes-i-really-mean-it storageNN# umount /var/lib/ceph/osd/ceph-<id> // Slett raidet fra hpacucli e.l. Bytt disken fysisk, og opprett nytt raid. // Sørg for at OSet har oppdaget ny disk, og at hieradata for disken stemmer storageNN# puppet agent --enable; puppet agent --test
Lokal montering av disk fra ceph
Det hender at noen brukere ødelegger for seg selv. Da kan det være hyggelig å hjelpe dem litt. I den forbindelse kan det være praktisk å f.eks kunne montere opp disken til en VM, for å hente ut data, fikse feilconfig o.l.
Dette er skrevet for ceph luminous, og må utføres på en host som har Linux Kernel >=4.15, og ha pakken rbd–nbd installert, og ha rett ceph keyrings osv. Pakken blir installert av puppet på alt som inkluderer klassen profile::ceph::client
Nevnte kjerne, kan installeres på Ubuntu 16.04 vha
# apt install linux-image-generic-hwe-16.04-edge
Eller, tank maskinen med HWE-kjernen i utgangspunktet.
- Finn UUID-en til VMen du skal montere opp disken til # openstack server list +--------------------------------------+-----------+---------+--------------------------------------------------------------------------+------------------------------------------+---------+ | ID | Name | Status | Networks | Image | Flavor | +--------------------------------------+-----------+---------+--------------------------------------------------------------------------+------------------------------------------+---------+ | 65af6457-51ca-407d-8ab4-aea00ab297c3 | edbmaskin | SHUTOFF | larsep-v6-testnet=192.168.123.14, 2001:700:1d00:ec40:f816:3eff:fe76:b9a9 | Ubuntu Server 16.04 (Xenial Xerus) amd64 | m1.tiny | +--------------------------------------+-----------+---------+--------------------------------------------------------------------------+------------------------------------------+---------+ // Noter ID-en, og sørg for at maskinen er skrudd av før du fortsetter. // På en host med kernel >=4.15, rbd-nbd installert og korrekte ceph-keyrings på plass: # rbd -p volumes ls | grep 65af6457-51ca-407d-8ab4-aea00ab297c3 65af6457-51ca-407d-8ab4-aea00ab297c3_disk // <- dette er objektet vi skal montere opp # rbd-nbd map volumes/65af6457-51ca-407d-8ab4-aea00ab297c3_disk /dev/nbd0 # fdisk -l /dev/nbd0 Disk /dev/nbd0: 20 GiB, 21474836480 bytes, 41943040 sectors Units: sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes Disklabel type: dos Disk identifier: 0xf1917857 Device Boot Start End Sectors Size Id Type /dev/nbd0p1 * 2048 41943006 41940959 20G 83 Linux # mount /dev/nbd0p1 /monter/disken/her // Og vips, har du tilgang til filsystemet :-)
Avmontering
Når du er ferdig, må du selvfølgelig avmontere ceph-objektet
# umount /monter/disken/her // For sikkerhets skyld, kan du sjekke hvilke ceph objekter som er mappet opp # rbd-nbd list-mapped pid pool image snap device 1037278 volumes 65af6457-51ca-407d-8ab4-aea00ab297c3_disk - /dev/nbd0 # rbd-nbd unmap /dev/nbd
Done! Nå er det trygt å skru på igjen VMen 
Fjerne passord på Windowsbrukere
Vha trikset "lokal montering av disker fra ceph" nevnt ovenfor, kan man fjerne passordet fra en Windowsbruker dersom brukeren har glemt det; eller at cloudbase-init har funnet på endre det av seg selv (ja, dette har skjedd - flere ganger).
- Monter opp volumet fra ceph, slik nevnt over
- Installer chntpw, dersom det ikke er installert fra før
RDP trenger ikke nødvendigvis å godta innlogging uten passord, så det kan godt hende man må logge inn via konsollet i Horizon og sette nytt passord der.
Mappe disk-device til fysisk disk
Når vi har en døende disk, trenger man å mappe devicen i OSet til fysisk disk i serveren. Den mest idiotsikre måten å gjøre dette på:
root@storageNNN# smartctl -i /dev/sd[abcdef...] === START OF INFORMATION SECTION === Vendor: SEAGATE Product: ST4000NM0023 Revision: GS11 Compliance: SPC-4 User Capacity: 4,000,787,030,016 bytes [4.00 TB] Logical block size: 512 bytes LU is fully provisioned Rotation Rate: 7200 rpm Form Factor: 3.5 inches Logical Unit id: 0x5000c500964af273 Serial number: S1Z1VXJT Device type: disk Transport protocol: SAS (SPL-3) Local Time is: Wed Sep 21 09:45:11 2022 CEST SMART support is: Available - device has SMART capability. SMART support is: Enabled Temperature Warning: Disabled or Not Supported
Dette printer bl.a serienummer på disken. Den kan man finne igjen i iDRAC, og dermed finner man også den fysiske slot-en devicen/disken sitter i.
Haproxy
To take a server out of haproxy rotation the following command can be used:
root@servicelb3:~# echo "disable server bk_keystone_public/controller03" | nc -U /var/lib/haproxy/stats
Openstack
List status of all vm's and which compute node
for a in $(openstack compute service list -c Host | egrep -e "comp|gpu" | cut -d' ' -f2); do openstack server list --host $a --long -c ID -c Name -c Status -c Host --sort-column Host --all; done
Fix instances stuck in powering-off or powering-on
# Stuck powering-off? nova reset-state --active <id> openstack server stop <id> # Stuck powering-on nova reset-state <id> Reset state for server <id> succeeded; new state is error nova reset-state --active <id> openstack server stop <id> openstack server start <id
List instances on all compute nodes on stack.it.ntnu.no
tmp_file=/tmp/$$.stack.tmp
while true ; do
rm /tmp/*.stack.tmp
for a in $(seq -w 01 07);
do echo compute$a >> $tmp_file
openstack server list --all --host compute$a >> $tmp_file
done
clear
cat /tmp/bjarneskvms
rm $tmp_file
sleep 1
done
List all instances in a project
openstack server list --project ntnu-00001
List all instances in a project with specified name
openstack server list --project ntnu-00001 --name bjarneskvm-\*
Migrate all instances away from one node. Be sure that destination have capasity to receive. The break time is included for a safe time to hold ctrl+c
from_node=compute07 to_node=compute04 for a in $(openstack server list --host $from_node --all -f value -c ID); do do echo $a to $to_node openstack server migrate --block-migration --live $to_node --wait $a echo break sleep 3 echo break done
Specify virtual disk controller and/or virtual nic type
Windows does not ship with the virtio drivers. Since our installation always will default to virtio devices for i.e the virtual disk controller and the virtual network interface, the windows images in Glance needs to have these drivers pre-installed.
There may be situations where users want to upload existing Windows images without these drivers installed. To be able to boot them without adding these drivers, it is possible to change the virtual hardware devices:
openstack image set --property hw_disk_bus='ide' <image-id> openstack image set --property hw_vif_model='e1000' <image-id>
This commands will tell KVM/libvirt to use IDE disk controller and E1000 NIC. Be aware that this may reduce the virtual machine performance significantly!
Ping all routers in a given external network
openstack port list -f value --long --network ntnu-[global|internal] | grep router | awk '{print $3}' | cut -d"'" -f2 | xargs -n1 ping -c2
Fix missing neutron dragents in BGP speakers
For some odd reason the BGP speakers seems to forget which neutron dragents they have been configured to include. Here's som troubleshooting tips. Typical symptom is that all the tenant IPv6 routes are gone..
# List all neutron dragents (you will need the ID) $ openstack network agent list --sort-column Host --agent-type bgp +--------------------------------------+---------------------------+---------------+-------------------+-------+-------+---------------------+ | ID | Agent Type | Host | Availability Zone | Alive | State | Binary | +--------------------------------------+---------------------------+---------------+-------------------+-------+-------+---------------------+ | 73d17a70-6d81-4b41-9a17-ea0b64fbbca8 | BGP dynamic routing agent | neutronnet1 | None | :-) | UP | neutron-bgp-dragent | | 181618ad-ec71-4dc2-8074-459ff691d032 | BGP dynamic routing agent | neutronnet2 | None | :-) | UP | neutron-bgp-dragent | | 990cfb8d-4f21-48fa-9bd3-e1eed9f68b1f | BGP dynamic routing agent | neutronnet3 | None | :-) | UP | neutron-bgp-dragent | | f4cbef36-e812-41fc-acc2-57f0fc5e5604 | BGP dynamic routing agent | neutronv4bgp1 | None | :-) | UP | neutron-bgp-dragent | | 16546bec-d33a-4b44-8a0a-ac04b4fbc4af | BGP dynamic routing agent | neutronv4bgp2 | None | :-) | UP | neutron-bgp-dragent | | 8862c571-8e44-47a8-8e89-b091058497d8 | BGP dynamic routing agent | neutronv6bgp1 | None | :-) | UP | neutron-bgp-dragent | | 088a8f05-fb6f-4e2d-8b0c-4dcb2166337f | BGP dynamic routing agent | neutronv6bgp2 | None | :-) | UP | neutron-bgp-dragent | +--------------------------------------+---------------------------+---------------+-------------------+-------+-------+---------------------+ # List the BGP speakers (you will need the name) $ openstack bgp speaker list +--------------------------------------+---------------+----------+------------+ | ID | Name | Local AS | IP Version | +--------------------------------------+---------------+----------+------------+ | 33dc46ad-e6fc-4369-872e-b05436d320ee | bgpspeaker-v4 | 65102 | 4 | | 4c7c1129-f7c4-4756-af32-3d57abe4dc77 | bgpspeaker-v6 | 65102 | 6 | +--------------------------------------+---------------+----------+------------+ # List the dragents currently attached to a given speaker $ openstack bgp speaker show dragents bgpspeaker-v6 +--------------------------------------+---------------+-------+-------+ | ID | Host | State | Alive | +--------------------------------------+---------------+-------+-------+ | 088a8f05-fb6f-4e2d-8b0c-4dcb2166337f | neutronv6bgp2 | True | :-) | | 8862c571-8e44-47a8-8e89-b091058497d8 | neutronv6bgp1 | True | :-) | +--------------------------------------+---------------+-------+-------+ # If some of the agents above are missing, re-add them: $ openstack bgp dragent add speaker 8862c571-8e44-47a8-8e89-b091058497d8 bgpspeaker-v6
Endre expiry dato på prosjekt
openstack project set --property expiry='<dd.mm.yyyy>' <prosjekt id>
Hent totalt utdelte gigabyte av en gitt volumtype
openstack volume list --all-projects --long -c Size -c Type -f value | grep <VOLUMETYPE> | awk '{split($0,a," "); sum += a[1]} END {print sum}'
Finne alle security groups som er i bruk i et prosjekt
for i in $(openstack server list --sort-column Name -c Name -f value); do openstack server show -f json $i -c security_groups | jq '.security_groups[] | {name} | join("")'; done | sort | uniq
Eksemplet antar at du er autha i et spesifikt prosjekt. Gjør du det der som admin, bør du hekte på --project <prosjektnavn> i kommandoen som løkka itererer over.
Sjekk hvilke VMer som har ressursallokeringer mot en gitt resource provider
$ openstack resource provider show --allocations 5c79c68e-9c90-40fa-ac06-7e248892dc9b
+----------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| Field | Value |
+----------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| uuid | 5c79c68e-9c90-40fa-ac06-7e248892dc9b |
| name | gpu302.infra.skyhigh.iik.ntnu.no_0000:81:00.0 |
| generation | 10 |
| root_provider_uuid | 229570a2-018d-40b1-9112-460c6fa9fbce |
| parent_provider_uuid | 229570a2-018d-40b1-9112-460c6fa9fbce |
| allocations | {'f4216e0e-6db0-41c2-9ceb-b403dde285dd': {'resources': {'CUSTOM_A100D_20G': 1}, 'consumer_generation': 2}, '0c8d028a-9b96-4b6e-af42-73b08215123d': {'resources': {'CUSTOM_A100D_20G': 1}, 'consumer_generation': 2}, |
| | 'ab522623-7b02-441c-a81c-9d54e0098595': {'resources': {'CUSTOM_A100D_20G': 1}, 'consumer_generation': 2}, 'cd103ef4-5eac-4193-883a-5d360f34f8ca': {'resources': {'CUSTOM_A100D_20G': 1}, 'consumer_generation': 2}} |
+----------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
Rydde vekk ressursallokeringer for slettede VMer
Noen gang kan man ende opp i en situasjon for en slettet VM fortsatt har ressursallokeringer mot en compute-node, selv om VMen slettet. Det vises typisk i nova-compute.log på compute-noden, slik
2025-03-10 15:06:21.308 5363 INFO nova.compute.resource_tracker [None req-e2bdf159-6aea-4667-99cd-7359b0fec2c0 - - - - - -] Instance c555a97e-113b-4c05-84a2-32f32226c99a has allocations against this compute host but is not found in the database.
Dette kan man videre dobbeltsjekke med placement-APIet, slik at man ser at jada - det er en ressursallokering i databasen:
$ openstack resource provider allocation show c555a97e-113b-4c05-84a2-32f32226c99a
+--------------------------------------+------------+-----------------------------------------------+----------------------------------+------------------------------------------------------------------+---------------+
| resource_provider | generation | resources | project_id | user_id | consumer_type |
+--------------------------------------+------------+-----------------------------------------------+----------------------------------+------------------------------------------------------------------+---------------+
| 03a8c1cd-d332-4511-9f40-266271b1caf0 | 5029 | {'VCPU': 2, 'MEMORY_MB': 4096, 'DISK_GB': 40} | e14c44276b424209afec794ec6a6e01a | f266fc21ec2e114d4a2369e779407b2dcd918b90e2763a6a96e6815738de6875 | unknown |
+--------------------------------------+------------+-----------------------------------------------+----------------------------------+------------------------------------------------------------------+---------------+
Hvis man vil være på den virkelig sikre siden, kan man slå opp resource_provider IDen, for så se at det er samme compute-host man leste loggene fra
$ openstack resource provider show 03a8c1cd-d332-4511-9f40-266271b1caf0 -c name
Når du ser at alt stemmer, kan man slette allokeringen med følgende kommando, hvor UUIDen da er referanse til VMen:
$ openstack resource provider allocation delete c555a97e-113b-4c05-84a2-32f32226c99a
Sjekk ledige GPU-ressurser
For moderne GPUer som deles ut via custom resources i placement (alle som ikke fortsatt realiseres med mdevs i OSet - dvs dette gjelder for A- og L-serie eller nyere):
$ openstack allocation candidate list --resource CUSTOM_A100_20G=1 +---+-------------------+-----------------------------+-------------------------+-------------------------------+ | # | allocation | resource provider | inventory used/capacity | traits | +---+-------------------+-----------------------------+-------------------------+-------------------------------+ | 1 | CUSTOM_A100_20G=1 | 13175471-565c-4cce-811c- | CUSTOM_A100_20G=1/2 | CUSTOM_A100_20G,COMPUTE_MANAG | | | | 37e1e6231043 | | ED_PCI_DEVICE | | 2 | CUSTOM_A100_20G=1 | 205cd835-5c6f-4d19-8867- | CUSTOM_A100_20G=1/2 | CUSTOM_A100_20G,COMPUTE_MANAG | | | | b7d81fc7bd4b | | ED_PCI_DEVICE,CUSTOM_NBL_GPU | +---+-------------------+-----------------------------+-------------------------+-------------------------------+
Om man skulle lure på som er i bruk av slike custom resources:
$ openstack resource class list | grep CUSTOM
Rabbitmq
Manually drain a queue
kanin1# rabbitmqadmin purge queue name=name_of_the_queue_to_be_purged
Fjerne en node fra clusteret (f.eks hvis det har delt seg)
kaninN# rabbitmqctl stop_app kaninN# rabbitmqctl reset ## På dette tidspunktet er det lurt å sjekke rabbitmqctl cluster_status på en annen node, for å verifisere at clusteret ikke lenger er flere partitions # Legg den til igjen kaninN# rabbitmqctl start_app kaninN# rabbitmqctl cluster_status # sjekk at alle er med, og det ikke er noen partitions
ipmitool
apt install ipmitool
Hvis den ikke oppfører seg:
Could not open device at /dev/ipmi0 or /dev/ipmi/0 or /dev/ipmidev/0: No such file or directory then you need to enable the following modules modprobe ipmi_devintf modprobe ipmi_si
SQL
Div kjekke SQL-spørringer som er mye raskere enn Openstack CLI og ei for-løkke
Hente info fra MISC-VMer
# Hent alle kjørende VMer i SkyHiGh's MISC-prosjekt, og all metadata knyttet til VMene MariaDB [nova]> SELECT i.uuid,i.hostname,md.key,md.value FROM instances i INNER JOIN instance_metadata md ON i.uuid = md.instance_uuid WHERE i.project_id='d9c7305133b44e98b2cf74aca04cc610' AND i.deleted=0 ; # Det eksemplet der var ikke så kult, fordi dette er også ganske raskt: openstack server list --project MISC --fit-width -c ID -c Name -c Status -c Networks -c Properties
Hent alle prosjekter som har igjen færre enn N dager å leve
Hvor N er tallet (her eksempelvis 30) på slutten av spørringa
MariaDB [keystone]> SELECT name, extra FROM project WHERE domain_id=(SELECT id FROM project WHERE is_domain=1 AND name='NTNU') AND DATEDIFF(STR_TO_DATE(JSON_VALUE(extra,'$.expiry'),'%d.%m.%Y'),NOW()) <= 30;
Hent alle prosjekter uten expiry satt
MariaDB [keystone]> SELECT name FROM project WHERE domain_id=(SELECT id FROM project WHERE is_domain=1 AND name='NTNU') AND extra NOT LIKE '%expiry%';
Mappe instans til VGPU-nummer når man ser på munin-grafer:
MariaDB [munin-vgpu]> select * from instancemapping where instance_id = '<instans-ID>';
Mappe instanser til en gitt VGPU-graf når man ser på munin-grafer:
MariaDB [munin-vgpu]> select * from instancemapping where gpu = '<pci-e-ID>' and vgpu = '<VGPU-nr>' order by attached;
Shiftleader
Triks for å mekke DNS til TTM4135-prosjekter
Prosjekter til dette emnet skal opprettes med scriptet createProjectTTM4135.sh. Outputen her, er prosjekt som alle har tilgang på et felles nett, ttm4135 (lever i MISC), har en forhåndsallokert FIP fra ntnu-global, hvor FIPen er tagget med ttm4135 og TTM4135_V<år>_<gruppe>.
Til slutt bruker vi shiftleader CLI for å mekke DNS-navn på formatet ttm4135-v<år>-<gruppe>.public.skyhigh.iik.ntnu.no
For å mekke DNS, gjøre vi følgende. Først, finn alle adressene og navnene
openstack floating ip list -f json --tags ttm4135 --long -c 'Floating IP Address' -c Tags | jq -r '.[] | "\(.["Floating IP Address"]),\(.Tags[1])"' | tr '_' '-' | tr '[:upper:]' '[:lower:]' > FILADI.txt
Formateringa blir nå helt perfekt, og du får FILADI.txt på følgende format:
<ip>,ttm4135-<semester>-<gruppe>
Med den fila på plass, kan du gjøre følgende triks, for å mekke DNS-records
for i in $(cat FILADI.txt); do sl2 record create $(echo $i | cut -d',' -f2).public.skyhigh.iik.ntnu.no SkyHiGh A $(echo $i | cut -d',' -f1); done
Og da skal alt være i mål =)
Kanskje du får lyst til å slette de igjen når emnet er ferdig?
for i in $(cat FILADI.txt | cut -d',' -f2); do sl2 record delete "${i}.public.skyhigh.iik.ntnu.no"; done