| Alat | Svrha | Supek | Padobran |
|---|---|---|---|
| jobstat | statistika poslova |  | |
| gpustat | iskorištenost GPU-ova | |
|
| job_tmp_size | zauzeće scratch/TMPDIR | | |
jobstat
Alat za pregledavanje dvotjedne povijesti poslova. Omogućava korisnicima jednostavan uvid u odnose iskorištenih i zatraženih resursa.
Opcije:
- odabira korisnika za koji se povijest ispisuje;
- -u USERNAME, --username USERNAME
- prikazivanja i analizu poslova iz polja poslova:
- -a, --array
- odabira početka i kraja perioda za koji se prikazuju poslovi (unutar 14 dana):
- -b BEGIN, --begin BEGIN (mmddHHMM)
- -e END, --end END (mmddHHMM)
- odabir broja poslova za koji se prikazuju podaci
- -n JOB_NUMBER, --job-number JOB_NUMBER
- statistička obrada podataka
- -s, --statistics
- skraćeni prikaz - automatski pali statističku obradu podataka
- -S, --Short
- prikaz za točno određene poslove (po job_idu)
- -j [JOBS [JOBS ...]], --jobs [JOBS [JOBS ...]]
- odabir reda u kojem se traže poslovi - alat radi SAMO ZA cpu redove (cpu, cpu-single, cpu-test)
- -q QUEUE, --queue QUEUE
Primjeri:
Bez zadanih parametara, jobstat vraća podatke za 10 poslijednjih poslova koji su uspješno završeni, za korisnika koji je pokrenuo naredbu. Ne vraća se zbirna statistika i gleda se cpu red.
[korisnik@x3000c0s25b0n0 pbs-test]$ jobstat JOB ID NCPUS LOAD % MEM USED.MEM WALLTIME USED.WALLTIME Exit -------------------------------------------------------------------------------------- 286836 5 0 9gb 0gb 00:01:00 00:00:11 0 291970 2 6 2gb 2gb 00:11:00 00:01:46 0 291971 2 1 2gb 1gb 00:11:00 00:01:41 0 291972 2 3 2gb 2gb 00:11:00 00:01:43 0 291973 2 1 2gb 1gb 00:11:00 00:01:42 0 291987 2 27 1gb 1gb 00:11:00 00:00:04 0 291988 2 10 1gb 1gb 00:11:00 00:00:08 0 291989 2 7 1gb 1gb 00:11:00 00:00:11 0
Statistički prikazuje pojedinačne poslove, ali i usrednjene vrijednosti za prikazane poslove
[korisnik@x3000c0s25b0n0 pbs-test]$ jobstat -q bigmem -s JOB ID NCPUS LOAD % MEM USED.MEM WALLTIME USED.WALLTIME Exit -------------------------------------------------------------------------------------- 291974 2 1 2gb 0gb 00:11:00 00:00:09 0 291975 2 11 2gb 2gb 00:11:00 00:00:03 0 291976 2 3 2gb 1gb 00:11:00 00:00:07 0 291982 2 9 1gb 1gb 00:11:00 00:00:05 0 291983 2 7 1gb 1gb 00:11:00 00:00:05 0 291984 2 18 1gb 1gb 00:11:00 00:00:03 0 291985 2 2 1gb 0gb 00:11:00 00:00:04 0 291986 2 1 1gb 0gb 00:11:00 00:00:07 0 ────────────────────────────────────────────────────────────────────────────────────── JOBS AVG NCPUS LOAD % AVG MEM AVG U.MEM AVG WTIME AVG U.WTIME 8 2 6 1gb 0gb 00:11:00 00:00:05
Kod analize polja poslova opcijom -a , prikazuju se svi podposlovi
[korisnik@x3000c0s25b0n0 ~]$ jobstat -a -f Searching for job arrays JOB ID NCPUS LOAD % MEM USED.MEM WALLTIME USED.WALLTIME Exit -------------------------------------------------------------------------------------- 292004[1] 10 198 100gb 1gb 00:05:00 00:05:18 -29 292004[2] 10 198 100gb 1gb 00:05:00 00:05:49 -29 292004[3] 10 198 100gb 1gb 00:05:00 00:05:21 -29 292004[4] 10 198 100gb 1gb 00:05:00 00:05:20 -29 292004[5] 10 198 100gb 1gb 00:05:00 00:05:33 -29 292013[1] 10 198 100gb 1gb 00:05:00 00:03:22 0 292013[2] 10 198 100gb 1gb 00:05:00 00:03:22 0 292013[3] 10 198 100gb 1gb 00:05:00 00:03:22 0 292013[4] 10 198 100gb 1gb 00:05:00 00:03:23 0 292013[5] 10 198 100gb 1gb 00:05:00 00:03:22 0
Kod korištenja skračenog prikaza, naznačen je ukupan broj poslova koji bi mogao ući u analizu, ali se obrađuju samo uspješno završeni poslovi. Ako se doda opcija -f (eng. failed) uzimaju se i poslovi čiji je exit_status različit od 0.
[korisnik@x3000c0s25b0n0 pbs-test]$ jobstat -q bigmem -S Analysis done for 8 / 9 jobs. ────────────────────────────────────────────────────────────────────────────────────── JOBS AVG NCPUS LOAD % AVG MEM AVG U.MEM AVG WTIME AVG U.WTIME 8 2 6 1gb 0gb 00:11:00 00:00:05 [korisnik@x3000c0s25b0n0 pbs-test]$ jobstat -q bigmem -S -f -u korisnik Analysis done for 9 / 9 jobs. ────────────────────────────────────────────────────────────────────────────────────── JOBS AVG NCPUS LOAD % AVG MEM AVG U.MEM AVG WTIME AVG U.WTIME 9 3 27 3gb 0gb 00:10:00 00:00:22
Kod zadavanja vremenskog intervala moguće je zadati početak i kraj ili samo jedno od toga. U slučaju da se zadaju samo početak ili samo kraj, alat gleda ili 24 sata unazad ili do trenutka pokretanja alata uz odgovarajuću poruku.
[korisnik@x3000c0s25b0n0 ~]$ jobstat -b 07091440 -e 07091500 -n 100 -a -f Searching for job arrays JOB ID NCPUS LOAD % MEM USED.MEM WALLTIME USED.WALLTIME Exit -------------------------------------------------------------------------------------- 292013[1] 10 198 100gb 1gb 00:05:00 00:03:22 0 292013[2] 10 198 100gb 1gb 00:05:00 00:03:22 0 292013[3] 10 198 100gb 1gb 00:05:00 00:03:22 0 292013[4] 10 198 100gb 1gb 00:05:00 00:03:23 0 292013[5] 10 198 100gb 1gb 00:05:00 00:03:22 0 [korisnik@x3000c0s25b0n0 ~]$ jobstat -e 07091500 -n 100 -a -f Searching for job arrays Begin date not set, searching jobs 1 day before end date. JOB ID NCPUS LOAD % MEM USED.MEM WALLTIME USED.WALLTIME Exit -------------------------------------------------------------------------------------- 292004[1] 10 198 100gb 1gb 00:05:00 00:05:18 -29 292004[2] 10 198 100gb 1gb 00:05:00 00:05:49 -29 292004[3] 10 198 100gb 1gb 00:05:00 00:05:21 -29 292004[4] 10 198 100gb 1gb 00:05:00 00:05:20 -29 292004[5] 10 198 100gb 1gb 00:05:00 00:05:33 -29 292013[1] 10 198 100gb 1gb 00:05:00 00:03:22 0 292013[2] 10 198 100gb 1gb 00:05:00 00:03:22 0 292013[3] 10 198 100gb 1gb 00:05:00 00:03:22 0 292013[4] 10 198 100gb 1gb 00:05:00 00:03:23 0 292013[5] 10 198 100gb 1gb 00:05:00 00:03:22 0
gpustat
Alat za pregledavanje aktivnih poslova koji koriste grafičke poslužitelje. Moguće je pregledavanje samo vlastitih poslova. Polja poslova se automatski prepoznaju i prikazuju.
Alat dohvaća podatke o iskorištenju grafičkih procesora (GPU Utilization) i količini zauzete GPU memorije (Memory Usage)
Uz job_id svakog posla naznačen je čvor na kojem se koristi grafički procesor, te koji grafički procesor se koristi.
Grafički procesori su grupirani po poslovima koji ih koriste
Primjeri
[korisnik@x3000c0s25b0n0 ~]$ gpustat
Job Node GPU Gpu-ut Memory used
-----------------------------------------------------------------
291978 x8000c2s0b0n1 GPU-2 100 % 35531 MiB
x8000c2s0b0n1 GPU-0 100 % 35531 MiB
x8000c2s0b0n1 GPU-3 100 % 35531 MiB
x8000c2s0b0n1 GPU-1 100 % 35531 MiB
[korisnik@x3000c0s25b0n0 ~]$ gpustat
Job Node GPU Gpu-ut Memory used
-----------------------------------------------------------------
291980 x8000c2s0b0n1 GPU-2 100 % 35531 MiB
x8000c2s0b0n1 GPU-0 100 % 35531 MiB
291981 x8000c2s0b0n1 GPU-3 100 % 35531 MiB
x8000c2s0b0n1 GPU-1 100 % 35531 MiB
job_tmp_size
Alat za pregledavanje veličine privremenih direktorija na scratchu. Vraća informaciju o svim privremenim direktorijima koje poslovi korisnika kreiraju u $TMPDIR. Prikazuje sumu ukupnih datoteka svih poslova.
primjer
[korisnik@x3000c0s25b0n0 ~]$ job_tmp_size JOB_ID : 291785 8.0K /lustre/scratch/pbs.291785.x3000c0s25b0n0.hsn.hpc.srce.hr JOB_ID : 291786 8.0K /lustre/scratch/pbs.291786.x3000c0s25b0n0.hsn.hpc.srce.hr JOB_ID : 291787 8.0K /lustre/scratch/pbs.291787.x3000c0s25b0n0.hsn.hpc.srce.hr JOB_ID : 291788 8.0K /lustre/scratch/pbs.291788.x3000c0s25b0n0.hsn.hpc.srce.hr 32K total