Page tree
Skip to end of metadata
Go to start of metadata
Sadržaj

Uvod


Berkeley Database Information Index (BDII) se sastoji od standardne LDAP baze podataka koja se ažurira od strane vanjskog procesa. Proces ažuriranja dohvaća LDIF (LDAP Data Interchange Format) iz više različitih izvora, te ih spaja. Sustav zatim uspoređuje dobiveni LDIF sa trenutnim sadržajem baze podataka i stvara novi LDIF.

BDII servis omogućuje dohvat podataka o EGI resursima putem LDAP protokola.

LCG Tools


LCG je alat koji omogućuje dohvat informacija o čvorovima, servisima i sjedištima unutar EGI sustava koristeći BDII sustav:

  • Computing Element čvorovi (CE)
  • Storage Element čvorovi (SE)

LFG alati dohvaćaju vrijednosti raspoloživih atributa za čvorove.

lcg-info


LCG-info naredba je fleksibilan alat za ispis vrijednosti atributa željenih CE, SE, servisa i sjedišta. Uz to omogućava odabir samo instanci koje zadovoljavaju određeni skup uvjeta na svojim atributima. Informacije se dohvaćaju pomoću BDII-ja određenog LCG_GFAL_INFOSYS varijablom okoline ili putem komandne linije.

Osnovni format naredbe:

$ lcg-info [--list-ce | --list-se | --list-service | --list-site ]
           [--query <query>] [--attrs <attrs>]

Opcije --list-ce , --list-se , --list-service i --list-site određuju dohvaćaju li se informacije o CE, SE čvorovima, servisima ili sjedišta.

Opcija --guerry koristi se kao filtar u kojem se definiraju zahtjevi koji moraju biti zadovoljeni.

Opcija --attrs se koristi za definiciju atributa koje se žali dohvatiti

Opcija --vo se može koristiti za ograničavanje upita na CE i SE čvorove koji podržavaju danu VO. Ova opcija je obavezna kod upita za atribute koji su inherentno vezani uz VO, kao npr. AvailableSpace i UsedSpace.

Osim popisa opcija --help može biti samostalno navedena za dobivanje detaljnog opisa naredbi. Opcija --list-attrs se može koristiti da biste dobili popis podržanih atributa.

Primjeri

Dohvat popisa dostupnih atributa

$ lcg-info --list-attrs

Attribute name      Glue object class     Glue attribute name
WorstRespTime       GlueCE                GlueCEStateWorstResponseTime
CEAppDir            GlueCE                GlueCEInfoApplicationDir
TotalCPUs           GlueCE                GlueCEInfoTotalCPUs
MaxRunningJobs      GlueCE                GlueCEPolicyMaxRunningJobs
...

Dohvat popisa CE čvorova i zadanih atributa koji zadovoljavaju određeni uvjet

$ lcg-info --vo dteam --list-ce --query 'Processor=*thlon*,OS=*Scientific*' 
           --attrs 'RunningJobs,FreeCPUs'

- CE: ce.grid.eenet.ee:2119/jobmanager-lcgpbs-dteam
  - RunningJobs         0
  - FreeCPUs            7
  ...
 

Dohvat popisa svih WMProxy servisa koji podržavaju određeni VO

$ lcg-info --list-service --vo cms --query ServiceType=org.glite.wms.WMProxy

- Service: grid07.lal.in2p3.fr_org.glite.wms.WMProxy
- Service: grid25.lal.in2p3.fr_org.glite.wms.WMProxy
- Service: https://cms-wms.desy.de:7443/glite_wms_wmproxy_server
...

Dohvat popisa svih sjedišta u sustavu

$ lcg-info --list-site

- Site: AEGIS01-PHY-SCL
- Site: AEGIS07-PHY-ATLAS
- Site: AGLT2
...

lcg-infosites


Naredba lcg-infosites se može koristiti za ispis formatiranih informacija o različitim vrstama Grid usluga.

Tipična sintaksa:

lcg-infosites --vo <vo> [-v <verbosity>] [-f <site>] [--is <bdii>] <selection>

Opcija --vo se koristi za definiranje VO-e nad čijim se servisima generira upit.

Opcija --is zadaje BDII servis koji se koristi kod upita

Opcija -f ograničava dohvat informacija na zadano sjedište.

Na kraju naredbe potrebno je navesti koje informacije se žele dohvatiti:

  • ce: detalji o CE čvoru
  • se: detalji o SE čvoru
  • space: detalji o korištenju prostora po SE čvorovima
  • closeSE: popis CE čvorova i pripadajućih (bliskih) SE čvorova
  • tag: oznake programskih paketa objavljenih za određenu VO
  • lfc: LFC dostupni određenoj VO
  • wms: WMS dostupan određenoj VO
  • sitenames: nazivi svih WLCG/EGI sjedišta

Primjeri

Dohvat informacije o računalnim resursima

$ lcg-infosites --vo lhcb ce

# CPU Free Total Jobs Running Waiting ComputingElement
----------------------------------------------------------------
1672    23        822     821       1 abaddon.hec.lancs.ac.uk:8443/cream-lsf-normal
   0     0          1       1       0 apcce01.in2p3.fr:2119/jobmanager-pbs-lhcb
 248   247          1       1       0 apcce02.in2p3.fr:8443/cream-pbs-lhcb
6083  5168        915     757     158 cccreamceli03.in2p3.fr:8443/cream-bqs-long
4606  4606          0       0       0 cccreamceli03.in2p3.fr:8443/cream-bqs-medium
...

Dohvat informacije o podatkovnim resursima

$ lcg-infosites --vo atlas se

Avail Space(kB) Used Space(kB)  Type  SE
------------------------------------------
     2974655086     1821615423  gftp  AGLT2_classicSE
   196915637682      996363042  gftp  BELLARMINE-ATLAS-T3_classicSE
      103269564      446486249  gftp  BNL-ATLAS_classicSE
...

Dohvat detaljnih informacija o korištenju SE čvora

$ lcg-infosites --vo atlas space -f triumf-lcg2

  Free     Used Reserved     Free     Used Reserved Tag              SE
Online   Online   Online Nearline Nearline Nearline
-------------------------------------------------------------------------------
     6       3         0        0        0        0 -                roc-se.triumf.ca
257717  1092283  1350000        0        0        0 ATLASDATADISK    srm.triumf.ca
 29909       91    30000        0        0        0 ATLASDATATAPE    srm.triumf.ca
  4470   145530   150000        0        0        0 ATLASGROUPDISK   srm.triumf.ca
  3684     1316     5000        0        0        0 ATLASHOTDISK     srm.triumf.ca
...

Dohvat popisa bliskih SE čvorova

$ lcg-infosites --vo dteam closeSE

Name of the CE: abaddon.hec.lancs.ac.uk:8443/cream-lsf-normal
                fal-pygrid-30.lancs.ac.uk

Name of the CE: adm01.atlas.ualberta.ca:8443/cream-pbs-dteam
                se01.atlas.ualberta.ca

Name of the CE: agh5.atlas.unimelb.edu.au:8443/cream-pbs-dteam
                agh3.atlas.unimelb.edu.au
...

ldapsearch


Naredba ldapsearch je dostupna na većini Linux distribucija i može se koristiti za postavljanje upita WLCG / EGI informacijskom sustavu.

Tipični oblik naredbe:

ldapsearch -x -H ldap://<hostname>:<port> -b <search base> <filter> <attributes>

Opcija -x omogućuje korištenje jednostavne autentifikacije umjesto SASL (Simple Authentication and Security Layer).

Opcija -H omogućuje definiciju OpenLDAP servera kojem se šalje zahtjev.

Opcija -b omogućuje definiciju osnove za pretraživanje. To je točka na DIT (Directory information tree) od koje kreće pretraga.

Filtar (blok <filter>) se koristi za filtriranje podataka pretrage.

Atributi (blok <attributes>) se kriste za definiciju podataka koje se žele dohvatiti danim zahtjevom.

Primjeri

Dohvat svih GRID servisa i tipova tih servisa.

$ ldapsearch -LLL -x -h bdii-egee.srce.hr -p 2170 -b "mds-vo-name=local,o=grid" \
objectclass=GlueService GlueServiceUniqueID GlueServiceType

dn: GlueServiceUniqueID=voms310.cern.ch_org.glite.voms_1379051159_envirogrids.
 vo.eu-egee.org,Mds-Vo-name=CERN-PROD,Mds-Vo-name=local,o=grid
GlueServiceUniqueID: voms310.cern.ch_org.glite.voms_1379051159_envirogrids.vo.
 eu-egee.org
GlueServiceType: org.glite.voms

dn: GlueServiceUniqueID=voms306.cern.ch_org.glite.voms_1379051159_envirogrids.
 vo.eu-egee.org,Mds-Vo-name=CERN-PROD,Mds-Vo-name=local,o=grid
GlueServiceUniqueID: voms306.cern.ch_org.glite.voms_1379051159_envirogrids.vo.
 eu-egee.org
GlueServiceType: org.glite.voms
...

Dohvat dva atributa

$ ldapsearch -x -LLL -H ldap://bdii-egee.srce.hr:2170 -b "mds-vo-name=local,o=grid" \
’objectclass=GlueCESEBind’ GlueCESEBindCEUniqueID GlueCESEBindSEUniqueID

dn: GlueCESEBindSEUniqueID=heplnx204.pp.rl.ac.uk,GlueCESEBindGroupCEUniqueID=h
 eplnx206.pp.rl.ac.uk:8443/cream-pbs-grid,Mds-Vo-name=UKI-SOUTHGRID-RALPP,Mds-
 Vo-name=local,o=grid
GlueCESEBindSEUniqueID: heplnx204.pp.rl.ac.uk
GlueCESEBindCEUniqueID: heplnx206.pp.rl.ac.uk:8443/cream-pbs-grid

dn: GlueCESEBindSEUniqueID=t2se01.physics.ox.ac.uk,GlueCESEBindGroupCEUniqueID
 =t2ce02.physics.ox.ac.uk:8443/cream-pbs-longfive,Mds-Vo-name=UKI-SOUTHGRID-OX
 -HEP,Mds-Vo-name=local,o=grid
GlueCESEBindSEUniqueID: t2se01.physics.ox.ac.uk
GlueCESEBindCEUniqueID: t2ce02.physics.ox.ac.uk:8443/cream-pbs-longfive
...

Dohvat svih CE čvorova koji objavljuju određeni atribut

$ ldapsearch -h lcg-bdii.cern.ch -p 2170 -b "mds-vo-name=local,o=grid" \
-x ’objectclass=GlueSubCluster’ \
GlueChunkKey

# clrlcgce03.in2p3.fr, clrlcgce03.in2p3.fr, IN2P3-LPC, local, grid
dn: GlueSubClusterUniqueID=clrlcgce03.in2p3.fr,GlueClusterUniqueID=clrlcgce03.
 in2p3.fr,Mds-Vo-name=IN2P3-LPC,Mds-Vo-name=local,o=grid
GlueChunkKey: GlueClusterUniqueID=clrlcgce03.in2p3.fr

# clrccece01.in2p3.fr, clrccece01.in2p3.fr, IN2P3-LPC, local, grid
dn: GlueSubClusterUniqueID=clrccece01.in2p3.fr,GlueClusterUniqueID=clrccece01.
 in2p3.fr,Mds-Vo-name=IN2P3-LPC,Mds-Vo-name=local,o=grid
GlueChunkKey: GlueClusterUniqueID=clrccece01.in2p3.fr
...

Dohvat svih SE čvorova koji podržavaju određenu VO

$ ldapsearch -LLL -h bdii-egee.srce.hr -p 2170 -b \
"mds-vo-name=local,o=grid" -x "GlueSAAccessControlBaseRule=alice" \
GlueChunkKey GlueSAStateAvailableSpace GlueSAStateUsedSpace

dn: GlueSALocalID=default,GlueSEUniqueID=ndcms.crc.nd.edu,Mds-Vo-name=NWICG_ND
 CMS,Mds-Vo-name=local,o=grid
GlueChunkKey: GlueSEUniqueID=ndcms.crc.nd.edu
GlueSAStateUsedSpace: 135300367192
GlueSAStateAvailableSpace: 85303978332

dn: GlueSALocalID=default,GlueSEUniqueID=osg.crc.nd.edu,Mds-Vo-name=NWICG_Notr
 eDame,Mds-Vo-name=local,o=grid 
GlueChunkKey: GlueSEUniqueID=osg.crc.nd.edu
GlueSAStateUsedSpace: 135300151112
GlueSAStateAvailableSpace: 85304194412
...

Dovat sjedišta kojem pripada određeni CE čvor. Ovu informaciju se dohvaća u 2 koraka:

  • saznati koji klaster je spojen na dani CE čvor
$ ldapsearch -LLL -x -h bdii-egee.srce.hr:2170 -b ’mds-vo-name=local,o=grid’ \
’GlueCEUniqueID=ce112.cern.ch:2119/jobmanager-lcglsf-grid_cms’ GlueForeignKey

dn: GlueCEUniqueID=ce112.cern.ch:2119/jobmanager-lcglsf-grid_cms,Mds-Vo-name=resource,
 o=grid
GlueForeignKey: GlueClusterUniqueID=ce112.cern.ch
  • saznati u kojem sjedištu se nalazi taj klaster
$ ldapsearch -LLL -x -h lcg-bdii.cern.ch:2170 -b ’mds-vo-name=local,o=grid’ \
’GlueClusterUniqueID=ce112.cern.ch’ GlueForeignKey | grep GlueSiteUniqueID

GlueForeignKey: GlueSiteUniqueID=CERN-PROD
  • No labels