...
| Code Block | ||
|---|---|---|
| ||
# broj direktorija marko@pc-mkvakic 15:05 ~[korisnik@kompjuter:] $ find ~/.local/lib/python3.9/site-packages /usr/local/lib/python3.9/dist-packages -type d | wc -l 4338 # broj datoteka marko@pc-mkvakic 15:05 ~ [korisnik@kompjuter:] $ find ~/.local/lib/python3.9/site-packages /usr/local/lib/python3.9/dist-packages -type f | wc -l 47355 # veličine marko@pc-mkvakic 15:06 ~ [korisnik@kompjuter:] $ du -hcs ~/.local/lib/python3.9/site-packages /usr/local/lib/python3.9/dist-packages 939M /home/marko/.local/lib/python3.9/site-packages 747M /usr/local/lib/python3.9/dist-packages 1.7G total |
Apptainer i python
| Anchor | ||||
|---|---|---|---|---|
|
Jedan od sve ustaljenijih načina dopremanja aplikacija na HPC klastere su apptainer i singularity; sučelja za stvaranje izoliranih razvojnih okolina zvanih kontejneri.
| Warning | ||
|---|---|---|
| ||
Upute ispod pretpostavljaju da kontejner gradite na osobnom računalu. U slučaju da niste u mogućnosti graditi kontejnere na svojem računalu, upute za izgradnju na Supeku možete naći na našem wikiju. |
Jedan od sve ustaljenijih načina dopremanja aplikacija na HPC klastere su apptainer i singularity; sučelja za stvaranje izoliranih razvojnih okolina zvanih kontejneri.
Kontejneri su datoteke koje u sebi sadrže aplikacije i njihove ovisnosti potrebne za izvršavanje u formi slike (engl. image) koja se stvara na osobnom računalu i, jednom kada se pripremi, doprema na superračunalo i koristi kao bilo koja druga aplikacija.
Upravo zbog činjenice da imagei sadrže image sadrži sve ovisnosti i strukturu direktorija unutar samo jedne datoteke je ovaj način najpoželjniji za rad s Lustreomna Lustreu.
Ispod se nalaze upute za razvoj osnovnog python data stacka koji se sastoji od knjižnica:
...
| Code Block | ||||
|---|---|---|---|---|
| ||||
Bootstrap: docker From: condaforge/miniforge3 %post conda create -n data_stack python=3.10 -y . /opt/conda/bin/activate conda activate data_stack pip3 install numpy scipy pandas matplotlib ipython %environment export PS1='(data_stack) Apptainer> ' export PATH='/opt/conda/envs/data_stack/bin:/opt/conda/condabin:/opt/conda/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/ usr/bin:/sbin:/bin' export CONDA_PREFIX='/opt/conda/envs/data_stack' export CONDA_SHLVL='1' export CONDA_DEFAULT_ENV='data_stack' export CONDA_PROMPT_MODIFIER='(data_stack) ' export CONDA_EXE='/opt/conda/bin/conda' export _CE_M='' export _CE_CONDA='' export CONDA_PYTHON_EXE='/opt/conda/bin/python'. /opt/conda/bin/activate conda activate data_stack %runscript exec python3 $@ |
...