Open OnDemand¶
O Open Ondemand é uma interface que facilita a utilização do nosso ambiente de HPC constituído pelo Cluster Apollo. Para acessar é necessário possuir uma conta válida no LIneA (saiba mais). O acesso ao Open Ondemand é através de https://ondemand.linea.org.br/ .
Na tela inicial da plataforma, na parte superior, é possível visualizar um menu com os seguinte itens:
- Files - fornece uma interface para o seu diretório de usuário (Home Directory).
- Jobs - fornece uma interface para as telas “Active Jobs” e “Job Composer”.
- Clusters - fornece um acesso para o terminal em um navegador da web.
- Interactive Apps - fornece acesso ao Jupyter Notebook.
Home Directory¶
O Home Directory possibilita a visualização do diretório de usuário, onde estão armazenados seus arquivos, além de exibir uma variedade de botões com diferentes funcionalidades.
Mudando de Diretório¶
Clicar no botão Change Directory permite que você mude de diretório dentro da nossa infraestrutura. Para isso, basta escrever no campo Path o destino que deseja ir e apertar em "ok".
Acessando o Terminal¶
Clicar no botão Open Terminal o levará ao terminal linux dentro da máquina de login (loginapl01) do Cluster Apollo. Neste terminal, você se encontra no seu diretório de usuário e tem a capacidade de visualizar seus arquivos. No terminal também é possível executar todas as operações usuais de usuário HPC, como por exemplo, alocar um nó de computação e verificar a fila Slurm usando comandos.
Criando, Transferindo e Movendo Arquivos¶
No Open OnDemand a criação de novos arquivos e diretórios é bem simples, basta clicar nos botões "New File" e "New Directory" e escolher o nome que deseja. A transferência de arquivos é igualmente fácil, o botão "Upload" permite que você tranfira arquivos da sua máquina para o seu diretório de usuário em nosso ambiente, bem como o botão "Download" possibilita enviar os arquivos que foram selecionados para a sua máquina local.
Para visualizar, renomear ou editar o novo arquivo criado, clique no "três pontinhos" que aparece ao lado direito do arquivo.
Para mover ou copiar arquivos é preciso seguir os passos:
- Selecionar o arquivo que deseja;
- Clicar no botão "Copy/Move";
- Clicar em "Change Directory" e escrever o caminho do diretório para onde deseja copiar ou mover o arquivo;
- Clicar em "Copy" ou "Move" na caixa que aparece no canto esquerdo da tela.
Jobs¶
Na seção Jobs do menu inicial, encontram-se as opções "Job Composer" e "Active Jobs". A tela "Job Composer" facilita o processo de submissão de jobs e em "Active Jobs" você pode acompanhar a execução do seu Job com detalhes.
Para submeter um job é necessário utilizar um script de submissão como este descrito abaixo: (saiba mais)
#!/bin/bash
#SBATCH -p PARTITION #Name of the Partition to use
#SBATCH --nodelist=NODE #Name of the Node to be allocated
#SBATCH -J simple-job #Job name
#----------------------------------------------------------------------------#
##path to executable code
EXEC=/lustre/t0/scratch/users/YOUR.USER/ondemand/projects/EXECUTABLE.CODE
srun $EXEC
Job Composer¶
O Open OnDemand facilita todo o processo de submissão de jobs através da ferramenta Job Composer. Para isto basta seguir os seguintes passos:
- Clicar no botão "New Job";
- Escolher a opção "Default Template";
- Editar as especificações do script de submissão em "Open Editor";
- Clicar em "Submit" para que o Job entre em execução.
Warning
Os nós de computação do cluster não possuem acesso ao seu diretório de usuário (Home Directory). Mova ou copie, para seu diretório SCRATCH, todos os arquivos necessários para a submissão do seu job.
JupyterLab¶
Com o Open OnDemand, é viável acessar o Jupyter Notebook em nosso ambiente de HPC. Por meio de "Interactive Apps", o Jupyter Notebook iniciará uma sessão em um dos nós de computação do cluster, bastando para isso:
- Clicar em "Jupyter Notebook";
- Em seguida preencher os campos "Account", "Partition" e "Select node";
- Depois pressionar o botão "Launch".
Depois de iniciar a sessão, você poderá conectar-se ao Jupyter Lab - "Connect to Jupyter". Ao abrir um terminal dentro do Jupyter, é possível verificar que você está localizado em um nó do Cluster Apollo e tem acesso à sua área "scratch" no storage de armazenamento Lustre.
Tip
Nós possuímos dois ambientes Jupyter em duas infraestruturas distintas. Um é acessível em https://jupyter.linea.org.br e é executado sobre Kubernetes e o outro é este acima que é executado interativamente pela plataforma Open OnDemand diretamente nos nós de processamento.