Política de uso do servidor Darwin

O equipamento e histórico

O Darwin é um servidor IBM de duas X3850 X5 2X2.40GHZ com 80 núcleos cada, e 1.5TB de memória RAM e 23TB de espaço de armazenamento, além de um servidor de armazenamento com 35Tb. Ele foi comprado com recursos de um projeto JP do Prof. Gabriel Marroig e atingiu sua configuração atual com recursos de um projeto regular do Prof. Diogo Meyer (expansão de capacidade de armazenamento e de memória).

Em 2021 a gestão do servidor foi transferida para o STI do IB-USP. Dessa forma, ele poderá atender a uma parcela maior da comunidade, e terá uma administração profissional, realizada pelos membros da STI.

Para viabilizar o uso produtivo de um equipamento de múltiplos usuários, os grupos que originalmente investiram no servidor, em consulta com o STI, propôs esta política de uso, que deve ser estudada por todos os usuários.

Finalidade

O servidor destina-se a ajudar discentes, pós-docs, professores e pesquisadores do IB a realizarem seus projetos de pesquisa. O Darwin é um servidor de processamento, e o planejamento realizado pelo STI é para que os usuários tenham espaço em disco para realizar suas tarefas e possam salvar arquivos temporários, mas não devem usar o equipamento como local de armazenamento de arquivos que não estão sendo usados em projetos ativos. No item "storage além de 100GB", abaixo, apresentamos algumas sugestões de como conciliar o uso do Darwin com demandas de storage que cada grupo tem.

Gestão administrativa

A política de uso do servidor será planejada por uma comissão de docentes, um representante de alunos e pós docs, e um membro da STI.

Gestão técnica

A administração do servidor será realizada pela equipe técnica do STI do IBUSP.

Contrato de uso

Cada usuário indicará aderência ao contrato. As contas são individuais e não transferíveis.

Armazenamento no /home

Cada usuário terá direito a armazenar até 100GB em sua área no /home. Se necessário para um projeto, uma demanda específica do grupo pode ser feita ao STI para espaço adicional no /home, que será avaliada. Porém, como detalhado abaixo, recomenda-se que armazenamento de volumes maiores seja feito numa máquina de storage alternativa. Usuários que excedam esse valor permitido no /home não perderão os dados armazenados, mas não poderão salvar novos dados.

Uso do /scratch

O servidor dispõe de uma área de 7TB que é o scratch, destinado a armazenamento temporário de arquivos intermediários ou resultantes de processamento. Essa área de leitura e escrita rápida deve ser usada para otimizar processamento, com os resultados de interesse sendo transferidos para /home ou área de storage, conforme apropriado. Um script automático irá remover do scratch arquivos que não foram lidos por mais de 30 dias.

Storage além de 100GB

Para usuários que desejam armazenar dados que excedem 100GB, dispomos de um servidor de armazenamento, ligado ao servidor via rede. Esse servidor possui baias disponíveis para inserção de discos que podem atender às demandas específicas dos grupos. Recomendamos aos grupos que prevêem a necessidade de armazenamento de volumes de dados que excedam a cota do /home, e que não tenham um servidor remoto para essa função, que entrem em contato com o STI para serem orientados sobre formas de adquirir discos para armazenamento. Alternativamente, novos servidores de armazenamento poderão ser adquiridos independentemente pelos grupos e ligados ao Darwin, via rede. O STI se dispõe a orientar a configuração desses servidores de storage, para facilitar o uso do Darwin.

Sistema de filas

Para submeter processos ao servidor, é necessário usar o sistema de filas. Há quatro tipos de fila no servidor, definidas pela duração do processo e dos limites de memória previstos para o job: interativa (para prototipagem de programas ou análises muito simples), curta, média, longa. Não será permitido correr processos fora do sistema de filas.

Mudanças à política de uso

As políticas de uso aqui propostas podem ser mudadas em função das demandas de uso e mudanças na configuração do servidor.

Instalação de programas

Cada grupo poderá solicitar para ter um administrador com status de sudo. No caso do grupo não ter ninguém com experiência para essa função pode indicar alguém de outro grupo. Instalações devem ser comunicadas ao STI via o canal de atendimento: atendimento.sti@ib.usp.br

Comunicação

Toda a comunicação referente ao uso do servidor e perguntas dirigidas aos demais usuários deve ser feita enviando e-mail para darwin-server@googlegroups.com 

Repare que esse é um canal distinto daquele usado para comunicação com o STI (que é o atendimento.sti@ib.usp.br)