EBI Cluster Guide.

EBI Cluster Guide.

EBI Cluster Guide.

Hurtigkoblinger.

Cluster Monitoring – http://ebi-cluster.igb.illinois.edu/ganglia/ Qsub Script Generator – http://www-app2.igb.illinois.edu/tools/qsub/

Klyngespesifikasjoner.

Beregn nodene.

24 nodene Dell Poweredge 1950-servere 8 kjerner 2,8 GHz Intel-CPUer per node 16 Gigabyte RAM per Node 200 GB Temp-plass pa / state / partisjon1 1TB temp mellomrom pa / tilstand / partisjon2.

Ingen data er sikkerhetskopiert pa dette systemet.

40TB Raid array Delt ved hjelp av NFS Lokalisert pa / home / scratch 7TB Raid array Delt med NFS Ligger pa / home / Inneholder brukerens hjemmekataloger.

Slik far du tilgang til kluster.

EBI tilknyttet.

Hvis du er medlem av EBI eller en EBI-tilknyttet, kan du sende en e-post til [email protected] for a fa tilgang til klyngen. Vi sender e-posten din for a fa tilgang til deg. Du ma ogsa be professor eller temakleder om a sende oss en e-post til [email protected] og godkjenne din tilgang, med mindre du er en stipendiat.

Klusterregler.

Running jobber pa hodetelefonen er strengt forbudt. Kjorer jobber pa hodetelefonen kan fore til at hele klyngen krasjer og pavirker alles jobber pa klyngen. Ethvert program som viser at det kjorer pa overskriften, stoppes umiddelbart, og kontoen din kan v re last. Du kan starte en interaktiv sesjon for a logge inn pa en node for a manuelt kjore programmer. Installere programvare Vennligst send email [email protected] for eventuelle programvareforesporsler. Kompilert programvare vil bli installert i / home / apps. Hvis det er en standard RedHat-pakke (rpm), blir den installert i standardinnstillingene pa nodene. Opprette eller flytte over programmer: Programmer du lager eller flytter til klyngen, bor forst testes av deg utenfor klyngen for stabilitet. Nar programmet ditt er stabilt, kan det flyttes til klyngen for bruk. Ustabile programmer som forarsaker problemer med klyngen, kan fore til at kontoen din blir last. & # 160; Programmer bor bare legges til av CNRG personell og ikke kompileres i hjemmekatalogen. Reservering av minne: TORQUE tillater brukeren a spesifisere hvor mye minne de vil bruke programmet. Hvis jobben prover a bruke mer minne enn du har reservert, blir jobben automatisk slatt av. Pass pa a angi riktig mengde minne. Reservasjon av noder og prosessorer: For hver jobb ma du reservere riktig antall noder og prosessorer. Som standard er du reservert 1 prosessor pa 1 knutepunkt. Hvis du kjorer en prosessor med flere prosessorer eller en MPI-jobb, ma du reservere riktig belop. Hvis du ikke reserverer riktig belop, vil klyngen stenge jobben din. Hvis du ikke overholder denne retningslinjene, blir kontoen din last.

Slik logger du inn i klassen.

Du ma bruke en SSH-klient til a koble til.

Pa Windows.

Du kan laste ned Putty fra http://www.chiark.greenend.org.uk/

sgtatham / putty / download.html Installer Putty og kjor det, i Vertsnavn-inntastingsboksen, skriv inn ebi-cluster.igb.illinois.edu.

Sla Apne og logg inn ved hjelp av IGB-kontoinformasjonen din.

Pa Mac OS X.

Bare apne terminalen under Go & gt; & gt; Verktoy & gt; & gt; Terminal Type i ssh [email protected] der brukernavnet er NetID. Trykk Enter-tasten og skriv inn IGB-passordet ditt.

Slik sender du en klusterjobb.

Klyngen kjorer TORQUE koings- og ressursforvaltningsprogrammet. Alle jobber sendes til TORQUE som distribuerer dem automatisk til nodene. Du finner alle parametrene som TORQUE bruker pa http://docs.adaptivecomputing.com/torque/4-1-4/Content/topics/commands/qsub.htm Du kan bruke vart Qsub Generation Utility for a hjelpe deg a l re a generere jobbskript http://www-app2.igb.illinois.edu/tools/qsub/

Opprett et jobbskript.

Du ma forst opprette en TORQUE jobb script fil for a fortelle TORQUE hvordan og hva du skal utfore pa noder. Skriv inn folgende i en tekstredigerer og lagre filen test.sh (Linux tekstredigering) Endre tillatelsene pa skriptet for a tillate utforelse. Du har nettopp opprettet et enkelt PBS TORQUE jobbskript. Linje for linje forklaring #! / Bin / bash – forteller Linux dette er et bash-program, og det bor bruke en bash tolk til a utfore det. #PBS – er PBS-parametere, for forklaringer av disse vennligst bla ned til PBS Parameters Forklaringer-delen. sove 20 – Sove 20 sekunder (bare brukt til a simulere behandlingstid for dette eksempelet) ekko «Test Script» – Utfor litt tekst pa skjermen nar jobben er fullfort (simuler utdata for dette eksempelet) For eksempel hvis du onsker a kjore en blastjobb Du kan ganske enkelt erstatte de to siste linjene med folgende merknad: modulkommandoene er forklart under avsnittet Miljomoduler.

TORKE PBS Parametre Forklaringer:

Dette er bare noen fa parametervalg, for mer typen mann qsub mens du er logget inn i klyngen.

Opprett et jobbarray-script.

A lage en ny kopi av skriptet, og deretter sende inn hver for hver inngangsdata, er tidkrevende. Et alternativ er a lage en jobbmatrise ved hjelp av -t alternativet i innleveringsskriptet. -t-alternativet tillater at mange kopier av det samme skriptet er i ko pa en gang. Du kan bruke PBS_ARRAYID til a skille mellom de forskjellige jobbene i arrayet. Et kort eksempel pa hvordan du gjor dette er tilgjengelig pa Job Array Eksempel.

Send inn seriell jobb.

For a sende inn seriell jobben, bruker du qsub-programmet. For eksempel for a sende test.sh TORQUE Job du ville skrive: Du kan ogsa definere TORQUE parametrene fra delen ovenfor som qsub parametere i stedet for a definere dem i skriptfilen. Eksempel:

Send inn parallell jobb.

For a sende inn parallelljobben, bruker du qsub-programmet. For mer informasjon vennligst se denne siden Sende TORGE Jobb.

Start en interaktiv paloggingssession pa en beregningsnode.

Bruk interaktiv qsub hvis du vil kjore en jobb interaktivt, for eksempel a kjore et raskt perl-script eller kjore en rask test interaktivt pa dataene dine. Dette vil automatisk reservere deg et spor pa en av de kompute noder og vil starte en terminal okt pa den. A stenge terminalvinduet ditt vil ogsa drepe prosessene dine i din interaktive qsub-sesjon, derfor er det bedre a sende store jobber via ikke-interaktiv qsub. For a kjore et program med et brukergrensesnitt-lop For at dette skal fungere ma du sette opp xserver pa datamaskinen Xserver Setup.

Se / Slett sendte jobber.

Vise jobbstatus.

For a fa en enkel visning av dine nav rende lopende jobber, kan du skrive: Denne kommandoen gir deg en liste over dine nav rende lopeprosjekter. Det forste nummeret representerer jobbens ID-nummer. Jobber kan ha forskjellige statusflagger: R = jobben er i gang W = jobb venter pa a bli sendt (dette kan ta noen sekunder, selv om det er spor tilgjengelig, v r talmodig) Eqw = Det oppstod en feil i jobben. S = Jobb er suspendert (jobben overnyttet ressursene som abonnerer pa den i qsub-kommandoen) For mer detaljert visningstype: Dette vil returnere en liste over alle noder, tilgjengelighet for sporene og dine nav rende jobber.

Liste koer.

Enkel visning Forhandsvisning (Eks: Hvor ko navn er budsjett) max_user_queuable – Maks antall jobber tillatt a v re i koen max_user_run – Maks antall jobber koen vil kjore samtidig.

Liste alle jobber pa Cluster With Noder.

Slette jobber.

Merk: Du kan bare slette jobber som eies av deg. Slik sletter du en jobb med jobb-ID-nummer: Du ma bruke qdel, for eksempel for a slette en jobb med ID-nummer 5523 du ville skrive: Slett alle jobbene dine.

Feilsoking av jobbfeil.

For a se jobbfeil i tilfelle jobbstatus viser Eqw eller annen feil i statuskolonnen, bruk qstat -j, for eksempel hvis jobb # 23451 mislyktes, ville du skrive:

Se jobbdetaljer.

For a se jobbdetaljer kan du bruke qstat -f JOB_NUMBER, kontrolljob JOBNUMBER, tracejob JOBNUMBER for a overvake jobben din.

Applikasjoner.

Alle applikasjoner er installert i For oyeblikket installerte applikasjoner er oppfort pa EBI Cluster Applications.

Miljomoduler.

For a laste inn det riktige miljoet for enkelte programmer, kan du bruke modulkommandoen For a liste alle tilgjengelige miljoer kjorer modulen til bruk (vennligst send hjelp til [email protected] for spesielle foresporsler):

For a laste inn et bestemt miljo, for eksempel qiime / 1.5.0, kjor du bare denne kommandoen: Hvis du bare vil laste den nyeste versjonen, kjor kommandoen uten /1.50 (versjonsnummer): For a se hvilke miljoer du har lastet inn, kjor du bare modulliste: Nar du sender inn en jobb ved hjelp av et qsub-skript, ma du legge til modulbelastningen qiime / 1.5.0 line for du kjorer qiime i skriptet. For a laste ut en modul, bare kjor modulen avlastning: Los alle moduler.



Do you want to play in the most lucky casino? We gathered it for you. Click here now!