Tarvitsetko konetta, joka pystyy toimittamaan satoja triljoonia liukulukulaskelmia sekunnissa? Vai tarvitsetko baaritarinan siitä, miten kellarisi supertietokone käänsi katkaisijan? Oman High Performance Compute -klusterin, eli supertietokoneen, rakentaminen on haaste kaikille asiantuntijahimoille, joilla on viikonloppuna vapaa -aikaa ja poltettavaa rahaa. Teknisesti ottaen moderni, moniprosessorinen supertietokone on tietokoneiden verkosto, joka toimii rinnakkain ongelman ratkaisemiseksi. Tässä artikkelissa kuvataan lyhyesti prosessin jokainen vaihe ja keskitytään laitteistoon ja ohjelmistoon.
Askeleet
Vaihe 1. Määritä ensin tarvittavat laitteistokomponentit ja -resurssit
Tarvitset yhden pään solmun, vähintään tusinan identtisen laskentasolmun, Ethernet -kytkimen, virranjakelulaitteen ja telineen. Määritä sähkönkulutus, jäähdytys ja tarvittava tila. Päätä myös, minkä IP -osoitteen haluat yksityisverkoillesi, mitä solmuille antaa, mitkä ohjelmistopaketit haluat asentaa ja mitä tekniikkaa haluat tarjota rinnakkaislaskentaominaisuuksille (lisää tästä myöhemmin).
- Vaikka laitteisto on kallista, kaikki tässä ohjeessa luetellut ohjelmistot ovat ilmaisia ja useimmat ovat avoimen lähdekoodin ohjelmia.
- Jos haluat nähdä, kuinka nopea supertietokoneesi olisi teoriassa, käytä tätä työkalua:
Vaihe 2. Rakenna laskentasolmut
Sinun on koottava laskentasolmut tai hankittava valmiita palvelimia.
- Valitse tietokoneen palvelinrunko, joka maksimoi tilan, jäähdytyksen ja energiatehokkuuden.
- Tai voit käyttää tusinoittain käytettyjä, vanhentuneita palvelimia - joiden kokonaisuus on suurempi kuin osiensa summa, mutta säästät huomattavan summan rahaa. Kaikkien prosessorien, verkkosovittimien ja emolevyjen tulee olla identtisiä, jotta koko järjestelmä voi toistaa hyvin. Älä tietenkään unohda RAM -muistia ja tallennustilaa jokaiselle solmulle ja vähintään yhtä optista asemaa pääsolmulle.
Vaihe 3. Asenna palvelimet telineeseen
Aloita alhaalta, joten teline ei ole ylipainoinen. Tarvitset ystävän auttamaan sinua tässä - tiheät palvelimet voivat olla erittäin raskaita ja ohjata heidät telineitä pitäviin kiskoihin on vaikeaa.
Vaihe 4. Asenna Ethernet -kytkin palvelinkotelon yläpuolelle
Käytä hetki tämän kytkimen määrittämiseen: salli 9000 tavun jumbo -kehyskoot, aseta IP -osoite staattiseen osoitteeseen, jonka valitsit vaiheessa 1, ja sammuta tarpeettomat reititysprotokollat, kuten SMTP Snooping.
Vaihe 5. Asenna virranjakelulaite (PDU)
Riippuen siitä, kuinka paljon virtaa solmusi voivat tarvita suurimmalla kuormituksella, saatat tarvita 220 volttia korkean suorituskyvyn tietojenkäsittelyyn.
Vaihe 6. Kun kaikki on asennettu, voit aloittaa määritysprosessin
Linux on tosiasiallinen käyttöjärjestelmä HPC -klustereille - se ei ole vain ihanteellinen ympäristö tieteelliselle laskennalle, vaan sen asentaminen satoihin tai jopa tuhansiin solmuihin ei maksa mitään. Kuvittele, kuinka paljon maksaisi Windowsin asentaminen kaikkiin näihin solmuihin!
- Aloita emolevyn BIOSin ja laiteohjelmiston uusimman version asentaminen, jonka pitäisi olla sama kaikissa solmuissa.
- Asenna haluamasi linux -distro kuhunkin solmuun graafisella käyttöliittymällä pääsolmulle. Suosittuja vaihtoehtoja ovat CentOS, OpenSuse, Scientific Linux, RedHat ja SLES.
- Tämä kirjoittaja suosittelee lämpimästi Rocks Cluster Distributionin käyttöä. Sen lisäksi, että Rocks on asentanut kaikki työkalut, jotka ovat välttämättömiä laskentaryhmän toimimiseksi, Rocks käyttää loistavaa tapaa "jakaa" monet itsensä esiintymät solmuille erittäin nopeasti PXE -käynnistyksen ja Red Hatin "Kick Start" -menettelyn avulla.
Vaihe 7. Asenna viestien välitysrajapinta, resurssienhallinta ja muut tarvittavat kirjastot
Jos et asentanut Rocksia edellisessä vaiheessa, sinun on määritettävä tarvittavat ohjelmistot manuaalisesti rinnakkaislaskennan käyttöön ottamiseksi.
- Ensin tarvitset kannettavan bash-hallintajärjestelmän, kuten Torque Resource Managerin, jonka avulla voit jakaa ja jakaa tehtäviä useille koneille.
- Yhdistä vääntömomentti Maui Cluster Schedulerin kanssa asennuksen viimeistelemiseksi.
- Seuraavaksi sinun on asennettava viestin välitysrajapinta, joka on tarpeen, jotta yksittäiset laskentasolmujen yksittäiset prosessit voivat jakaa samat tiedot. OpenMP on vaivaton.
- Älä unohda monisäikeisiä matematiikkakirjastoja ja kääntäjiä rakentaaksesi rinnakkaislaskentaohjelmasi. Mainitsinko, että sinun pitäisi vain asentaa Rocks?
Vaihe 8. Yhdistä laskentasolmut verkkoon
Pääsolmu lähettää laskutehtävät laskentasolmuille, joiden on puolestaan lähetettävä tulos sekä viestit toisilleen. Mitä nopeammin sen parempi.
- Yhdistä kaikki klusterin solmut yksityisellä ethernet -verkolla.
- Pääsolmu voi toimia myös NFS-, PXE-, DHCP-, TFTP- ja NTP -palvelimena Ethernet -verkon kautta.
- Tämä verkko on erotettava julkisista verkoista, mikä varmistaa, että lähetyspaketit eivät häiritse muita lähiverkkoosi kuuluvia verkkoja.
Vaihe 9. Testaa klusteri
Viimeinen asia, jonka haluat ehkä tehdä ennen tämän laskentatehon luovuttamista käyttäjillesi, on testata sen suorituskyky. HPL (High Performance Lynpack) -vertailu on suosittu valinta klusterin laskentanopeuden mittaamiseen. Sinun on käännettävä se lähteestä ja kaikki mahdolliset optimoinnit, joita kääntäjä tarjoaa valitsemallesi arkkitehtuurille.
- Sinun on tietenkin koottava lähteestä kaikki mahdolliset optimointivaihtoehdot alustallesi. Jos käytät esimerkiksi AMD -suorittimia, käännä Open64: llä, jossa on -0nopea optimointitaso.
- Vertaa tuloksiasi sivustolla TOP500.org ja vertaa klusteriasi maailman nopeimpiin 500 supertietokoneeseen!
Video - Käyttämällä tätä palvelua joitakin tietoja voidaan jakaa YouTuben kanssa
Vinkkejä
- Katso todella suuret verkkonopeudet InfiniBand -verkkoliitännöistä. Ole kuitenkin valmis maksamaan lisähintoja.
- IPMI voi tehdä suuren klusterin hallinnasta vaivatonta tarjoamalla KVM-over-IP: n, etäkäytön ja paljon muuta.
- Käytä Gangliaa solmujen laskennallisten kuormien seurantaan.
