DEMAC, 3D -painettu modulaarinen Beowulf -klusteri: 23 vaihetta (kuvilla)

2024 Kirjoittaja: John Day | [email protected]. Viimeksi muokattu: 2024-01-30 09:00

Korkean suorituskyvyn laskenta (HPC) on kyky käsitellä tietoja ja suorittaa monimutkaisia laskelmia suurilla nopeuksilla, se on "supertietokoneiden" soveltaminen laskentaongelmiin, jotka ovat joko liian suuria tavallisille tietokoneille tai joiden suorittaminen kestää liian kauan. Top500 on luettelo, joka julkaistaan kahdesti vuodessa ja joka on maailman nopeimpia ja tehokkaimpia tietokoneita. Maat ja suuret organisaatiot käyttävät miljoonia resursseja saadakseen nämä järjestelmät käyttöön, jotta tutkijat voivat hyödyntää uusinta tekniikkaa ja ratkaista monimutkaisia ongelmia.

Vuosia sitten tietokoneet paransivat suorituskykyään lisäämällä suorittimen nopeutta. Kun tällainen lähestymistapa oli hidastunut, kehittäjät päättivät, että tietokoneiden suorituskyvyn parantamiseksi on edelleen pakattava useita ytimiä (tai laskentayksiköitä) yhteen. Useiden laskennallisten resurssien ja näiden resurssien hallintamekanismien yhdistämistä kutsutaan "rinnakkaisuudeksi" tietotekniikassa. Useiden ytimien tekeminen useille tehtäville kuulostaa hyvältä lähestymistavalta parantaa tietokoneen suorituskykyä … mutta tämä avaa suuren kysymyksen: kuinka käytämme näitä resursseja tehokkaammin?

Nämä kysymykset ovat pitäneet tietotekniikan kiireisenä, on olemassa useita tapoja kertoa tietokoneelle, miten tehdä asioita, on vielä enemmän tapaa kertoa useille tietokoneille, miten tehdä asioita. Tämän projektin tavoitteena on kehittää edullinen alusta, jossa jokainen voi kokeilla erittäin rinnakkaista konetta, testata olemassa olevia malleja ja soveltaa niitä omiin projekteihinsa, kehittää uusia ja luovia tapoja ratkaista laskennallisia ongelmia tai käyttää sitä vain keinona opettaa muille tietokoneita. Toivomme, että voit nauttia yhteistyöstä DEMACin kanssa niin paljon kuin meillä on.

DEMAC

Delawaren modulaarinen kokoonpanoklusteri (DEMAC) on laajennettava joukko sulautettuja järjestelmiä (kortin kokoisia tietokoneita) ja joukko 3D -tulostettuja kehyksiä koteloimaan levyt ja lisälaitteet, jotka tarjoavat virtaa, jäähdytystä ja verkkoyhteyksiä.

Jokainen laite tai sulautettu järjestelmä on pieni tietokone, Parallella Board, jossa yhdistyvät kahden ytimen ARM-prosessorin resurssit, 16-ytiminen rinnakkaisprosessori nimeltä Epiphany ja sulautettu FPGA täydellisen avoimen lähdekoodin pinon joustavuudella. Kiinnike on kotitekoinen 3D-painettu kehys, joka mahdollistaa edullisen toteutuksen ja laajennettavan rakenteen. Se on suunniteltu sopimaan neljään vakiokokoiseen telineeseen (kuten tietokonepalvelinhuoneisiin).

Tämä ohje sisältää:

- Luettelo tarvittavista materiaaleista

- Ohjeet kehysten 3D -tulostamiseen

- Ohjeet osien kokoamiseen ja liittämiseen

- Opas tarvittavan ohjelmiston lataamiseen ja asentamiseen

- Kuvaus klusterin yhdistämisestä ja vuorovaikutuksesta sen kanssa

- "Miksi teemme tämän?" -osiossa

Keitä me olemme?

Olemme CAPSL (Computer Architecture and Parallel Laboratory), Delawaren yliopistosta. Uskomme, että laskennan tulevaisuudella pitäisi olla vahva perusta datavirtateoriassa (jota selitämme myöhemmin tässä ohjeessa, jos olet kiinnostunut).

Tarvikkeet

Tässä luettelossa kuvataan 4 levyn klusterin rakentamiseen tarvittavat materiaalit

- 4 Parallella -levyä (voit hankkia ne DigiKeyltä tai muilta toimittajilta, lisätietoja löydät heidän verkkosivuiltaan

-4 vähintään 16 Gt: n micro-SD-korttia (tässä on erittäin halpa 10-pakkaus tai jotain tällaista joustavampaa yhdistelmää)

- 4 mikro-USB-kaapelia, joiden pituus on vähintään 30 cm (suosittelen näitä)

- USB-laturi [vähintään 4 tyypin A porttia] (suosittelen tätä, jossa on 6-porttinen tai yksi, jolla on sama muoto, koska virtakotelo on suunniteltu sitä varten)

- Jäähdytystuuletin [maks. Koko 100 mm x 100 mm x 15 mm] (suosittelen tätä, koska se on halpa ja toimii, mutta toiset, joiden koko ja kaapelimääritykset toimivat)

- Jäähdytyspuhaltimen virtalähde (Jos kokoonpano on enemmän kuin 8 levyä, suosittelen tätä tai jotain vastaavaa [AC 100 V/ 240 V - DC 12 V 10 A 120 W], jossa on mukava metallikotelo ja joka voidaan myös kiinnittää (Jos aiot kytkeä vain kaksi tai vähemmän tuuletinta, voit käyttää mitä tahansa 12 V: n jännitettä vähintään 1 A: n virtalähteellä)

- 5 Ethernet -kaapelia (4 voi olla tällainen lyhyt, riippuen etäisyydestä kytkimestä kortteihin, ja yhden pitäisi olla tarpeeksi pitkä kytkeäksesi kytkimen joko tietokoneeseen tai modeemiin päästäksesi klusteriverkkoon)

>> Tärkeä huomautus: Jäähdytysjärjestelmä tarvitaan, muuten levyt voivat ylikuumentua! <<<

3D-painetut osat

- 4 lautasta (Frame_01)

- 1 hallituksen kotelo (Frame_02)

- 1 tuulettimen kotelo (Frame_03_B & Frame_03_T)

- 1 virtakotelo (Frame_04)

Vaihe 1: Tietoja DEMACista

DEMAC on osa suurempaa kuvaa, joustavaa ja skaalautuvaa alusta, jonka avulla voimme kehittää ja testata uusia ohjelmoinnin suoritusmalleja (PXM) rinnakkaislaskentaa varten. PXM on enemmän kuin tapa kuvata laskentaa, se edustaa selkärankaa, joka tarjoaa sopimuksen ohjelman ilmaisutavan ja sen kääntämisen yhteiselle kielelle, jonka kone voi suorittaa. Kuvaamme elementtejä, joiden avulla käyttäjä voi luoda ohjelmia, ja tapaa järjestää ohjelman suoritus. Ohjelma voidaan optimoida kohdistamaan tiettyyn arkkitehtuuriin käyttäjän tai automaattisen työkalun perusteella tämän yhteisen taustan perusteella.

Voit oppia lisää tästä projektista tämän ohjeen lopussa, voit myös napsauttaa tätä saadaksesi lisätietoja DEMACista tai täältä saadaksesi lisätietoja CAPSL: stä)

Vaihe 2: 3D -tulostus DEMAC

Tästä osiosta löydät oppaan 3D -tulostamiseen kehyksistä, jotka ympäröivät muita komponentteja ja tarjoavat rakenteellista tukea. Vaikka olisit 3D -tulostuksen mestari, tässä on muutamia vinkkejä, joita voit ottaa huomioon, kun tulostat näitä kehyksiä. Kaikki kehykset voidaan tulostaa käyttämällä 0,4 mm: n suutinta 0,3 tai 0,2 kerroksen korkeudella (voit myös käyttää mukautuvaa). Tulostin kaiken PLA: lla, mutta sillä ei ole väliä, haluatko käyttää muita materiaaleja (kunhan ne tarjoavat rakenteellista vakautta ja kestävät korkeampia tai yhtäläisiä lämpötiloja kuin PLA).

STL -tiedostot:

www.thingiverse.com/thing:4493780

cults3d.com/en/3d-model/various/demac-a-mo…

www.myminifactory.com/object/3d-print-dema…

Taulukko (Frame_01)

Lisätukea ei tarvita. Tämä on melko suoraviivaista, aseta se vain tasainen pinta tulostuspintaa kohti.

Hallituksen kotelo (Frame_02)

Tämä voi vaatia jonkin verran tukea keskipalkkeihin. Voit väittää, että hyvin viritetty kone/leikkuri voi tulostaa nämä sillat ilman lisätukea. Kokeile ensin siltakuormitustestejä, jos haluat tulostaa ilman tukia, koska ajatus oli, että ne eivät vaadi niitä. Toisaalta sivupylväät ja seinät tarjoavat riittävän tuen näiden tulostamiseen ilman ylimääräisiä tukirakenteita.

Tuuletinkotelo (Frame_03_B & Frame_03_T)

Lisätukea ei tarvita. Aseta vain molemmat osat tasainen pinta tulostuspintaa vasten.

Virtakotelo (Frame_04)

Kuten Frame_02, tämäkin saattaa vaatia jonkin verran tukea keskipalkkeihin. Voit myös yrittää tulostaa tämän ilman lisämateriaalia (kuten se oli tarkoitettu). Sivuttaiset pylväät ja seinät tarjoavat riittävän tuen näiden tulostamiseen ilman ylimääräisiä tukirakenteita.

Lähdön jäähdytyskotelo (Frame_05_B & Frame_05_T)

Lisätukea ei tarvita. Aseta vain molemmat osat tasainen pinta tulostuspintaa vasten.

Vaihe 3: Kokoa DEMAC

Nyt kun sinulla on kaikki tarvittavat osat, on aika aloittaa klusterin kokoaminen.

Muista poistaa tukimateriaali, joka saattaa olla kehyksissä.

Vaihe 4: Aseta tuuletin kotelon päälle

Liu'uta tuuletin vain Frame_03_B: n sisään (kaapeli oikeassa alakulmassa), alaosan tulee mahtua pieniin kaareviin seiniin, jotka pitävät tuulettimen paikallaan.

Aseta Frame_03_T pienet kaarevat seinät alaspäin Frame_03_B: n päälle (tuuletin jo paikallaan). Ole varovainen asettaessasi Frame_03_T: n levein kansi Frame_03_B: n leveämpää (takapintaa) kohti. Kehysten pitäisi napsahtaa ja kannet pitää ne paikallaan.

Vaihe 5: Liitä levyn kotelo virtakoteloon

Aseta Frame_02 Frame_04: n päälle, nämä kaksi on suunniteltu napsahtamaan yhteen. Frame_02: n alaosassa on pieni kolhu, joka sopii Frame_04: n päällä oleviin liittimiin. Liitä ne hellävaraisesti.

Vaihe 6: Asenna jäähdytysyksikkö

Frame_03 (B&T) on suunniteltu napsahtamaan yhteen Frame_02: n kanssa, aseta tuuletin levyjä vasten (ilmavirran tulee mennä sisään Frame_02). Frame_02: n sarakkeissa on pieniä kolhuja, joiden on vastattava Frame_03_B: n merkkejä. Paina kevyesti rakenteen sivupintoja, kunnes kehykset napsahtavat.

Vaihe 7: Aseta levyt taulukoille

Frame_01: ssä on 4 nastaa, jotka vastaavat Parallella -levyn reikiä. Levyn tulee mahtua helposti lokeroon. 3D-tulostimen kalibroinnista riippuen ne voivat olla suuria tai liian pieniä, voit käyttää hiukan nestemäistä silikoniliimaa pitämään ne paikoillaan tai painaa niitä hiukan pihdeillä halkaisijan pienentämiseksi.

>> Tärkeä huomautus: Muista asettaa jäähdytyselementit levylle <<<

Vaihe 8: Työnnä levykelkat levyn kotelossa

Frame_01 tarjoaa paikkoja, jotka sopivat Frame_02 -kiskoihin jokaisella tasolla. Huomaa, että levyn lokeron vastaanottamiseen on vain yksi puoli auki. On myös pieni kohouma, joka auttaa pitämään Frame_01: n paikallaan (rehellisesti sanottuna, nämä voivat käyttää parannusta tulevassa versiossa).

Liu'uta kaikki neljä lautastetta laudan ollessa jo paikallaan, yksi kutakin tasoa kohden.

Vaihe 9: Aseta virtalähde virtakotelon sisään

Aseta USB -virtalähde Frame_04: n sisään USB -portit ulospäin. Toisella puolella on pieni aukko virtajohdolle, joka syöttää napaa.

Vaihe 10: Liitä tuuletin jäähdytysvirtalähteeseen

Puhallin on nyt kytkettävä 12 V: n virtalähteeseen, joka tuottaa energiaa jäähdytysyksikköön.

>> Tärkeä huomautus: Pidä jäähdytysjärjestelmä toiminnassa koko ajan, kun levyt on kytketty virtalähteeseen <<<

Vaihe 11: Määritä käyttöjärjestelmä

1. Lataa suositeltu käyttöjärjestelmä (Parabuntu) täältä

Siruista on kaksi versiota (z7010 [P1600/P1601] ja z7020 [P1602/A101040], jotka vaativat erilaisia tiedostoja.

Molemmissa versioissa on päätön versio (ei graafista käyttöliittymää) ja versio, joka tarjoaa HDMI -tuen ja graafisen käyttöliittymän)

Jos haluat käyttää HDMI-lähtöä, muista hankkia mini-HDMI-kaapeli.

Voit liittyä ilman päätä -versioon verkon kautta.

Lisätietoja ja yksityiskohtaiset selitykset löydät täältä viralliselta verkkosivustolta.

Tässä on vaiheet käyttöjärjestelmän asentamiseen Linux-pohjaisen jakelun avulla. Voit käyttää päätelaitteen komentoja (ilman $ -merkkiä) seuraavissa vaiheissa tai tarkistaa muut menettelyt verkkosivustolla.

2. Asenna

- Aseta micro-SD-kortti tavalliseen tietokoneeseesi.- Pura Ubuntu-kuva. Muuta kuvan nimen [julkaisunimi].

$ gunzip -d [julkaisunimi].img.gz

3. Tarkista SD -kortin laitepolku

Laitteen tarkka polku SD -kortillesi riippuu Linux -jakelustasi ja tietokoneen asetuksista. Käytä oikeaa polkua alla olevan komennon avulla. Jos tulostuksesta ei ole selvää, mikä polku on oikea, kokeile komentoa SD -kortin kanssa ja ilman. Ubuntussa palautettu polku voi olla esimerkiksi "/dev/mmcblk0p1".

$ df -h

4. Irrota SD -kortti Sinun on irrotettava kaikki SD -korttien osiot ennen kortin polttamista. [Sd-partition-path] tulee vaiheen 3 komennosta "df".

$ umount [sd-partition-path]

5. Polta Ubuntu-levyn kuva micro-SD-kortille

Polta kuva SD -kortille käyttämällä alla olevassa komentoesimerkissä näkyvää "dd" -apuohjelmaa. Ole varovainen ja varmista, että määrität polun oikein, koska tämä komento on peruuttamaton ja korvaa kaiken polulla! Esimerkki Ubuntun komennosta olisi: "sudo dd bs = 4M if = my_release.img of//dev/mmcblk0". Ole kärsivällinen, tämä voi kestää jonkin aikaa (monta minuuttia) riippuen tietokoneesta ja käytetystä SD -kortista.

$ sudo dd bs = 4M jos = [julkaisunimi].img of = [sd-osio-polku]

6. Varmista, että kaikki kirjoitukset SD -kortille on suoritettu loppuun

$ sync

7. Aseta SD -kortti kortin SD -korttipaikkaan

Vaihe 12: Liitä kortti virtalähteeseen

Liitä yksi levyistä USB-keskittimeen miniUSB-USB-A-kaapelilla. Voit merkitä portit ja kaapelit tai määrittää järjestyksen liitännöille, jos joudut irrottamaan levyn myöhemmin.

Vaihe 13: Asenna reititin

Jos asennat päätteettömän käyttöjärjestelmän, kun olet suuressa verkossa, sinun on käytettävä reititintä ja yhdistettävä se Internetiin, Parallella -levyihin ja tietokoneeseesi.

Jos et pysty muodostamaan yhteyttä reitittimeen, voit myös liittää kortin suoraan tietokoneeseen Ethernet -kaapelilla, tämä menettely voi olla hieman hankalampi eikä kuulu tähän ohjeeseen.

Kun kaikki on kytketty, avaa reitittimesi käyttöliittymä ja selvitä, mikä IP -osoite on oletusarvoisesti annettu Parallellallesi. Etsi välilehti, jossa lukee Verkko. Etsi sitten DHCP -asiakasluettelo -osio. Siellä sinun pitäisi nähdä Parallella -korttisi ja sen IP -osoite.

Tämän IP -osoitteen avulla voit SSH: n kytkeä Parallellaan ja määrittää staattisen IP -osoitteen.

Vaihe 14: Yhdistäminen Parallella -korttiin SSH: n avulla

Huomautus: Tässä osassa [oletus_IP] on dynaaminen IP -osoite, jonka löysit DHCP -asiakasluettelosta.

Tarkista liitäntä korttiin

$ ping [oletus_IP]

SSH levylle ensimmäistä kertaa (oletussalasana on parallella)

$ ssh parallella@[oletus_IP]

Vaihe 15: Verkkoasetukset

- Vaihda isäntänimi: muokkaa /etc /isäntänimi

Täällä voit antaa haluamasi nimen, suosittelemme käyttämään NOPA ##

Missä ## tunnistaa hallituksen numeron (eli 01, 02,…)

- Aseta muiden levyjen IP -osoitteet: edit /etc /hosts

Aseta staattinen IP -osoite: lisää alla oleva teksti /etc/network/interfaces.d/eth0

#Ensisijainen verkkoliitäntäauto eth0

iface eth0 inet staattinen

osoitteen 192.168.10.101 #IP pitäisi olla reitittimen kantaman sisällä

verkkomaski 255.255.255.0

yhdyskäytävä 192.168.10.1 #Tämän pitäisi olla reitittimen osoite

nimipalvelin 8.8.8.8

nimipalvelin 8.8.4.4

Kun olet määrittänyt IP -levyn, voit käynnistää yhteyden uudelleen komennolla

$ ifdown eth0; ifup eth0

tai käynnistä levy uudelleen

Vaihe 16: Keygenin ja salasanattomien käyttöoikeuksien määrittäminen taululla

Määritä yksityinen julkinen avainpari jokaiselle solmulle (myös pääsolmu). Luo väliaikainen kansio, luo uusi avain ja tee siitä valtuutettu avain ja lisää kaikki NOPA: t tunnettuihin isäntiin alla kuvatulla tavalla.

mkdir tmp_sshcd tmp_ssh ssh -keygen -f./id_rsa

#Paina enter kahdesti asettaaksesi ja vahvistaaksesi tyhjän salasanan

cp id_rsa.pub valtuutetut_avaimet

i: lle "järjestyksessä 0 24"; do j = $ (echo $ i | awk '{printf "%02d / n", $ 0}');

ssh-keyscan NOPA $ J >> tunnettu_isäntä; tehty

Vaihe 17: Sshfs -tiedostojen asennus

- Sshfs -tiedostojen käyttäminen mahdollistaa tiedostojen jakamisen klusterin taulujen välillä. Suorita seuraava komento:

$ sudo apt -get install -y sshfs

- Sulakeryhmän etsiminen / luominen

Tarkista, onko sulakeryhmä olemassa:

$ cat /etc /group | grep 'sulake'

Jos ryhmä on olemassa, suorita seuraava komento

$ bash sudo usermod -a -G sulake parallella

- Jos ryhmää ei ole, luo se ja lisää käyttäjä siihen

$ sudo groupLisää sulake

$ sudo usermod -a -G sulake parallella

- Poista komento komennosta user_allow_other tiedostossa fuse.config

$ sudo vim /etc/fuse.conf

Vaihe 18: Määritä NFS -kansio

- Muokkaa tiedostoa /etc /fstab

$ sudo vim /etc /fstab

- Korvaa sisältö alla olevalla tekstillä

# [tiedostojärjestelmä] [kiinnityspiste] [tyyppi] [vaihtoehdot]

sshfs#parallella@NOPA01:/home/parallella/DEMAC_nfs/home/parallella/DEMAC_nfs fuse comment = sshfs, noauto, users, exec, rw, uid = 1000, gid = 1000, allow_other, connect, transform_symlinks, BatchMode = kyllä, ei -tyhjä, _netdev, identityfile =/home/parallella/.ssh/id_rsa, default_permissions 0 0

Vaihe 19: Liitä kortti kytkimeen

Aseta kytkin klusterin alle tai jonnekin lähelle, kytke jo määrittämäsi kortti kytkimeen Ethernet -kaapeleilla. Voit myös kytkeä kytkimen ja tietokoneen reitittimeen päästäksesi klusteriin.

Sinun pitäisi pystyä pingottamaan ja ssh: ta korttiin, joka on nyt kytketty kytkimeen staattisella IP -osoitteella.

Voit myös lisätä IP -osoitteen ja isäntänimen /etc /hosts -tiedostoosi. Voit käyttää isäntänimeä yhteyden muodostamiseen koko IP -osoitteen kirjoittamisen sijaan.

Vaihe 20: Toista vaiheet 11–19 jokaiselle taululle

Määritä kunkin piirilevyn käyttöjärjestelmä ja verkko noudattamalla ohjeita.

>> Tärkeä huomautus: Käytä eri isäntänimiä ja IP -osoitetta jokaiselle kortille! Niiden pitäisi olla ainutlaatuisia verkon kautta! <<<

Vaihe 21: Liitä oheislaitteet

Varmista, että tuuletin toimii:

Varmista, että tuuletin saa virtaa ja ilmavirta menee sisäänpäin levyn koteloon. Yhteyden tulee olla vakaa ja riippumaton muista osista. Muista, että levyt voivat ylikuumentua, jos niitä ei jäähdytetä oikein.

Varmista, että levyt on kytketty kytkimeen:

Tässä vaiheessa sinun olisi pitänyt konfiguroida jokainen levy erikseen. Levyt on myös kytkettävä kytkimeen. Kytkimen käsikirjassa pitäisi olla tietoja, joiden avulla voidaan tarkistaa, että käynnistysprosessi on suoritettu oikein. Saattaa olla joitakin LED -valoja, jotka ilmaisevat tilan.

Liitä levyt virtalähteeseen:

Liitä jokainen levy USB-keskittimeen micro-USB-USB-A-kaapelilla. Voit merkitä portit tai määrittää järjestyksen siltä varalta, että sinun on irrotettava yksi kortti.

Vaihe 22: Käytä virtaa

1. Tuulettimen pitäisi toimia.

2. Levyt on kytkettävä Ethernet -kytkimeen.

3. Tarkista, että levyt on kytketty USB -keskittimeen.

4. Syötä virtaa USB -keskittimeen.

5. Ota DEMAC käyttöön!

6. Voittoa!

Vaihe 23: Ohjelmistoresurssit

MPI (Message Passing Interface)

MPI on tiedonsiirtoprotokolla rinnakkaistietokoneiden ohjelmointiin. Sekä pisteestä pisteeseen että kollektiivista viestintää tuetaan.

www.open-mpi.org/

OpenMP (Open Multi-Processing)

Sovellusohjelmointirajapinta (API) OpenMP (Open Multi-Processing) tukee usean alustan jaetun muistin moniprosessointiohjelmointia C-, C ++-ja Fortran-ohjelmissa monilla alustoilla. Se koostuu joukosta kääntäjäohjeita, kirjastorutiinit ja ympäristömuuttujat, jotka vaikuttavat ajonaikaiseen käyttäytymiseen.

www.openmp.org/

Parallella -ohjelmisto

Kehittäjät tarjoavat avoimen lähdekoodin ohjelmistopinon, mukaan lukien SDK-liitäntä kiihdyttimeen.

www.parallella.org/software/

Löydät myös käyttöoppaita ja tarkempia tietoja.

Heillä on myös GitHub -arkistot:

github.com/parallella

Voit vapaasti ladata ja suorittaa joitain esimerkkejä, yksi suosikeistani on elämän peli, joka perustuu kuuluisaan Conwayn Elämän peliin.

Vastuuvapauslauseke: Määritelmät saatetaan kopioida wikipediasta