Obsah

• Kroky
• Tipy
• Varování

Hledáte stroj schopný provádět stovky bilionů výpočtů s pohyblivou řádovou čárkou za sekundu? Nebo se jen chcete chlubit přátelům o superpočítači ve vaší místnosti? Vybudování vysoce výkonného výpočetního klastru nebo superpočítače je výzvou, kterou se může pokusit splnit každý nadšenec s volným víkendem a zbylými penězi. Technicky vzato, multiprocesorový superpočítač je síť počítačů, které spolupracují na vyřešení problému. Tento článek stručně popisuje jednotlivé kroky procesu se zaměřením na hardware a software.

Kroky

1. 

   Nejprve určete požadované hardwarové komponenty a prostředky. Budete potřebovat hlavní uzel, nejméně 12 identických síťových uzlů, ethernetový přepínač, jednotku distribuce energie a stojan. Určete potřebnou spotřebu elektrické energie, chlazení a prostoru. Také se rozhodněte, kterou IP adresu chcete pro své soukromé sítě, jak pojmenovat uzly, jaké softwarové balíčky chcete nainstalovat a kterou technologii použijete pro paralelní výpočet (více o tom později).
   • Přestože je hardware drahý, všechny programy uvedené v průvodci jsou zdarma a většina z nich je otevřený zdroj.
   • Pokud chcete vidět, jak rychle by byl váš superpočítač teoreticky, použijte tento nástroj: http://hpl-calculator.sourceforge.net/

2. 

   
   
   Vytvořte uzly. Budete muset připojit uzly nebo zakoupit předem sestavené servery.
   • Vyberte si šasi serveru, které maximalizuje prostor, chlazení a spotřebu energie.
   • Můžete také použít několik zastaralých serverů - jejichž celkové náklady budou vyšší než součet částí, ale stále hodně ušetříte. Aby systém fungoval správně, musí být všechny procesory, síťové adaptéry a základní desky identické. Je zřejmé, že v každém uzlu musí být zahrnuta RAM a úložiště a pro hlavní uzel alespoň jedna optická jednotka.

3. 

   
   
   Nainstalujte servery do stojanu. Začněte zdola, takže horní část není příliš těžká. K tomu budete potřebovat pomoc od svých přátel - husté servery mohou být velmi těžké a jejich vedení po stopách, které je drží, je obtížné.

4. 

   Nainstalujte přepínač Ethernet nad skříň serveru. Použijte tuto dobu k nastavení přepínače: povolte velikosti rámců jumbo 9000 bajtů, nastavte adresy IP na statickou adresu určenou v prvním kroku a zakažte zbytečné směrovací protokoly, jako je SMTP Snooping.

5. 

   
   
   Namontujte distribuční jednotku napájení. V závislosti na tom, kolik proudu budou uzly vyžadovat při plném zatížení, možná budete potřebovat 220 voltů pro vysoce výkonné výpočty.

6. 

   Se vším nainstalovaným můžete zahájit proces konfigurace. Linux je ideálním operačním systémem pro klastry HPC - nejen je to ideální prostředí pro vědecké výpočty, ale je také zdarma instalovat na stovky nebo dokonce tisíce uzlů. Představte si, kolik by stálo instalaci systému Windows na všech těchto uzlech?
   • Začněte instalací nejnovější verze základní desky BIOS a firmwaru, která musí být na všech uzlech totožná.
   • Nainstalujte si svou oblíbenou verzi Linuxu do každého uzlu s grafickým rozhraním na hlavním uzlu. Mezi oblíbené možnosti patří CentOS, OpenSuse, Scientific Linux, RedHat a SLES.
   • Můžete také použít Rocks Cluster Distribution. Kromě instalace všech nástrojů nezbytných pro fungování klastru, Rocks používá vynikající metodu pro velmi rychlou distribuci několika instancí do uzlů pomocí bootování PXE a procedury 'Kick Start' od Red Hat.

7. 

   Nainstalujte rozhraní pro zasílání zpráv, správu zdrojů a další potřebné knihovny. Pokud jste v předchozím kroku nenainstalovali program Rocks, budete muset ručně nakonfigurovat software potřebný k povolení mechanismů paralelního výpočtu.
   • Nejprve budete potřebovat přenosný rozsáhlý systém správy, jako je Torque Resource Manager, který vám umožní rozdělit a distribuovat úkoly na více počítačích.
   • Pro dokončení instalace spárujte moment s Maui Cluster Scheduler.
   • Dále budete muset nainstalovat rozhraní pro přenos zpráv, nezbytné pro to, aby jednotlivé procesy různých uzlů sdílely stejná data. OpenMP se snadno používá.
   • Nezapomeňte na vícevláknové matematické knihovny pro paralelní počítačové programy. Je to opravdu jednodušší, pokud si nainstalujete Rocks.

8. 

   Připojte uzly počítače. Hlavní uzel odešle úkoly do uzlů počítače, které pak musí poslat výsledek zpět, stejně jako posílat zprávy navzájem. Čím rychleji, tím lépe.
   • Pro připojení všech uzlů v klastru použijte privátní síť Ethernet.
   • Hlavní uzel může také fungovat jako server NFS, PXE, DHCP, TFTP a NTP prostřednictvím sítě Ethernet.
   • Tuto síť musíte oddělit od veřejných sítí, což zajistí, že přenosové pakety nebudou rušit jiné sítě ve vaší síti LAN.

9. 

   Vyzkoušejte cluster. Poslední věcí, kterou chcete udělat, než uvolníte veškerý výpočetní výkon svým uživatelům, je otestovat jejich výkon. HPL (High Performance Lynpack) benchmark je oblíbenou volbou pro měření výpočetní rychlosti klastru. Budete jej muset zkompilovat ze zdroje se všemi možnými optimalizacemi, které nabízí kompilátor pro zvolenou architekturu.
   • Je zřejmé, že je třeba kompilovat ze zdroje se všemi možnými optimalizacemi pro vaši platformu. Například při použití procesorů AMD kompilujte s Open 64 s rychlou optimalizační úrovní -0.
   • Porovnejte výsledky na webu TOP500.org a porovnejte svůj cluster s 500 nejrychlejšími superpočítači na světě!

Tipy

• IPMI může usnadnit správu velkého klastru, poskytovat KVM-over-IP, relé pro vzdálené zpracování a další.
• Chcete-li dosáhnout opravdu vysoké rychlosti sítě, vyhledejte síťová rozhraní InfiniBand. Ceny však nejsou příliš dostupné.
• Použijte Ganglia ke sledování výpočetního zatížení uzlů.

Varování

• Ujistěte se, že vaše infrastruktura zvládne zátěž, která na ně je kladena.