Każdy komputer będący elementem składowym klastra nosi miano węzła (ang. node). To właśnie zbiór węzłów zbudowanych z samodzielnych maszyn tworzy klaster. W instalacjach specjalnie stworzonych do celów klastrowych pojedyncze węzły są umieszczane w specjalnych szafach. Węzły są montowane po kilka sztuk w każdej z szaf połączone między sobą za pomocą sieci, co umożliwia im wymianę informacji między sobą.

Węzły są zazwyczaj odłączane bądź dodawane do klastra bez potrzeby ponownej konfiguracji i restartowania całości systemu. Dzięki temu mamy możliwość dokonywania prac serwisowych czy też konserwacyjnych w czasie pracy systemu, którego przerwa w działaniu jest niedopuszczalna.