lsf(Load Sharing Facility)

LSF란?

lsf는 high performance computing에 대한 job을 managing하기 위한 플랫폼으로서

huge computing farm에 batch processing하는 역할을 한다.

컴퓨터 클러스터에 사용되는 queue 방식의 job scheduler라고 할 수 있다.

 

 

컴퓨터 클러스터란?

일반적으로 회로설계를 위한 Tool들은 많은 리소스를 잡아먹게 되고

회로설계 회사들은 이러한 tool을 돌릴 때 단일 컴퓨터를 가지고 돌리지 않는다.

많은 cpu core를 사용 할 수 있는 huge computing farm을 가지고 있으며

이러한 여러 컴퓨터를 하나의 시스템처럼 동작하는 컴퓨터들의 집합을 컴퓨터 클러스터라고 한다.

 

beowulf type computer cluster

 

 

컴퓨터 클러스터는 계산 부하량을 여러 노드에서 분담하여 병렬 처리하도록 구성되어 있다.

또, 하나의 노드에 장애가 생겼을 때 연결된 다른 노드가 job을 이어받아서 계속해서 처리를 하는 High-availability 특성을 가진다.

 

기본적인 컴퓨터 클러스트는 비용적인 측면 때문에 여러 컴퓨터를 연결하여 만든 beowulf 방식을 따른다.

베오울프 시스템은 Master 서버와 Slave 서버들로 구성되어 있다.

Master 서버는 컴퓨터의 일들을 나누고 관리하며 Slave 서버는 일을 처리하고 계산을 하는 서버들이다.

어플리케이션 프로그램은 master와 통신할 뿐 slave에 해당하는 연산하는 노드와는 통신하지 않는다.

 

그렇다면 이러한 컴퓨터 클러스트에 다양한 유저들이 다양한 job을 넣을때, 동시 처리 및 반복 작업등 대량의 여러 작업들을 master server가 처리하기 어렵기 때문에 queue를 이용한 lsf 어플리케이션을 사용하는 것이다.

 

queue란?

우리가 흔히 아는 queue라는 것은 자료구조에서 먼저 들어온 놈이 먼저 나오는 구조이다.

여기서도 그 queue라고 생각하면 편하다.

즉, job을 넣어주면 master가 각 queue 역할을 하면서 job을 받은대로 순차적으로 slave server에 뿌려주게된다.