[Spring] Shedlock 으로 스케쥴링 제어하기

목차

• 서론
  • Shedlock 이란?

• 본론
  • Shedlock 사용을 위한 프로젝트 설정
  • Shedlock 을 사용했을 때 / 사용하지 않을 때 비교

• 결론
  • 요약

 

 

 

서론

 

 

2대의 동일한 서버 인스턴스를 띄운 (Scale-out) 상황을 가정해보자. 서버엔 일정 주기로 메일을 발송하는 스케쥴러가 있다. 2대의 인스턴스의 스케쥴러가 동시에 작동한다면, 똑같은 메일이 2번씩 발송되는 상황이 발생한다.

똑같은 메일 2번 받는게 대수냐고 할 수 있지만, 서버가 2대보다 많다면?  똑같은 메일을 여러 번 받는것은 차치하더라도, 서버 입장에서는 중복되는 작업을 수행하는 것이기 때문에 리소스 낭비를 줄여야한다.

 

 

Shedlock 이란?

shedlock 라이브러리를 사용하면, 동일한 스케쥴러가 중복 동작하는 것을 방지할 수 있다.

공식문서를 참조하면, shedlock 을 사용하면 스케쥴러가 동시에 최대 한번만 실행되도록 보장(scheduled tasks are executed at most once at the same time) 한다.

ShedLock makes sure that your scheduled tasks are executed at most once at the same time. If a task is being executed on one node, it acquires a lock which prevents execution of the same task from another node (or thread). Please note, that if one task is already being executed on one node, execution on other nodes does not wait, it is simply skipped.

 

 

 

본론

 

 

Shedlock 사용을 위한 프로젝트 설정

 

Requirements and dependencies : shedlock 을 사용하려면 아래의 두 가지가 필요하다. 

• Java 8
• slf4j-api

 

build.gradle

shedlock dependency 를 추가해주자.

// shed lock
implementation 'net.javacrumbs.shedlock:shedlock-spring:4.14.0'
implementation 'net.javacrumbs.shedlock:shedlock-provider-jdbc-template:4.14.0'

 

shedlock Table 생성

아래의 sql 문을 사용해 shedlock 테이블을 생성하자. 해당 테이블의 이름은 꼭 shedlock 으로 지정해야한다. 그렇지 않으면 에러 난다. (제가 겪어봐소 . . . )

CREATE TABLE shedlock
(
    name       VARCHAR(64)  NOT NULL COMMENT '이름',
    locked_at  TIMESTAMP(3) NOT NULL DEFAULT CURRENT_TIMESTAMP(3) COMMENT '잠금 일시',
    lock_until TIMESTAMP(3) NOT NULL COMMENT '잠금 기간',
    locked_by  VARCHAR(255) NOT NULL COMMENT '잠금 실행자',
    PRIMARY KEY (name)
) COMMENT '스케쥴 락킹';

 

 

Scheduler Configuration

LockProvider 클래스를 생성한다.  LockProvider는 데이터 저장소(위에서 생성한 shedlock 테이블)를 사용하여 Lock정보를 삽입/갱신한다. 주의할 점은 shedlock 에 기록된 데이터를 수동으로 변경/삭제하면 안된다.

@Configuration
public class SchedulerConfiguration{

    @Bean
    public LockProvider lockProvider(DataSource dataSource){
        return new JdbcTemplateLockProvider(
                JdbcTemplateLockProvider.Configuration.builder()
                        .withJdbcTemplate(new JdbcTemplate((dataSource)))
                        .usingDbTime()
                        .build()
        );
    }
}

 

여기까지 잘 따라왔다면, scheduler 에 정상적으로 lock 을 걸 수 있다.

자체적으로 간단한 scheduler 클래스를 만들어 shedlock 이 적용됐을 때와, 그렇지 않을 때의 차이를 비교해보자. 

 

 

 

Shedlock 을 사용했을 때 / 사용하지 않을 때 비교

 

우선 간단한 스케쥴러를 만들어보자. 

@EnableScheduling 어노테이션을 사용해 해당 클래스가 스케쥴러 임을 명시하고, @Scheduled(cron = "0 0/1 * * * ?") 어노테이션으로 해당 스케쥴러가 어느 주기로 동작하는지 명시한다.

@Component
@RequiredArgsConstructor
@Slf4j
@EnableScheduling
public class AlarmScheduler {

    @Scheduled(cron = "0 0/1 * * * ?")
    public void sendAlarm(){
    
        log.info("------------- : HOO ");
        
    }

}

 

해당 스케쥴러는 매 1분마다 로그를 찍는다. 가령 현재 시간이 오후 14시 52분 30초라면, 해당 스케쥴러는 14시 53분 00초 부터 매 1분마다 로그를 찍는다. 만약 동일한 서버가 n대 실행중이라면, 매 분마다 n개의 같은 로그가 출력된다.

우리는 여러대의 서버가 실행 중일 때 shedlock 을 사용하여, 한 대의 서버에서만 스케쥴러가 동작하도록 해보자. 

 

 

우선 필자는 동일한 서버를 2개 실행시켜 실험해보겠다. 인텔리제이에서 여러개의 스프링부트 서버를 실행시키는 방법은 아래를 확인해보자.

 

* 참고 ) 인텔리제이에서 스프링부트 서버 여러개 실행시키기

 

1. 락(shedlock)을 걸지 않을 때

@Component
@RequiredArgsConstructor
@Slf4j
@EnableScheduling
//@EnableSchedulerLock(defaultLockAtMostFor = "10s") // shedlock 주석 처리 -> 락 걸지 않는다.
public class AlarmScheduler {

    @Scheduled(cron = "0 0/1 * * * ?")
    //@SchedulerLock(name = "AlarmScheduler_scheduledTask", lockAtLeastFor = "9s", lockAtMostFor = "9s")
    public void sendAlarm(){

        log.info("------------- : HOO ");
        
	...
	...

    }

}

 

@EnableSchedulerLock 어노테이션을 주석 처리하여, shedlock 을 비활성화 했다. 

이 경우 2개의 스케쥴러가 동시에 실행되며, 각각의 터미널에서 로그가 찍힌 것을 확인할 수 있다.

 

각각의 서버에서 거의 동일한 시간에 로그가 찍혔다. 만약 스케쥴러의 비즈니스 로직이 메일을 발송하는 것이었다면, 동일한 메일 2개가 거의 동시에 발송된 것이다.

 

2. 락을 걸 때

@Component
@RequiredArgsConstructor
@Slf4j
@EnableScheduling
@EnableSchedulerLock(defaultLockAtMostFor = "10s") // 주석 해제 -> 락 건다.
public class AlarmScheduler {

    @Scheduled(cron = "0 0/1 * * * ?")
    @SchedulerLock(name = "AlarmScheduler_scheduledTask", lockAtLeastFor = "9s", lockAtMostFor = "9s")
    public void sendAlarm(){

        log.info("------------- : HOO ");
        
	...
	...

    }

}

@EnableSchedulerLock, @SchedulerLock 어노테이션을 추가해주자. 

 

@SchedulerLock 어노테이션은 name, lockAtLeastFor, LockAtMostFor 이란 속성이 있다.

 

name 은 unique 한 값이기 때문에 다른 스케쥴러와 겹치지 않게 설정하는 것이 중요하다. 

lockAtLeastFor : 실질적으로 lock 이 걸리는 최소 보장된 lock 시간

lockAtMostFor: 해당 스케줄러 노드가 다운됐을 때, lock 을 언제까지 보장해주는지 최대 시간을 설정한다.

 

 

위 이미지의 로그를 확인해보면, 2대의 서버에서 서로 번갈아가며 lock 이 걸리는 것을 확인할 수 있다. 즉 A 서버에서 스케쥴러가 돈다면, B 서버의 스케쥴러는 락이 걸리고, 다음 주기에서는 B 서버에서 스케쥴러를 동작시키고, A 스케쥴러가 락이 걸리는 것이다. 라운드 로빈 방식으로 락이 걸리는 것 같은데, 이건 공식문서에서 더 찾아봐야겠다.

 

결론적으로 shedlock 라이브러리를 적용하면 여러개의 스케쥴러가 존재하더라도, 단 하나만의 스케쥴러만 실행하고 나머지 스케쥴러의 동작은 제어할 수 있게 된다.

 

 

결론

회사 업무 중 스케쥴러에 락을 걸어야 해서 조사하게 됐다.

shedlock 을 도입한 이유를 업무와 연관지어 생각해보면, 

-> 운영환경에서 서버 인스턴스 다수 존재 -> 인스턴스 개수 만큼 스케쥴러가 동작한다면, 중복 작업이 진행될 수 있다 -> 비즈니스 오류

-> 스케쥴러의 중복 운영을 방지하고자 shedlock 이라는 라이브러리 도입. 

-> 스케쥴러가 현재 적용된 작업(카카오톡 알림 발송, 오래된 개인정보 삭제)의 중복 진행을 막는다. 

정도로 요약할 수 있다.