배치 데이터 처리Jenkins을 Batch Scheduler로 활용하기

출처: https://helloino.tistory.com/60

Jenkins을 Batch Scheduler로 활용하기

- 서비스를 개발을 하다보면 실시간성으로 데이터를 처리 하는 기능도 필요하지만 (api-server, streamming.. etc) 정해지 시간내에 Batch 성으로 돌아가야되는 서비스 기능이 있을수도 있다. 그 예로는 이관, 검증, 이벤트 등의 경우이다.

- 정해진 시간에 실행되는 잡을 cron job이라고 하는데 보통은 리눅스 명령어인 crontab을 사용을 한다. 

- 하지만 shell을 이용한 batch 설정은 UI가 없고 로그 등을 확인하기가 어려운것이 있다. 직접 Schduler를 개발을 하는 방법도 있지만  여기에서는 Jenkins을 Batch Scheduler로 활용하는 방법에 대해 정리해보자.

 

 

Jenkins 다운 받기

- https://jenkins.io/download/

- Java Generic package(.war) 을 다운받는다면 아래와 같은 명령어를 실행을 할 수 있다.

 

java -jar jenkins.war

 

 

batch job 생성하기

build periodically를 이용하여 batch scheduler 등록하기

 

cron 설명

- jenkins은 cron expression을 사용한다 (https://en.wikipedia.org/wiki/Cron#CRON_expression)

- *(분) *(시) *(날짜) *(달) *(요일)

 

 

batch script

 

 

build history