Piepline

개요

데이터부터 ML 작업하고 서빙하는 것까지 일련의 과정들이 반복된다면, 반복되는 과정들을 워크플로우로 정의하고 자동화하여 모델 개발자로 하여금 좀 더 모델 개발에 집중할 수 있도록 도와주는 기능입니다.

Pipeline 홈 화면

Pipeline Graph

미리 정의된 Pipeline의 구조를 그래프 형태로 볼 수 있어 시각적으로 파악하기 매우 쉽습니다.

그래프 각 노드를 누르면 python 코드나 이미지 등 해당 노드에 대한 정보를 확인하실 수 있습니다.

Pipeline Yaml

그래프 뿐만 아니라 Yaml 형태로 Pipeline 정의를 확인할 수 있습니다.

Pipeline 업로드

사용자가 직접 정의한 Pipeline을 사용하고 싶으면 로컬에서 정의한 후에, 우측 상단에 Uplaod Pipeline 버튼을 눌러 파일을 업로드하여 새로운 Pipeline을 생성합니다.

Pipeline 실행 단계

Pipeline은 단순히 ML workflow를 정의한 것이고 이를 실행시키려면 Experiment와 Run이 필요합니다. 연구실 안에서 연구가 진행되듯이, Experiments를 생성하면 그 Experiment를 기반으로 Run을 생성하여 ML workflow를 실행시킵니다.

Experiment 생성

우측 상단에 Create experiment 버튼을 클릭 후 Experiment 이름과 설명을 입력하고 생성합니다.

example이라는 Experiment가 생긴 것을 확인할 수 있습니다.

Run 생성 및 조회

생성한 Experiment를 클릭해서 안으로 들어오면, 선택한 Experiment에 대한 Run을 생성할 수 있습니다.

Pipeline 등 필요한 정보를 선택한 뒤 Start 버튼을 눌러 Run을 바로 실행시킵니다.
정상적으로 생성되면 Experiments나 Run 항목에서 생성된 Run을 확인할 수 있습니다.

생성한 Run을 클릭하여 해당 Run에 대한 진행사항 등의 자세한 정보를 볼 수 있습니다.

Pipeline 그래프와 마찬가지로 성공한 노드, 혹은 실패한 노드를 클릭하여 해당 노드의 output, log 등을 확인할 수 있습니다.

Run retry

생성했던 Run을 그대로 재시도를 할 수 있습니다. 우측 상단에 Retry 버튼을 누르면 현재 Run을 다시 실행시켜 줍니다.

Run clone run

이번엔 생성했던 Run을 복사해서 재실행시킵니다. 우측 상단에 Clone run 버튼을 누르면 Run 생성화면으로 넘어갑니다.

처음 Run 생성시키듯이 필요한 정보를 입력 및 수정한 후 Start 버튼을 눌러 실행시켜줍니다.

정상적으로 생성됐다면 아래와 같이 새로운 Run이 생성되는 것을 확인할 수 있습니다.

Run recurring

지금까지의 Run들은 한번 실행 후 다 끝나면 바로 종료됐었지만, recurring 모드로 Run을 실행시키면 사용자가 설정에 따라 주기적으로 똑같은 Run을 자동으로 실행시켜 줍니다. 주기적으로 실행되어야 할 ML workflow가 있다면 recurring Run 사용을 권장드립니다.

Recurring run 생성

Recurring Runs 항목에서 우측 상단에 Create run 버튼을 누릅니다.

일반 Run 생성할 때와 같은 화면이지만 Run Type을 Recurring으로 선택하면 더 필요한 옵션이 보입니다. 옵션을 다 입력하고 맨 밑에 Start 버튼을 눌러 recurring run을 실행시킵니다.

정상적으로 생성되면 한 개의 Recurring run을 확인할 수 있습니다.

그리고 실행 중인 Run들을 살펴보면 1분마다 recurring run이 실행되고 있는 걸 확인할 수 있습니다.

Recurring run disable

recurring run은 따로 액션을 취하지 않으면 계속 반복 실행됩니다. 만약 recurring run을 멈추고 싶으면 disabling 하시면 됩니다. 우선, Recurring Runs 항목에 취소하고 싶은 recurring run을 선택하신 후 우측 상단에 Disable 버튼을 눌러줍니다.

정상적으로 Disable이 적용되면 recurring run의 Status가 Disabled로 바뀌며, 이제 더 이상 run을 반복 실행하지 않습니다.

Run 삭제

더 이상 필요없는 Run은 삭제될 수 있는데, 바로 삭제하는 것이 아닌 처음엔 Archive를 합니다.

완전 삭제되기 전에 쓰레기통에 모여있고, 거기서 복구 또는 완전 삭제하는 것처럼, Archive가 되면 Archived에 보관되고 Archived에 있는 Run들을 복구하고 싶으면 Restore 버튼을, 완전 삭제하고 싶으면 Delete 버튼을 누르시면 됩니다.

Artifacts

Pipeline도 결국 container로 실행되기 때문에, container가 종료되서 없어지면 정보도 같이 없어지게 됩니다. 따라서 보이고 싶은 정보, Pipeline의 결과물을 남기고 싶으면 Pipeline 정의할 때 코드로 설정하면 되고 그에 대한 결과물들이 Artifacts에 저장됩니다.

Executions

Run으로 실행시켰던 workflow들이 기록되는 곳입니다. Pipeline 정보와 Artifacts 정보가 포함되어 있습니다.