Tuner

개요

모델의 하이퍼파라미터 튜닝하는 과정을 자동화하기 위한 툴입니다. 모델 성능을 높이는 데 있어서 중요한 요소인 하이퍼 파라미터를 자동화 함으로써 한층 더 빠르게 모델 성능을 향상시킬 수 있습니다.

Tuner 홈 화면

Tuner 버튼을 누르면 아래와 같은 Tuner 홈 화면을 볼 수 있습니다.

Experiment 생성

• 우측 상단에 CREATE 버튼을 눌러서 Experiment 생성 화면으로 이동합니다.
• Experiment 생성할 때는 여러 단계가 있으며, 위에서부터 차례로 채워 나갑니다. 처음엔 Experiment 이름을 정합니다.
• Trial은 하이퍼 파라미터 최적화 반복 단위입니다. 원하시는 만큼 Trial 규칙을 정해주시면 됩니다.
  
• Objective에 적혀있는 메트릭과 목표 값에 도달할 때까지 Tuner가 최적화를 진행합니다. 목표 값에 도달하면 Tuner는 멈추게 되며, 원하면 목표 값에 상관없이 Max Trial 값만 큼 진행하도록 할 수 있습니다.
  
• 하이퍼 파라미터 최적화 알고리즘입니다. 상황에 따라서 특정 알고리즘이 적절하게 동작하므로 각 알고리즘에 대해 충분한 숙지 후에 선택하여 사용하시면 됩니다.
  
• 하이퍼 파라미터가 오버 피팅하는 것을 방지하기 위한 기능으로써 기호에 따라 사용하시면 됩니다.
  
• 최적화할 하이퍼 파라미터들을 정의합니다. 값의 범위를 지정함으로써 하이퍼 파라미터 값의 조합을 제한할 수 있습니다.
  
• 최적화 과정을 통해 나오는 로그를 사용하여 탐색하고자 하는 메트릭 값을 수집합니다.
  1. StdOut : 운영체제의 스탠다드 아웃풋에서 나오는 메트릭을 수집(디폴트) 컨테이너의 아웃풋에서 {key}={value} 의 값을 수집합니다. 물론 정규식도 가능합니다.
  2. File : 파일에서 메트릭을 수집합니다.
     {metricName: ([\\w|-]+), metricValue: ((-?\\d+)(\\.\\d+)?)} 이런 형식으로 수집이 가능합니다.
  3. TensorFlow Event : tf.Event가 저장되어 있는 디렉토리에서 메트릭을 수집합니다.
  4. Prometheus : 오픈소스 메트릭 수집기인 Prometheus로 부터 메트릭을 수집합니다.
  5. Custom : 사용자 정의 컬렉터를 생성할 수 있습니다.
  6. None : 메트릭컬렉터가 필요 없을 경우에 이 값을 설정합니다.
• 실제로 최적화 작업이 돌아갈 Job의 스펙을 정의합니다.
  1. ConfigMap 내부에 정의된 Job 스펙을 사용하는 방법으로, 미리 정의해준 스펙만 사용할 수 있습니다.
  2. Yaml을 직접 정의
     아래와 같이 본인만의 Job 스펙을 직접 정의할 수 있습니다. 여기서 주의해야 할 점은 annotation으로 istio 사이드카 주입을 못하게 막아야 한다는 점입니다. 아래 빨간 박스에 있는 내용을 꼭 추가하신 후에 사용하시길 바랍니다.
     
     
• 모두 마쳤다면 맨 밑에 CREATE 버튼을 눌러서 Experiment를 생성합니다.

Experiment 결과 확인

• 정상적으로 Experiment가 시작하는데 약간의 시간이 걸려서 처음엔 WAITING 상태입니다.
  
• Experiment가 정상적으로 시작하면 아래와 같이 READY 상태로 바뀝니다.
  
• Experiment 이름을 클릭하면 좀 더 자세한 사항들을 확인할 수 있습니다.
  1. Tuner Overview
     현재 Experiment의 상태 정보를 보여줍니다.
     
  2. Tuner Trials
     현재 Tuner의 Trail 상태, 결과 그리고 하이퍼 파라미터 조합 정보를 보여줍니다.
     
  3. Tuner Details
     생성할 때 입력한 Experiment의 정보들을 자세하게 보여줍니다.
     
  4. Tuner Yaml
     사용자가 만든 Tuner의 최종 형태를 yaml 형식으로 보여줍니다.
     

Experiment 삭제

• Tuner 홈 화면에서 삭제하고 싶은 Experiment 행의 우측 쓰레기통 버튼을 눌러줍니다.
  
• 또는 Tuner Detail 화면 우측 상단에 DELETE 버튼을 눌러줍니다.
  
• 아래와 같이 팝업 창이 뜨며 삭제를 원할 시 DELETE 버튼을 눌러, 삭제합니다.