자가진화형 하네스 자동 최적화
실패에서 배워 스스로 고치는 하네스 자동 최적화 시스템
이 하네스가 도는 한 바퀴
- 관측운영 중인 하네스가 보낸 trace가 들어오고, 실패는 클래스 별로 분류됩니다. 분류 기준에 따라 보류한 것은 따로 쌓습니다.
- 판정표본 수, 실패 수, 최소 실패율, 분류 완료율 네 게이트가 개선 탐색을 시작할 만큼 쌓였는지를 배포 버전별로 판정합니다.
- 승인게이트 통과 후 자동으로 시작하지 않고 유료 탐색을 시작할지를 사람이 승인하는 단계를 거칩니다. 이번 요청의 새 유료 탐색은 승인 후 시작됩니다. 관측, 분류, 평가나 이전 실행에서 발생한 비용은 별도로 남습니다.
- 승격만들어진 후보를 품질과 질의당 운영비용 두 축에 놓고, 더 좋으면서 더 싼 후보가 없는 frontier 후보를 제시합니다.