연구 주제
기존의 search strategies와 비교하여 Ansor는 Search space의 hierarchical representation에서 프로그램을 샘플링하여 더 많은 최적화 조합을 탐색한다. 그 다음 샘플링된 프로그램을 evolutionary search로 fine-tune하고 학습된 cost model이 best program을 찾게 합니다.
연구 개요
커널 라이브러리들은 하드웨어 플랫폼과 연산들을 위해 수동적으로 튜닝하기 위해 상당한 엔지니어링적 노력이 요구된다. 성능이 우수한 tensor programs을 찾기 위해서는 large search space를 해결하기 위해 search-based approach가 요구되는데 기존 approach들은 predefined manually-written template 방식 때문에 effective한 최적화 조합을 찾는데 실패한다. 자동적으로 광범위한 최적화 범위와 함께 large search space를 생성할 수 있고 모든 tensor program을 선택할 수 있는 기회를 제공한다. Gradient descent 기반의 scheduling 알고리즘을 중요한 subgraph를 우선순위를 두는데 사용한다.
관련 연구
Halide는 loop optimization primitive를 만들 수 있는 스케줄링 언어이고 manual optimization 및 automatic search 또한 가능한 language이다. 그리고 Graph-level optimization는 computational graph의 operator를 기본 단위로 처리하고 연산자의 내부 구현을 변경하지 않고 그래프 수준에서 optimization를 수행합니다.
