자동머신러닝

1부. AutoML 방법

1장. 하이퍼파라미터 최적화
1.1 서론
1.2 문제 기술
1.2.1 최적화에 대한 대안: 앙상블과 한계화
1.2.2 다중 목적에 대한 최적화
1.3 블랙박스 하이퍼파라미터 최적화
1.3.1 모델 프리 블랙박스 최적화 방법
1.3.2 베이지안 최적화
1.4 다중 충실도 최적화
1.4.1 조기 종료를 위한 학습 곡선 기반의 예측
1.4.2 밴딧 기반 알고리듬 선택 방법
1.4.3 충실도의 적응적 선택
1.5 AutoML에의 응용
1.6 미해결 문제와 미래 연구 방향
1.6.1 벤치마크와 비교 가능성
1.6.2 그래디언트 기반 최적화
1.6.3 확장성
1.6.4 과적합과 일반화
1.6.5 임의 크기의 파이프라인 구축

2장. 메타러닝
2.1 서론
2.2 모델 평가로부터 학습
2.2.1 작업 독립 권장
2.2.2 설정 공간 설계
2.2.3 설정 전이
2.2.4 학습 곡선
2.3 작업 속성으로부터 학습
2.3.1 메타 - 특성
2.3.2 메타 - 특성 학습
2.3.3 유사 작업으로부터 예열 시작 최적화
2.3.4 메타모델
2.3.5 파이프라인 합성
2.3.6 조정할 것인가, 조정하지 않을 것인가
2.4 사전 모델로부터 학습
2.4.1 전이학습
2.4.2 신경망으로 메타러닝
2.4.3 소수 사례 학습
2.4.4 지도학습을 넘어서
2.5 결론

3장. 신경망 구조 탐색
3.1 서론
3.2 탐색 공간
3.3 탐색 전략
3.4 성과 추정 전략
3.5 미래 방향

2부. AutoML Systems

4장. 오토웨카: 자동 모델 선택과 웨카를 활용한 하이퍼파라미터 최적화
4.1 서론
4.2 사전 준비
4.2.1 모델 선택
4.2.2 하이퍼파라미터 최적화
4.3 결합 알고리듬 선택과 하이퍼파라미터
4.3.1 순차적 모델 기반 알고리듬 구성
4.4 오토웨카
4.5 실험 평가
4.5.1 베이스라인 방법
4.5.2 검증 성과 결과
4.5.3 테스트 성과 결과
4.6 결론
4.6.1 커뮤니티 채택

5장. 하이퍼옵트 사이킷런
5.1 서론
5.2 배경: 최적화를 위한 하이퍼옵트
5.3 검색 문제로서 사이킷런 모델 선택
5.4 사용 예제
5.5 실험
5.6 논의와 미래 연구
5.7 결론

6장. 오토 사이킷런: 효율적이고 강건한 자동머신러닝 157
6.1 서론
6.2 CASH 문제로서의 AutoML
6.3 AutoML의 효율성과 강건성을 향상시키기 위한 새로운 방법
6.3.1 좋은 머신러닝 프레임워크를 찾기 위한 메타러닝
6.3.2 최적화 동안 평가된 모델의 자동 앙상블 구축
6.4 현실적인 AutoML 시스템
6.5 오토 사이킷런의 오토웨카와 하이퍼옵트 사이킷런과의 비교
6.6 AutoML 개선안의 평가
6.7 오토 사이킷런 구성 요소의 세부 분석
6.8 논의와 결론
6.8.1 논의
6.8.2 사용법
6.8.3 PoSH 오토 사이킷런의 확장
6.8.4 결론과 미래 연구

7장. 딥신경망의 자동 튜닝
7.1 서론
7.2 오토넷 1.0
7.3 오토넷 2.0
7.4 실험
7.4.1 오토넷 10과 오토 사이킷런의 베이스라인 평가
7.4.2 AutoML 경연 데이터셋에 대한 결과
7.4.3 오토넷 10과 20의 비교
7.5 결론

8장. TROP: 자동머신러닝을 위한 트리 기반 파이프라인 최적화 도구
8.1 서론
8.2 방법
8.2.1 머신러닝 파이프라인 연산자
8.2.2 트리 기반 파이프라인 구축
8.2.3 트리 기반 파이프라인 최적화
8.2.4 벤치마크 데이터
8.3 결과
8.4 결론과 미래 연구

9장. 자동 통계 전문가 시스템
9.1 서론
9.2 자동 통계 전문가의 기본 해부
9.2.1 관련 연구
9.3 시계열 데이터에 대한 자동 통계 전문가 시스템
9.3.1 커널에 대한 문법
9.3.2 탐색과 평가 절차
9.3.3 자연어 설명 생성
9.3.4 인간과의 비교
9.4 다른 자동 통계 전문가 시스템
9.4.1 핵심 구성 요소
9.4.2 설계에 있어서 풀어야 할 과제들
9.5 결론

10장. 2015-2018 AutoML 챌린지 시리즈에 관한 분석
10.1 서론
10.2 문제 설정과 개요
10.2.1 문제의 범위
10.2.2 완전 모델 선택
10.2.3 하이퍼파라미터 최적화
10.2.4 모델 탐색 전략
10.3 데이터
10.4 챌린지 프로토콜
10.4.1 시간 예산과 계산 자원
10.4.2 점수 척도
10.4.3 2015/2016 챌린지 라운드와 단계
10.4.4 2018 챌린지 단계
10.5 결과
10.5.1 2015/2016 챌린지에서 얻은 점수
10.5.2 2018 챌린지에서 얻은 점수
10.5.3 데이터셋/작업의 어려움
10.5.4 하이퍼파라미터 최적화
10.5.5 메타러닝
10.5.6 챌린지에서 사용된 방법들
10.6 논의
10.7 결론

부록 I. AutoML 최신 동향
부록 II. 메타러닝과 AutoML