[ML] History of ML (작성중)

1940

• 1943 : ANN (Artificial Neural Network) 시작
  • McCulloch, Pitts
  • A logical calculus of ideas immanent in nervous activity
• 1949 : Weighting 변화를 통한 학습
  • Donald Olding Hebb
  • The Organization of Behavior: A Neuropsychological Theory

1950

• 1956 : AI (Artificial Inteligence) 용어 등장.
  • 1956년 다트머스대학 컨퍼런스
  • J. McCarthy (당시 Dartmouth College 조교수)
  • https://dsaint31.me/mkdocs_site/ML/ch00/ch00_01_dartmouth_ai/
• 1958 : 최초의 ANN 구현물 등장 (Perceptron)
  • Frank RosenBlatt
  • The PERCEPTRON: A Probabilistic Model for Information Storage and Organization in the Brain
• 1959 : ML (Machine Learning) 용어 등장.
  • Arthur Samuel (IBM)
  • Studies in Machine Learning Using the Game of Checkers

1960

• 1962 : MLP (Multi-Layer Perceptron) 등장
  • Frank RosenBlatt
  • Principle of Neurodynamics: Perceptron and the Theory of Brain Mechanisms
  • 학습 방법은 제안하지 못 함.
• 1963 : Vladmir Vapnik
  • Linear Support Vector Machine 공개.
• 1969 : Marvin Minsky et al. (Peceptrons: An Introduction to Computational Geometry)
  • Single Layer Peceptron 의 한계를 지적.
  • 이후 BackPropagation의 보편화 이전까지 Nueral Network의 연구는 활력을 잃음.
  • 이후 Marvin Minsky가 연구하던 Symbolic AI 중심으로 AI연구가 이루어짐.

1970

• 1970 : Symbolic AI의 지나친 낙관
  • 3~8년 내에 평균적인 인간의 지능 수준의 AI가능할 것이라는 예측 (Marvin Minsky)
• 1970 : Seppo Linnainmaa
  • Reverse-mode Automatic Differentiation 제안 (석사논문)

1974 - 1980 : 1st AI Winter

컴퓨팅 파워 부족과 복잡한 문제에서의 Symbolic AI의 한계로 인해 AI에 대한 투자와 관심, 연구가 급격히 줄어든 시기.
당시에는 학습할 데이터도 부족하고, 간단한 문제도 지수적 시간을 요구하는 경우가 많음.

• 1974 : Paul J. Werbos
  • Back-Propagation을 박사학위 논문에서 MLP(or ANN)에 적용.
  • Beyond regression: New tool for prediction and analysis in the behavioral science

1980

Expert System 의 초기 성공으로 전세계의 여러 회사들이 대규모 투자를 함(1985년 당시 연간 10억 달러 이상).
ANN의 부활이 조금씩 이루어지던 시대.

• 1982 : John Hopfield
  • Hopfield Network 제안
• 1986 : Rumelhart and Hinton
  • Learning internal representation by error propagation **
  • MLP의 학습 기법으로 Back Propagation을 알린 대표적 논문: Deep Learning의 시대의 시작점으로도 평가.
  • 이후 MLP에 대한 연구가 점차 이루어지 시작: 하지만 2000년대 초까지도 ANN은 대세가 못 됨.

1987 ~ 1993 : 2nd AI Winter

Expert System이 성능에 비해 지나치게 높은 유지비용이 요구되며, 확장이 어려운 점이 인식되기 시작하고, PC의 성공으로 인해 AI를 위한 HW보다는 PC등에 대한 투자가 집중되기 시작 (통신 네트워크와 PC에 대한 투자는 1998년~1999년 닷컴버블로 이어짐).

• 1987 : International Neural Network Society 설립.
• 1989 : Yann LeCun
  • LeNet 발표 (3개의 hidden layer, 3days training)
  • 1990년대 미국 우편 서비스에 활용.

1990

Kernel trick에 기반한 SVM의 황금기.
2개 이상의 hidden layers를 가질 경우 Deep하다고 부르던 시기.
통계적 이슈들을 ML 기법으로 접근하는 Data Mining 등장.

• 1995 : Kernel SVM 공개
  • Vladmir Vapnik
• 1996 : AdaBoost 등장
  • AdaBoost, or Adaptive Boosting
  • Yoav Freund와 Robert Schapire
• 1999 : Gradient Boosting 등장
  • Jerome H. Friedman

2000

Random Forest 와 Gradient Boosting 의 인기

• 2001 : Random Forests 등장

  • Leo Breiman과 Adele Cutler

• 2004 : Restricted Boltzmann Machine (RBM)

• 2006 : Deep Belief Net

  • Unsupervised Layer-wise Pretraing을 통한
  • 여러 layers를 깊게 쌓는게 가능해짐.
  • A fast learning algorithm for deep belief nets

• 2006 : Nvidia사 CUDA 공개.

  • Fermi Architecture와 함께, Computed Unified Device Architecture (CUDA) 공개.
  • GPU 기반의 병렬 컴퓨팅이 널리 사용되기 시작함.

2010

Random Forest 와 Gradient Boosting 의 인기 + Deep Neural Network의 폭발적 성장 시작

• 2011 : Dan Ciresan
  • Deep Nueral Network 로 이미지 분류.
• 2012 : ImageNet (ImageNet Large Scale Visual Recognition Challenge, ILSVRC)에서 Hiton교수팀의 우승
  • AlexNET: https://dsaint31.me/mkdocs_site/ML/ch14_cnn/alexnet/
  • Alex Krizhevsky 의 이름을 딴 CNN으로, Deep Neural Network의 우수성을 알린 사례임.
• 2014 : GoogleNet and VGG 등장.
  • ILSVRC는 CNN 이 대세를 이루게 됨.
• 2014 : Generative Adversarial Network 등장.
  • Ian Goodfellow
• 2015 : ResNet 등장
  • Residual Connection 덕택에 정말 획기적으로 많은 layers(152 layers)의 deep neural network 가능해짐.
• 2015 : TensorFlow 공개
  • Google이 오픈소스 머신러닝 프레임워크인 TensorFlow를 공개함.
• 2015 : Keras 공개
  • 프랑소와 숄레(François Chollet)가 개발한 오픈소스 딥러닝 라이브러리
• 2015 : U-Net 공개
  • U-Net: Convolutional Networks for Biomedical Image Segmentation.
  • Olaf Ronneberger
• 2016 : PyTorch 공개
  • Facebook의 AI연구팀이 PyTorch 공개.
• 2017 : Transformer 등장
  • 구글 연구팀이 발표한 논문 "Attention is All You Need"
  • Attention 기반.
• 2019 : TensorFlow 2.0공개 (Keras와 통합)
  • Keras는 TensorFlow 2.0의 공식 고수준 API로 통합

2020

AI 와 Deep Learning 은 대세 중의 대세가 됨.

• 2020 : ChatGPT 등장
  • OpenAI에서 개발한 GPT-3 (Generative Pre-trained Transformer 3) 기반.
• 2020 : Vision Transfomer (ViT) 공개
  • An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
  • Alexey Dosovitskiy (Google)
• 2021 : Swin Transformer 공개
  • Swin: Hierarchical Vision Transformer using Shifted Windows
  • Microsoft Research Asia
• 2023 : PyTorch 2.0 공개