DataCentricAI
컴퓨팅 기술의 발달
인공지능의 발달
과거 모델에 대한 논의 활발
현재는 데이터 중심의 논의가 이루어지기 시작
self-attention을 활용한 transformer의 응용 모델들이 쏟아지고 성능 또한 좋다보니, self-attention 기술이 적용되지 않는 모델의 출시 등은 주목받지 못하는 상황
그러나 아래 두 아티클에서 보듯 이전 과거의 모델을 사용하거나 단순한 퍼셉트론 신경망을 이용하더라도 충분히 좋은 성능을 낼 수 있음
너도나도 트랜스포머를 사용하는 너무 현재의 유행(?)에만 매몰되지 말고 데이터나 이전 모델의 고려, 단순한 구조 등 여러 방식으로 생각할 수 있는 자세가 필요할 것 같다.
Perceptrons Are All You Need
https://read.deeplearning.ai/the-batch/perceptrons-are-all-you-need/
Perceptrons Are All You Need
The paper that introduced the transformer famously declared, “Attention is all you need.” To the contrary, new work shows you may not need transformer-style attention at all.What’s new: Hanxiao Liu and colleagues at Google
read.deeplearning.ai
결론: self-attention이 사용되지 않은 모델이라도 주의 깊게 보자
https://read.deeplearning.ai/the-batch/revenge-of-the-perceptrons/
Revenge of the Perceptrons
Why use a complex model when a simple one will do? New work shows that the simplest multilayer neural network, with a small twist, can perform some tasks as well as today’s most sophisticated architectures.
read.deeplearning.ai
결론: 이미지분류에 있어서 충분한 데이터의 학습이 이루어졌을 경우, 단순한 퍼셉트론 모델이 복잡한 구조의 모델 성능과 비견될 수 있으니 모델구조를 생각할때 다시 한번 고려해볼 필요가 있음