데이터분석이나 인공지능을 조금 다루어봤으면 "SOTA 모델을 사용해서~", "SOTA base line과 비교해봐!" 같은 말을 많이 들어봤을 것이다.
솔직히 필자는 연구도 진행했는데 이 단어의 뜻을 뉘앙스적으로만 파악하고 있었다;; (ㄹㅇ나쁜 연구생)
아무튼 SOTA에 대해서 알고 저 문장들은 무슨 뜻이었는지 같이 파악해보자!
목차
2. 왜 "State Of The Art" 라고 부르는거야?
1. SOTA (State Of The Art) 란?
특정 작업에 대해 현재 사용 가능한 최고의 모델/알고리즘을 나타낸다.
특정 도메인에서 달성한 최고 수준의 성능을 나타낸다.
여기서 '특정 도메인' 이라면 인공지능에는 정말 많은 분야가 있을 것이다.
예를 들어, image segmentation 에서 가~~~~~장 성능이 좋은 모델이 뭐야?? 해서 나온 답변의 그 모델이 SOTA 모델인 것이다!
한마디로 걍 전교1등을 말하는거다!
이 학교(분야...)에서 공부 제일 잘하는 학생(모델.. 사람을 인공지능 모델로 비유하긴 좀 그런데 암튼)을 SOTA 모델이라고 한다.
따라서, SOTA를 달성하기 위해 (==이 도메인에서 내 모델이 1위 짱짱ㅎㅎ이 되기 위해) 새로운 알고리즘, 모델, 기술 개발이 진행된다. 그래서 그 최고 성능의 모델이 연구 및 개발의 지표로 활용하는 것이고.
그런데 모델은 어떤 데이터를 넣는지에 따라서 성능이 계속 변하기에 항상 최고가 될 수 없다.
조건(데이터셋, task)에 따라 달라서 벤치마크 기준을 확인하는게 좋다!
여기서 벤치마크 기준이란 "성능을 확인할 수 있도록 모두가 공통으로 사용하는 데이터셋과 평가 기준" 을 의미한다.
그러니까 예를 들어 학교에서 제일 공부 잘하는 애가 누구야! 라고 하면 다들 동일한 시험지로 성적을 평가하는 것처럼
SOTA 모델을 구하기 위해서는 공통으로 쓰는 데이터셋과 평가 기준이 있는 것이다.
정리하면,
"같은 벤치마크 데이터셋에서, 같은 평가 기준으로, 가장 좋은 성적을 낸 모델" 이 조건이 만족돼야 진짜 SOTA라고 할 수 있다.
2. 왜 "State Of The Art" 라고 부르는거야?
개인적으로 왜 최고 성능을 SOTA가 "State Of The Art" 라고 부를까... 궁금했다.
Art는 지금 도메인이 기술, 모델, 알고리즘에 대해서 이야기를 하고 있으니
뉘앙스적으로 "기술"로 해석하면 된다. "미술", "예술"이 아니라.
그러면 State Of ~ 는 "현상태의" 라는 의미이므로, "기술의 현상태" 라고 해석할 수 있다.
따라서, 지금 기술의 어느 수준까지 왔는지, 기술력, 현시점에서 인간이 만든 가장 발전된 기술 수준 로 이해하면 된다!
그래서 SOTA 모델은 최앞단에 온 모델을 뜻하는 것이다 ㅎㅎ.
3. SOTA 모델 정리해둔 사이트
여러 사이트가 있는데 Papers with code 가 가장 대표적이다.
https://paperswithcode.com/
Papers with Code - The latest in Machine Learning
Papers With Code highlights trending Machine Learning research and the code to implement it.
paperswithcode.com
다양한 AI 분야의 SOTA 모델을 태스크별로 정리했다.
논문, 깃허브 코드, 벤치마크 수치같은 성능을 함께 제공한다.
위 사이트에 들어가서 검색창에 관심있는 분야를 치면 모델별로 어떤 데이터를 써서 몇 등을 했는지 Rank가 뜬다.
이렇게 최신 SOTA 모델과 논문, 성능 수치, 코드 링크까지 전부 확인할 수 있다!
아주 굿~
4. SOTA를 활용한 예문 이해하기
그러면 SOTA 모델의 개념에 대해서 습득되었을테니 예문으로 연습해보자 ㅎㅎ.
회사, 학교, 면접에서 자주 듣거나 쓰는 표현들을 익히면 좋을 것 같다.
4-1. SOTA 모델을 활용해봤나요?
이런거 면접에서 종종 물어보는데,
"우리 부서에서 다루는 도메인에서 가장 최신의 성능 좋은 모델 써본 경험있어?"
를 물어보는 것이다.
LLM, langchain 분야에 지원했다면, 요즘 가장 좋은 모델이 뭔지 알고 이해하고 활용한 경험이 있는지를 물어보는 것!
4-2. SOTA base line과 비교하라.
"SOTA 모델을 기준으로 삼아서 너의 모델(또는 논문 연구면 방법론)이 얼마나 잘하는지를 비교해봐"
를 뜻한다.
SOTA 보다 잘해? 뛰어난 연구군...
못한다면 왜 이런 방법론이나 모델을 택했어? 같은 교수님의 질문이 들어올 수도 있다... (경험 맞음)
여기서 말하는 SOTA base line은 그냥 SOTA 모델이라고 해석하면 된다.
SOTA 모델이 가장 성능이 좋은 모델이다보니 항상 비교 대상이 되는 모델이어서 baseline (기본 축) 이라고 표현한 것이다.
4-3. 이 프로젝트에서는 SOTA 음성 인식 기술을 사용해서 저희 앱에 업데이트해요
실무에서 트렌드 언급할 때도 자주 쓰인다.
"음성 인식 기술에서 가장 잘 알려진 모델이나 최신 기술을 도입해봐요~" 라고 이해하면 된다!
결론: SOTA는 제일 짱을 의미함.
잘 이해됐길 바란다! 질문이 있다면 언제든 댓글 남겨주길!