대세는 '작은 AI'...SLM이란?

 

인공지능의 발전에 힘입어 LLM(거대언어모델) 개발이 활발해졌습니다. 그런데 문제가 생겼어요. 환각(Hallucination) 현상이 너무 심하고, 데이터 학습에 너무 많은 돈이 들어갔습니다. LLM 크기가 커짐에 따라 메모리 용량도 같이 커져야 하는 이슈도 생겼습니다. 이에, 더 작고 똑똑한 인공지능의 등장이 필요해졌습니다. 바로 SLM(소형언어모델)입니다.

오늘은 SLM이 무엇인지, 어떻게 발전하고 있는지 정리했습니다.

---

SLM이란?

앞서 설명했듯이 LLM은 대량의 데이터를 학습해야 하고, 사용에 있어서도 대규모 컴퓨팅 자원이 필요합니다. 이런 단점을 극복하고자, 더 작은 양의 데이터를 바탕으로 학습하면서도 여전히 똑똑한 '작은 AI'가 필요해졌어요. SLM은 말 그대로 Small Language Model, 작은 언어 모델입니다. 언어모델의 크기는 '매개변수(파라미터)'에 의해 결정됩니다. LLM이 일반적으로 1000억개 이상의 매개변수를 사용하는 반면, SLM은 수십억개 파라미터 정도로 이뤄집니다. 그럼 sLLM이랑 SLM은 같은 용어일까요? 아닙니다. sLLM은 Small Large Language Model의 줄임말이에요. SLM보다 더 많은, 하지만 LLM보다는 적은 파라미터로 구성됩니다. 

SLM모델은 빠른 응답 속도와 높은 효율성을 제공하며, 모바일 기기나 엣지 디바이스에서 사용하기 적합합니다. SLM은 주로 특정 도메인에 특화된 작업이나 제한된 데이터셋에서 좋은 성능을 발휘할 수 있도록 설계됩니다. 이로 인해 데이터 프라이버시를 중시하는 환경에서도 유용하게 활용될 수 있습니다.

SLM이 뜨는 이유?

일단 LLM에 대한 정부 규제가 강해지고 있어요. 특히 미국과 유럽에서 이런 움직임이 뚜렷하게 나타나죠. LLM 구성에는 막대한 비용과 데이터가 필요한 데, 이를 구축가능한 것은 결국 소수의 빅테크 기업들이거든요. 미국 캘리포니아 하원은 곧 AI규제 법안을 표결할 예정인데요, 이 법안에는 훈련 비용이 1억 달러 이상 드는 대형 모델 개발자가 치명적인 능력을 가진 AI 개발을 하지 못하도록 하는 내용이 들어있어요. 만약 기업이 소형 모델을 개발한다면, 이런 법안의 굴레를 살짝 벗어날 수 있겠죠.

두번째로, AI 투자에 대한 회의감이 커지고 있어요. LLM을 만들면서 기업들은 엄청난 돈을 쏟아붓고 있는데, 수익화는 요원한 상황입니다. 이에 일각에서는 과연 기업이 AI에 이렇게 막대한 투자를 하는게 맞는지 의문을 제기하고 있죠. 기업들도 이런 고민을 안 할수는 없습니다. 소형언어모델은 비용이 더 적게 드는 대신, 특정 분야에 전문성을 가지고 있을 수 있기 때문에 활용 범위가 넓습니다. (모든 정보를 학습하는 것이 아니라 특정 분야 데이터를 중점적으로 학습합니다. 법률, 의료, 금융 등...) 실제 서비스에 투입할 수 있어 실용성이 높고요. 

세번째는 온디바이스AI의 등장입니다. 인터넷 연결없이 디바이스가 직접 AI 추론을 하는 방식이 부상하고 있습니다. 이를 사용하면 개인정보 유출 가능성이 낮아지죠. 대신 이런 방식은 컴퓨팅 리소스가 제안되어 있습니다. 온디바이스AI를 구현하려면, 작은 AI모델이 꼭 필요합니다. 

빅테크 경쟁 치열

챗GPT를 만든 오픈AI는 'GPT-4o 미니'를 출시했습니다. 이 모델은 GPT-3.5 터보 대비 60% 이상 저렴하다고 합니다. 마이크로소프트는 '파이-3 미니', 구글은 '제미나이 1.5 플래시'를 가지고 있어요. 애플은 2주 전에 새로운 오픈소스 소형모델 'DCLM'을 내놨습니다.

국내 IT 업계도 이런 트렌드를 따라갑니다. 네이버는 4월 하이퍼클로바 경량모델인 'HCX-대시'를 선보였고, LG 유플러스는 최근에 통신 전문성을 가진 자체 개발 sLLM '익시젠'을 출시했습니다.