“한국이 개발한 파운데이션 모델은 없다”

The AI index report 2024

미국의 스탠퍼드 대학교에 HAI라는 곳이 있습니다. 이름을 풀어보면 Human-Centered Artificial Intelligence, 즉 인간중심 인공지능을 연구하는 연구시설입니다. 이곳에서는 연례적으로 AI 보고서를 공개하고 있습니다. 이름하여 죠. 2024년 버전의 보고서가 지난 4월 15일 공개됐습니다.

올해로 벌써 7년째 이어지고 있는 이 보고서에는 AI 기술의 최신 동향과, 앞으로의 전망에 대한 내용이 총망라되어 있습니다. 현재 AI 기술 개발 상황은 어떠한지, 또 기술이 적용되고 있는 다양한 분야에서의 경제적 효과는 어떠한지 살펴볼 수 있습니다. 단순히 시장 전망만 다루는 게 아니라 사람들이 AI에 대해서 어떻게 생각하고 있는지 등 다양한 차원에서 AI의 현주소를 평가하고 있습니다.

HAI 홈페이지에 들어가면 인터랙티브 그래프와 함께 보고서를 읽을 수 있습니다.

Top 10 Takeaways

연구진들이 열과 성을 다해 만든 보고서를 찬찬히 읽어보는 것이 가장 좋겠지만 분량이 상당합니다. 무려 502페이지나 되거든요. 500 페이지가 넘는 보고서가 부담이 되는 분들이라면, HAI가 정리해 놓은 10가지 핵심 내용만 살펴보세요. 2024년 현재 AI 모델의 성능이 어디까지 왔는지, 또 이런 모델을 개발하는 데 각 국가의 상황은 어떤지 알 수 있습니다.

No	Takeaways
1	AI beats humans on some tasks, but not on all. AI는 이미지 분류, 시각적 추론 같은 일부 영역에선 인간보다 뛰어난 성능을 보인다. 하지만 모든 작업에서 그런 것은 아니다. 복잡한 수학 문제, 시각적 상식 추론 같은 복잡한 작업에서는 여전히 인간보다 뒤처진다.
2	Industry continues to dominate frontier AI research. AI 연구는 여전히 산업계가 주도하고 있다. 2023년 산업계에선 기존 모델을 능가하는 이른바 ’프런티어 모델’을 51개나 만들어 냈지만, 학계에선 그에 못 미치는 15개만 만들었다.
3	Frontier models get way more expensive. 프런티어 모델의 훈련 비용은 점점 늘어나고 있다. Open AI가 GPT-4 컴퓨팅 비용에 약 7,800만 달러를 썼고, Google은 Gemini Ultra에 1억 9,100만 달러를 썼다.
4	The United States leads China, the EU, and the U.K. as the leading source of top AI models. 미국은 EU, 중국을 크게 앞지르며 AI 모델 소스의 선두 국가로 등극해 있다. 2023년에 미국에서 출시된 주목할만한 AI 모델은 61개. EU의 21개, 중국의 15개를 크게 앞지른다.
5	Robust and standardized evaluations for LLM responsibility are seriously lacking. LLM을 평가할 표준화된 벤치마크가 부족하다. OpenAI나 Google, Anthropic 같은 기업들은 자신들의 모델의 품질과 속도를 테스트하기 위해 각기 다른 벤치마크를 진행하고 있다. 모델 성과 평가를 위한 표준화된 프레임워크가 없는 탓에 체계적으로 비교하기가 어렵다.
6	Generative AI investment skyrockets. 생성형 AI에 대한 투자가 급증하고 있다. 전체 AI 투자는 줄었지만, 생성형 AI에 대한 투자는 2022년 대비 거의 8배 증가했다.
7	The data is in: AI makes workers more productive and leads to higher quality work. AI가 근로자의 생산성을 높이고, 작업의 질을 높이고 있다는 여러 연구들이 나오고 있다. AI는 저숙련 및 고숙련 근로자 간의 기술 격차를 메우는 잠재력을 보여주기도 했다. 하지만 적절한 감독 없이 AI를 사용할 경우엔 생산성이 저하될 수 있다는 경고도 있다.
8	Scientific progress accelerates even further, thanks to AI. AI 덕분에 과학적 진보가 가속화되고 있다. 더 효율적인 정렬 알고리즘을 만든 AlphaDev뿐 아니라, 재료 발견에 도움을 주는 GNoME까지… 다양한 과학 관련 AI 애플리케이션이 출시되었다.
9	The number of AI regulations in the United States sharply increases. 미국에서 AI 규제가 급증하고 있다. 2016년 1개였던 AI 관련 규제는 2023년엔 25개로 늘어났다.
10	People across the globe are more cognizant of AI’s potential impact and more nervous. 전 세계 사람들은 AI의 잠재력을 인정하고 있다. 동시에 불안감도 느끼고 있다. 입소스의 조사에 따르면 응답자의 절반이 넘는 사람들이 AI 제품과 서비스에 대해 걱정하고 있다. 2022년 대비 13%p 늘어난 수치다.

국내 파운데이션 모델은 ZERO?

문제가 된 것은 핵심정리 10개 중 4번째 문장인 “The United States leads China, the EU, and the U.K. as the leading source of top AI models.”입니다. 스탠퍼드 보고서에서는 전 세계 국가별로 Frontier AI 모델을 얼마나 발표했는지를 비교했는데요, 그중에서도 Frontier AI 연구를 대표할 수 있는 파운데이션 모델이 어디서 만들어졌는지를 분석했습니다. 보고서에선 미국이 109개로 가장 많다고 소개했고, 뒤이어 중국 20개, 영국 8개, UAE 4개 순이었습니다.

여기에 우리나라가 개발한 파운데이션 모델은 ZERO였죠. 이걸 가지고 다양한 기사들이 나왔습니다. AI에 투자한 게 얼만데, 아직까지 파운데이션 모델은 한 개도 못 만들었다며 비판하는 목소리가 다수였습니다. 정말일까요? 일단, 보고서에서 이야기하는 파운데이션 모델이 무엇인지부터 살펴보겠습니다.

Foundation model의 탄생

2020년 초, 새롭게 등장하는 초거대 AI 모델을 두고 학계는 고심이 많았습니다. 당시는 대규모 데이터로 학습되어 다양한 다운스트림 작업에 적용할 수 있는 BERT, DALL-E, GPT-3라는 모델들이 속속 등장하는 시기였죠. 이런 모델들은 AI의 패러다임을 전환할 수 있는 모델로 여겨졌고, 이 전환을 설명할 수 있는 모델들의 개념, 혹은 카테고리가 필요했습니다.

2021년 HAI에서는 초거대AI연구센터를 설립해 컴퓨터와 AI 관련 연구진뿐 아니라 법, 철학 등 다방면의 스탠퍼드 연구진 100여 명을 모아 보고서를 만들었습니다. 보고서의 이름은 On the Opportunities and Risks of Foundation Models이었죠. 보고서의 이름에서도 알 수 있듯 HAI가 선택한 이름은 파운데이션 모델(Foundation Models)이었습니다.

파운데이션 모델은 이름 그대로 모든 응용 분야의 기반이 될 수 있는 모델을 의미합니다. 논문에서는 파운데이션 모델을 엄청난 규모의 원시 데이터에서 비지도 학습을 통해 훈련된 AI 신경망을 의미하고 있습니다. 다양한 양식의 데이터에서 얻은 정보를 중앙 집중화해서, 다운스트림 작업에 적용할 수 있죠.

일단 파운데이션 모델을 만들어 두면, 새로운 애플리케이션을 위해 AI 모델을 처음부터 만들 필요가 없습니다. 파운데이션 모델을 기반으로 그냥 새로운 분야에 적용하면 되니까요. 더 빠르고, 비용도 줄일 수 있습니다. 이런 강점 탓에 파운데이션 모델은 현재 매우 빠르게 진화하고 있는 인기 있는 AI 모델이라고 할 수 있습니다.

그런데 이 모델을 우리나라가 단 하나도 못 만들었다는 보고서가 발표되니 난리가 난 거죠. 그런데 정말일까요?

현실은 이렇다

네이버 Future AI 센터의 센터장은 SNS를 통해 스탠퍼드 보고서의 오류를 지적했습니다. 이번에 발표한 보고서는 과거 직접 조사한 때와 달리 HAI 그룹에서 자체적으로 작성한 논문의 내용을 활용한 탓에 상당수의 파운데이션 모델이 빠졌다는 거였죠.

실제 HAI 보고서에는 이런 단서 조항을 달아 두었습니다.

The Ecosystem Graphs make efforts to survey the global AI ecosystem, but it is possible that they underreport models from certain nations like South Korea and China.

“생태계 그래프는 전 세계 AI 생태계를 조사하기 위해 노력하고 있지만, 한국이나 중국과 같은 특정 국가의 모델을 과소 보고할 수 있습니다.”라고요.

이례적으로 과학기술정보통신부도 ’사실은 이렇습니다’를 통해 반박 자료를 발표했습니다. 네이버의 하이퍼클로바X, LG AI 연구원의 엑사원 2.0, 삼성전자의 Gauss, NC소프트의 VARCO 등 다수의 독자 파운데이션 모델을 보유하고 있다고 말이죠.