> 
사람들은 시, 소설, 보고서 등 글쓰기, 그림 그리기, 알고리즘 코딩 등 창작의 세계가 그동안 인간에게만 허락된 별도의 영역이라 알고 있었다. 그런데 AI(인공지능)의 발전과 함께 이제는 진화한 AI가 스스로 창작의 영역을 넘보는 시대가 되었다. 생성형 AI(Generative AI)의 등장은 인간에게 어떤 의미가 있으며 우리의 미래에 어떤 영향을 미칠지 가늠하기 쉽지 않지만, 생성형 AI는 이미 여러 분야에서 현실로 나타나 적용되고 있다. 우리에게 성큼 다가온 생성형 AI의 시장현황, 다양한 이슈와 관심 사항 등을 살펴보기로 하자. <편집자 주>
[뉴스투데이=최봉 산업경제 전문기자] 최근 대표적인 Generative AI(생성형 AI) 중 하나인 ChatGPT가 또한번 세상의 이목을 집중시키는 사건이 있었다.
미국 CNN 보도에 따르면, 이 강력한 새로운 AI 챗봇(ChatGPT)이 미네소타 대학의 4개 과정의 법률시험과 펜실베이니아대학 와튼 경영대학원의 또 다른 시험을 통과했다고 한다.
ChatGPT는 특별나게 높은 점수는 아니지만 권위 있는 대학교의 대학원 수준의 시험을 통과할 만큼 똑똑하다는 평가다(“ChatGPT passes exams from law and business schools”, CNN, 2023.1.26.).
• ChatGPT, 대학원 수준 시험 통과할 만큼 진화 거듭
텍스트, 이미지, 음악, 음성, 코드 또는 비디오를 생성하는 Generative AI는 사실 새로운 개념은 아니며, Generative AI의 근간을 이루는 기계 학습 기술은 지난 10여년 동안 발전해 왔다.
딥 러닝 및 GAN(General Adversarial Network) 접근 방식이 일반적으로 사용되었지만, 최신의 접근 방식은 트랜스포머(transformer)다.
GPT(Generative Pretrained Transformer)는 딥 러닝을 사용하여 인간과 유사한 텍스트를 생성하는 일종의 대규모 언어 모델(LLM)이다.
수신한 입력을 기반으로 새 텍스트를 생성할 수 있기 때문에 ‘Generative(생성)’, 특정 작업에 맞게 미세조정되기 전에 대규모 텍스트 데이터 모음에 대해 학습되기 때문에 ‘사전 학습(Pretrained)’, 트랜스포머 기반 신경망 아키텍처를 사용하여 입력 텍스트를 처리하고 출력 텍스트를 생성하기 때문에 ‘트랜스포머(Transformer)’라고 한다.
• OpenAI, 그동안 “더 클수록 더 좋다(the bigger, the better)”는 전략 따라..
AI 모델은 예측할 때 매개변수(parameter)를 사용한다. 매개변수는 AI 모델 내부에 있으면서 제공된 데이터에서 값을 추출할 수 있는 구성 변수이다.
Generative AI가 ‘생성’해내는 결과물이 요즘처럼 정교하다는 사실은 AI 학습에 필요한 데이터양이 어마어마하다는 것을 짐작케 한다.
GPT-1이 출시된 2018년부터 개발사인 OpenAI는 “더 클수록 더 좋다(the bigger, the better)” 전략을 따랐다.
GPT-1에는 1억1700만개의 매개변수가 있고, GPT-2에는 15억개의 매개변수가 있으며, GPT-3는 매개변수 수치를 1750억개로 더 늘렸다. 이는 GPT-3 모델이 GPT-2보다 100배 이상 더 많은 매개변수를 갖는다는 것을 의미한다.
후속모델로 예상하는 GPT-4는 올해 안에 공개될 것(확실한 공개일정은 아직 미정이지만)으로 내다보고 있다.
GPT-4에 앞서 테스트 버전으로 공개된 것이 GPT-3.5인데 최근 센세이션을 일으키고 있는 ChatGPT가 GPT-3.5에서 실행되고 있다는 것을 감안한다면 GPT-4의 데이터양을 짐작할 수 있을 것이다.
‘Cerebras’는 OpenAI와 파트너십을 맺고 GPT 모델을 학습시키는데 참여하고 있는 회사다.
이 회사의 CEO인 Andrew Feldman은 와이어드(Wired)와의 인터뷰에서 GPT-4에는 약 100조개의 매개변수가 있을 것이라고 언급한 바 있다. GPT-4가 GPT-3보다 100배 더 강력한 것처럼 보일 수 있음을 의미한다.
• 모델 크기와 성능, 반드시 정(+)의 상관관계 아니야.. 모델 자체의 품질에 집중
그렇다면 실제로 모델 크기는 생성되는 결과의 품질과 직접적인 관련이 있을까?
매개변수의 수는 AI 모델의 성능과 반드시 정(+)의 상관관계가 있는 것은 아니며, 모델 성능에 영향을 미치는 요소 가운데 하나일 뿐이다. 현재 GPT-3보다 훨씬 큰 AI 모델이 있지만 성능면에서 최고는 아니다.
예를 들어 엔비디아와 마이크로소프트가 만든 Megatron-Turing NLG는 5천억개 이상의 매개변수를 가지고 있으며 현재 가장 큰 모델 중 하나이다.
그럼에도 불구하고 MT-NLG는 성능면에서 최고가 아니다. 더 작은 모델이 더 높은 성능 수준에 도달할 수 있다는 것이다.
모델이 클수록 미세 조정하는 데 더 많은 비용이 든다. GPT3는 학습하기에도 어렵고 비용이 많이 들지만, 모델의 크기를 100배로 늘린다면 계산 능력과 모델에 필요한 훈련 데이터의 양 측면에서 엄청난 비용이 소요될 것이다.
OpenAI가 향후 공개할 GPT-4에서 100조개의 매개변수를 가질 가능성은 적다. 훈련 데이터가 비례적으로 증가하지 않으면 훈련 매개변수의 수를 늘리는 것만으로는 급격한 개선이 이루어지지 않기 때문이다.
따라서 OpenAI는 “더 클수록 더 좋다”는 접근 방식에서 벗어나 모델 자체의 품질에 집중할 가능성이 크다. 아마도 GPT-4는 대략 GPT-3의 크기일 것이라는 것이 전문가들의 중론이다.
댓글 (0)
- 띄어 쓰기를 포함하여 250자 이내로 써주세요.
- 건전한 토론문화를 위해, 타인에게 불쾌감을 주는 욕설/비방/허위/명예훼손/도배 등의 댓글은 표시가 제한됩니다.
