목차
요즘 모두가 챗봇에 대해 이야기하면서 인공지능(AI)과 관련된 몇 가지 문구가 점점 더 보편화되고 있습니다. 이러한 문구 중 하나는 “대규모 언어 모델(LLM)”로, OpenAI, ChatGPT, Google Bard에 관한 기사에서 자주 등장합니다. 하지만 컴퓨터 과학을 전공하지 않는 이상 이 용어가 무엇을 의미하는지 이해하는 사람은 거의 없습니다.
대규모 언어 모델 LLM은 AI 챗봇 기술을 가능하게 하는 요소이며, 많은 화제를 불러일으키고 있는 주제입니다. AI가 안드로이드 기기에서 이메일을 작성하는 데 도움을 줄 수 있는지 알고 싶거나(아마도 가능할 것입니다), 학생들이 챗봇을 사용하여 부정행위를 하는 것에 대해 우려하는 경우(여기에는 풀어야 할 것이 많습니다), 챗봇이 어떻게 작동하는지 이해하는 것이 중요합니다. 따라서 대규모 언어 모델을 구동하는 기술을 자세히 알아보고 무슨 일이 일어나고 있는지 확인해 보겠습니다!
대규모 언어 모델 LLM 이란 무엇일까요?
이 대규모 언어 모델은 머신 러닝과 신경망을 사용하여 언어의 일부를 분석하고 분류하여 사람의 말을 모방할 수 있습니다. 챗GPT와 다른 GPT 제품군의 경우, 다양한 어조와 대화를 다양한 수준으로 모방할 수 있습니다. 이는 자연어 처리(NLP) 분야에 속합니다. 대규모 언어 모델은 챗봇 AI의 중요한 구성 요소입니다. 챗봇은 더 많은 인간 언어의 예를 처리할 수 있는 한 계속 학습합니다.
하지만, LLM은 인간처럼 문법을 학습하지 않습니다. 대신 문장의 일부에 레이블을 붙이는 특별한 프로세스를 따릅니다. 이 과정을 통해 LLM은 글을 쓰거나 말하는 방법을 수학적으로 잘 추측할 수 있습니다. 충분한 학습을 거친 딥러닝 모델은 대학 에세이나 친절한 고객 서비스 담당자를 흉내낼 수 있을 정도로 적절한 추측을 할 수 있습니다. ( 말 그대로 그럴싸한 말을 만들어 냅니다. )
대규모 언어 모델은 어떻게 작동 하나요?
대규모 언어 모델 LLM은 본질적으로 굉장히 복잡하기 때문에 이에 대해 전체를 할애할 시간이 없습니다(물론 재미있겠지만요). 대신 중요한 부분과 이러한 머신 러닝 모델이 어떻게 작동하는지 요점만 몇 가지로 나눠보겠습니다.
토큰화
토큰화는 자연어 처리의 일부로 일반 인간 언어를 저수준 기계 시스템(LLMS)이 이해할 수 있는 시퀀스로 변환하는 작업입니다. 여기에는 섹션(일반적으로 단어 또는 부분 단어)에 숫자 값을 할당하고 빠른 분석을 위해 인코딩하는 작업이 수반됩니다. 이는 음성학의 AI 버전과 같습니다. 토큰화의 목적은 인공지능이 문장의 구조를 예측하기 위한 학습 가이드 또는 공식과 같은 컨텍스트 벡터를 생성하는 것입니다.
인공지능이 언어를 더 많이 연구하고 문장이 어떻게 구성되는지 이해할수록 특정 유형의 문장에서 다음 단어에 대한 예측이 더 정확해집니다. 이러한 지식을 반복적으로 결합하여 온라인에서 사람들이 사용하는 다양한 커뮤니케이션 스타일을 재현하는 모델을 개발할 수 있습니다.
트랜스포머 모델
트랜스포머 모델은 순차적 데이터를 검사하여 어떤 단어가 서로 뒤따를 가능성이 높은지 관련 패턴을 식별하는 신경망의 일종입니다. 이러한 모델은 각각 다른 분석을 수행하여 어떤 단어가 호환되는지 결정하는 계층으로 구성됩니다. 이러한 모델 중 일부는 고유한 이름을 가지고 있으며, 오픈 소스의 한 예로 BERT가 있습니다. 이러한 기초 모델은 모든 LLM의 빌딩 블록 역할을 합니다.
2010년대 후반에 트랜스포머 모델을 만든 구글의 엔지니어들에게 공을 돌릴 수 있습니다. 앞서 설명했듯이 이러한 모델은 언어를 학습하지 않고 알고리즘에 의존하여 사람이 쓴 단어를 이해합니다. 트랜스포머 모델에 일련의 힙스터 커피 블로그를 제공함으로써 커피에 대한 표준 글을 작성하도록 학습시킵니다.
또한 모델은 강화 학습과 같은 머신 러닝 기술을 통해 피드백을 받아 틀린 부분을 알려줍니다. 트랜스포머 모델은 대규모 언어 모델 LLM 언어 생성의 기초가 되며, 기능에 따라 더 복잡해질 수 있어 광범위한 모델을 수용하기 위해 여러 대의 서버가 필요할 정도입니다.
또한, 크리에이터는 단어의 기능을 모델이 명확하게 파악할 수 있도록 단어를 분류하는 창의적인 방법을 고안합니다. 이러한 방법 중 하나는 문장 내에서 단어의 배열을 전달하는 위치 인코딩으로, 단어가 무작위로 제시되더라도 모델이 그 순서를 일관되게 이해할 수 있도록 합니다. 자기 주의와 같은 주의 메커니즘은 문장의 특정 부분에 더 큰 중요성을 부여하여 모델이 사람들이 글에서 무엇을 강조하는지 식별할 수 있게 해줍니다.
프롬프트
프롬프트는 개발자가 정보를 분석하고 토큰화하기 위해 LLM에 제공하는 정보입니다. 프롬프트는 기본적으로 다양한 사용 사례에서 LLM에 도움이 되는 학습 데이터입니다. 프롬프트는 온라인 글쓰기, 에세이, 기사, 책 등 다양한 형태로 제공될 수 있으며, 챗봇에 일반적으로 사용됩니다(일부 작성자는 소송을 제기하기도 함).
학습 중에 더 많은 프롬프트를 받을수록 LLM은 다음 단어를 더 잘 예측하고 정확한 문장을 구성할 수 있습니다. 특히 온라인에서 비공식적으로 사용되는 언어의 경우 반복적이고 예측하기 쉬운 경우가 많습니다.
또한 AI 시스템을 학습시키는 데 사용되는 프롬프트는 시스템의 소리와 반응 방식에 문제를 일으킬 수 있습니다. 예를 들어, 마이크로소프트의 초기 온라인 AI는 트위터 사용자의 프롬프트 때문에 나치 처럼 행동하기 시작한 후 종료되었습니다. 따라서 딥러닝 AI의 적절한 학습을 위해서는 적절한 프롬프트를 선택하는 것이 중요합니다.
챗GPT와 같은 서비스는 광범위한 영역을 커버하는 것을 목표로 하면서도 제외할 항목에 대한 필수 지침을 설정합니다. 이를 위해서는 많은 조정이 필요하며, 학습 알고리즘을 자주 수정해야 AI 모델이 데이터를 처리하거나 특정 작업을 완료하는 방법을 학습할 수 있습니다.
챗봇은 대규모 언어 모델 LLM을 사용할까요?
오늘날의 새로운 AI 챗봇은 프롬프트를 통해 텍스트를 생성하고 질문에 답하는 방식으로 작동합니다. 브랜드 웹사이트 팝업이나 페이스북 등 스토어에서 볼 수 있는 기본 챗봇은 이 기술을 사용하지 않는 경우가 많으며 AI 임계값을 거의 충족하지 못합니다.
하지만 GPT 제품군, 구글의 바드, 빙 AI, 파이 등의 서비스는 다양한 유형의 LLM을 활용합니다. 최신 치료 앱처럼 사람의 말을 모방하기 위해 보다 간단한 모델을 채택하는 앱도 점점 더 많아지고 있습니다(결과는 다양함).
지금쯤이면 DALL-E 2와 미드저니에서 AI가 만든 그림의 배후에 LLM이 있는지 궁금하실 것입니다. 기본적으로 그림 생성 AI는 LLM 모델을 활용합니다. 이들은 유사한 모델을 사용하여 서면 언어 대신 시각적 특징을 분석합니다. 이를 통해 사물, 피사체, 다양한 예술 형식을 어느 정도 비슷한 정확도로 이해할 수 있습니다.
하지만 LLM은 아트웍과 텍스트 데이터 외에도 다른 유용한 응용 분야가 있습니다. 그리고 이것은 시작에 불과합니다. 최첨단 AI 시스템은 과학자나 제약회사처럼 분자 구조와 단백질 서열에 대해 학습하여 새로운 솔루션을 찾는 데 도움을 주고 있습니다. 또한 웹사이트를 더욱 사용자 친화적으로 만들기 위해 작은 코딩 작업과 메타데이터 작업도 처리하고 있습니다. 범용 모델은 다양한 언어의 커뮤니케이션도 개선하고 있습니다. 바쁜 독자를 위해 긴 보고서를 요약하는 것과 같은 일상적인 사용에도 상당한 이점이 있습니다.
대형 언어 모델 LLM은 위험할까요?
대형 언어 모델 LLM이 살인 로봇을 만들어 세상을 정복할까요? 아니요, 그렇지 않습니다. 일상적이고 변화가 거의 필요하지 않은 직업 외에는 많은 일자리가 사라질 가능성은 낮습니다. 하지만 LLM에는 다른 잠재적 위험도 있습니다. 이러한 문제의 대부분은 몇 가지 근본적인 원인에서 비롯됩니다.
LLM과 그 챗봇은 부정확한 정보나 편향된 의견을 퍼뜨리는 것으로 알려져 있습니다. 챗봇은 프로그램된 말과 말하기 방법만 알고 있습니다. 이로 인해 챗봇은 허위 정보를 유포하고 정치적으로 편향적이라는 비난을 받아왔습니다. 온라인 소스에서 허위 정보가 없는 언어 모델을 개발하는 것은 어렵습니다. 그리고 때때로 LLM으로 구동되는 챗봇은 기업의 가짜 재무 수치나 변호사의 가짜 법적 사례와 같은 허위 정보를 생성하기도 합니다. 일부 AI 개발자들은 이러한 조작된 결과물을 ‘환각‘이라고 부르며 수정하기 어렵다고 말합니다.
유해한 행동을 조장할 수 있습니다. 챗GPT를 사용하는 사용자가 돌아가신 할머니처럼 행동해달라며 개인에게 네이팜탄 제조법을 가르치는 등 위험한 행위를 방지하도록 설계된 필터에도 불구하고 위험한 행동을 가능하게 했다는 이야기를 들어보셨을 것입니다. 대규모 언어 모델이 충분한 정보를 소비하면 오늘날의 챗봇을 위한 수많은 다크 웹 자료를 포함하여 무엇이든 가르칠 수 있게 됩니다. 지금까지 크리에이터들은 이를 완전히 효과적으로 방지할 수 있는 방법을 찾지 못했습니다.
대규모 언어 모델(LLM)은 사용자의 개인정보를 위험에 빠뜨릴 수 있습니다. 이러한 모델은 개인의 온라인 또는 공개 소셜 프로필, 대화/메시지 등 민감한 정보를 포함할 수 있는 광범위한 데이터 세트를 사용합니다. 광고주 역시 온라인 활동 정보를 사용합니다. 그러나 LLM AI는 새로운 모델이며 개인 정보 보호를 위한 강력한 보안 조치가 부족합니다.
LL은 거대하고 엄청난 에너지를 소비합니다. 이는 탄소를 줄이려는 기업에게 나쁜 소식이며, 많은 관련 환경 비용으로 이어집니다.
윤리가 부족합니다. 개인은 챗GPT와 같은 도구를 사용하여 거의 모든 콘텐츠를 생성할 수 있습니다. 따라서 학교에서는 위조된 인공지능 논문을 식별할 수 있는 새로운 기술이 필요합니다. 챗GPT는 비방적이거나 적대적인 자료를 생성할 수 있으며 낚시, 협박 또는 기타 불법적인 동기를 위해 누군가를 모방할 수도 있습니다. 멀웨어 코드를 만들거나 백신이 효과가 없다는 가짜 연구 결과를 조작하는 데까지 그 기능이 확장될 수 있습니다. 이는 쉽게 해결할 수 없는 문제이며, 그 결과는 이제 막 나타나기 시작했습니다.
대규모 언어 모델 LLM의 전망은?
타당하다고 할 순 없겠지만, 이 기술은 여러 가지 긍정적이고 영향력 있는 목적으로 활용될 수 있습니다. 대규모 언어 모델(LLM)은 정교한 인공 지능 도구를 활용하여 사람들의 의사소통 방식을 이해할 수 있는 방식으로 언어(또는 기타 데이터)를 분류합니다.
이러한 모델은 주로 매개변수와 프롬프트에 의해 형성되며, 이것이 챗GPT 및 기타 도구가 개발되는 방식입니다. 안전하고 적절한 기술을 확립하고 적절한 프롬프트를 제공해야 합니다. 잘못 활용될 경우 딥페이크나 에세이 부정행위와 같은 부작용이 발생할 수 있습니다. 언어 기반 AI를 활용하기 위해서는 아직 밝혀내야 할 것이 많습니다. 언어 기반 AI는 미지의 영역이며, 우리는 흥미로운 경험을 하게 될 것입니다.
