오픈AI 개발자들이 설립한 챗봇 스타트업, ‘Anthropic’가 최대 $375,000(약 4억 후반)의 연봉을 내걸고 인공지능 프롬프트 엔지니어 직무 채용공고를 오픈했습니다.
어마어마한 연봉에 프롬프트 엔지니어가 뭘까 하고 검색을 해보니 인공지능 시대에 등장한 새로운 직업이라고 하더군요.
IT업계에서는 스마트폰이 탄생하면서 안드로이드와 iOS앱 개발자가 생긴것과 비슷한 맥락이라고 말하는 이들도 있습니다.
프롬프트 엔지니어에게 요구되는 역량이 결국에는 현재 인공지능 시대를 살아가고 있는 우리 모두에게도 필요한 역량이 아닐까 하는 생각이 들어 이렇게 글을 시작합니다.
“Writing a really great prompt for a chatbot persona is an amazingly high-leverage skill and an early example of programming in a little bit of natural language.”
“챗봇 페르소나를 위해 훌륭한 프롬프트를 작성하는 것은 활용도가 굉장히 높은 기술이며 약간의 자연어로 프로그래밍하는 것의 초기 사례이다.”- OpenAI CEO Sam Altman -
“The hottest new programming language is English.”
“현재 가장 핫한 프로그래밍 언어는 영어다.”- 전 Tesla AI 총 책임자, OpenAI 창립 멤버 Andrej Karpathy -
프롬프트란?
프롬프트란 누군가 특정한 작업을 수행하는 것을 돕기 위해 전달하는 메시지를 뜻합니다.
아나운서가 뉴스를 진행하면서 해야 할 말을 잊어버리지 않도록 대본을 띄워 주는 ‘프롬프터’를 떠올리면 이해가 쉽습니다.
인공지능 분야에서의 프롬프트(Prompt)를 정의한다면 AI 모델로부터 이미지나 텍스트 결과를 얻기 위한 입력값이라고 말할 수 있습니다.
프롬프트 엔지니어링?
인공지능 중에서도 NLP(자연어 처리) 분야의 개념으로, AI가 생성하는 결과물의 품질을 높일 수 있는 프롬프트 입력값들의 조합을 찾는 작업이라고 정의 할 수 있습니다.
AI에게 자연어로 대화를 걸면서 AI의 최적 답변을 이끌어내고, 편향되거나 위험한 결과를 최소화하기 위해 효과적인 입력값 조합을 찾고 제시하는 역할입니다.
ChatGPT 프롬프트 엔지니어
‘AI조련사’라는 별명을 가진 인공지능 프롬프트 엔지니어가 주목을 받게 된 것은 인공지능에 입력하는 질문 수준에 따라서,
즉 어떤 프롬프트를 입력하느냐에 따라 출력값이 달라지기 때문입니다.
예를 들어, ChatGPT에게 단순히 “ChatGPT 무엇인가요?”라고 질문하는 것보다 “ChatGPT 무엇인지 초등학교 학생들에게 설명하듯 설명해주세요.” 라고 질문을 하게되면 비슷하지만 전혀 다른 느낌의 답변을 듣게 됩니다.
프롬프트 엔지니어링의 중요성
위와 같이 입력값이 조금만 달라져도 사람이 보기에는 의미적으로는 차이가 없는 문장일지라도, 완전히 다른 결과물을 생성해냅니다.
최근에는 “Let’s think step by step.(차근차근 생각해보자)”라는 트리거 문장 하나를 추가하는 것 만으로 AI가 보다 더 정확하고 똑똑한 대답을 내놓기도 했다고 합니다.
프롬프트를 잘 쓰는 것이 AI를 효과적으로 쓰는 것과 직결되면서, 이를 위한 최적의 단어 조합을 찾아내는 것이 매우 중요해졌습니다.
잘못된 정보를 사실인 것처럼 답변으로 제시하는, 일명 *할루시네이션 같은 거대 언어 모델들의 고질적인 치명적 한계점에 대한 우려도 커지고 있는 상황에서,
프롬프트를 잘만 활용한다면 AI의 가능성을 최대치로 끌어올려 사용할 수가 있으며, 정확한 답변을 이끌어내는것을 유도하면서도 할루시네이션과 같은 오류를 줄이는데 도움을 줄 수 있습니다.
할루시네이션이란?
할루시네이션(hallucination)은 사전적으로 환각이나 환영을 의미하는데, AI 관점에선 사실이 아닌 문자나 이미지를 마치 답처럼 내놓는 현상으로 잘못된 데이터를 학습하여 사실과 전혀 다른 엉뚱한 대답을 하는 것을 말합니다.
또한 ChatGTP에 적용된 RLHF(인간 피드백 기반 강화 학습)는 입력에 대한 답변을 인간이 얼마나 선호 하는지를 평가하고 최대한 올바른 답변을 하도록 유도하는데,
그래서 ChatGTP의 결과는 정답이 아니라 ‘정답일 확률이 가장 높은 답변’을 결과로 도출합니다.
잘못된 질문을 했을때도 다음과 같이 확률적으로 그럴 듯한 답변을 해줍니다.
‘이순신이 만든 자라선..’ 이라고 시작하면서 존재하지도 않는 자라선의 위대함에 대해 답변을 계속 이어 갑니다.
다시 한번 똑같은 질문을 합니다.
이번에는 거북선이라는 단어가 등장하면서 ‘자라선은 대한민국 국보로 지정되어 있습니다.’ 라는 엉뚱한 답변을 듣게 됩니다.
다시 한번 정리하자면 위에서 언급했듯이 ‘정답이 아닌 주어진 질문에 대해 가장 정답일 확률이 높은 답변’을 제공하는걸 알 수 있습니다.
이는 RLHF 등의 결과물로 데이터가 부족할 경우 틀린 대답이라도 그럴듯한 대답을 하는 상황이 발생합니다.
오픈 AI가 공개한 Quickstart 문서의 프롬프트 작성 가이드라인은 간단합니다.
원하는 결과물에 대해 구체적으로 제시하고, 결과물 형식의 예시를 함께 입력하는 것입니다.
Midjourney
미국 콜로라도 주립 박람회 미술대회의 디지털 아트부분에서 Midjourney AI가 그린 그림이 1위를 수상하여 많은 사람들을 놀라게 했습니다.
굉장히 웅장하고 성스러운 느낌의 작품으로 르네상스 시대의 유명 화가가 그렸다고 해도 믿어질 만큼의 매우 멋진 작품으로 보입니다.
하지만 사실상 이 그림을 그린 것은 바로 텍스트를 입력하거나 이미지 파일을 삽입하면 자동으로 그림을 만들어주는 프로그램인 Midjourney라는 AI 입니다.
Midjourney 또한 어떻게 입력하느냐에 따라 결과값이 달라지고 설명이 디테일하고 명확할수록 자기가 원하는 결과를 얻어낼 수 있습니다.
과거에는 무료 평가판 서비스를 제공하였으나, 현재는 아쉽게도 중단되었는데 엄청난 수의 사용자와 딥페이크 이미지 제작 남용, 바이러스성 이미지 생성 등 여러가지 이슈로 중단된게 아닌가 생각됩니다.
프롬프트 마켓플레이스
앞서 말한 것처럼 Midjourney, Stable Diffusion, DALL·E 2, ChatGPT 등의 인공지능 분야에서 다양한 결과물의 생성을 위해서는 프롬프트, 즉 ‘AI 명령어’가 매우 중요합니다.
아무리 도구가 좋아도 쓸 줄 모르면 쓸모가 없는 것처럼 최상의 답변을 끌어내기 위하여
프롬프트 엔지니어들은 마켓플레이스를 통해 자신들의 프롬프트를 사고 팔거나 무료로 공유하고 있으며 그 수와 규모는 증가하는 추세입니다.
대표적인 프롬프트 마켓플레이스로는 ChatX, NeutronField, PromptSea, PromptBase 가 있으며 국내 마켓인 prompt.town도 있습니다.
마켓별로 지원하는 AI 시스템, 목적, 제공 방법이 다양한데, 특히 PromptSea의 경우 프롬프트를 NFT화 하여 블록체인에 기록하고 추후 추적이 가능하도록 지원중이며,
Neutron Field는 ChatX 보다 더 넓은 범위의 AI 시스템까지 거래가 가능하며 고퀄리티 텍스트, 이미지 프롬프트를 제공하는데 특화되어 있습니다.
마치며..
현재 우리는 AI에게 말만 하면 다양한 분야의 업무를 일부 자동화하고 효율화 할 수 있게 되었습니다.
미세한 입력 차이로 인해 답변의 퀄리티가 크게 달라지는데, 핵심은 좋은 질문, 종국엔 그 질문을 ‘잘’ 하기 위해 AI를 다루는 ‘사람’이 핵심이라 생각 합니다.
AI는 어떻게 값을 넣느냐에 따라 결과를 제공해주지만, 결국 최종 결과물을 만드는 것은 프롬프트 엔지니어이고 AI가 최대치의 성능을 발휘할 수 있도록 사용법을 제시하는 역할을 한다고 생각합니다.
예를 들어 누구나 엑셀을 실행해서 사용할 수 있으나 조금 더 복잡한 Task를 수행하기 위한 함수나 VBA(Visual Basic for application), 매크로를 사용하기 위해선 전문가들의 공식을 참고하여 만들어야 하는 것과 유사하다고 생각합니다.
그러나 많은 개선도 필요해 보입니다.
특히 데이터의 품질과 양, 편향성 문제와 관련해서는 부정적인 시선도 적지 않게 있으며,
AI를 해킹하는 ‘Adversarial Prompting’, 결과물에 대한 저작권 침해 관련 분쟁, ChatGPT로 작성한 논문 표절 검사 통과, 틀린답을 말하는 할루시네이션 현상 등
업무를 도우면서 편리하고 유용한 도구가 될 수도 있는 반면 악용될 가능성도 높습니다.
현재 OpenAI와 함께 기술 시장을 진두지휘하고 있는 MS의 CEO Satya Nadella도 지난 월스트리트저널과의 인터뷰를 통해 GPT 모델을 상용화 할 것을 언급했으며
다가오는 미래를 대비하는 방법으로 AI와의 협업 방안을 함께 모색하는것이 좋을 것이라고 이야기 하였습니다.
프롬프트 엔지니어링 또한 아직 주목 받은지 얼마 되지 않은 분야이기에 기대와 우려가 모두 존재하는거 같아 조금 더 지켜볼 필요가 있다고 생각 합니다.
위와 같은 과정은 AI 기술이 인간과 더욱 가까워지는것을 의미하기도 하는데 어떻게 보면 기업에서의 원활한 협업을 위해 좋은 질문(?)을 고민하는 과정과도 비슷하다고 느껴지기도 합니다.
AI를 잘 다루는 프롬프트 엔지니어가 각광받을 앞으로의 미래에서, 어떻게 하면 AI를 잘 지배할 수 있을지에 대한 생각도 잠시 해봅니다.
잘만 활용한다면 AI 통해 우리의 삶이 더욱 더 편리해지고 풍요로워질 것이라고 기대 해볼 수 있을 것 같습니다.
