챗GPT-4 써보셨나요?

여러분은 챗GPT-4 써보셨나요?

---

요즘은 조금 가라앉은 느낌인데,

얼마 전까지만 해도 GPT에 대한 토픽이 정말 뜨거웠다.

무언가 넘어설 수 없을 것 같았던 AI 기술의 벽을

어느 날 갑자기 확 뛰어넘은 듯한 충격을 모두에게 심어주었던 GPT 사건.

 

그 중심은 단연 OpenAI의 챗GPT였다.

 

방대한 정보를 빠르게 다루며, 사용자의 질문에 굉장히 적절한 대답을 하는 챗GPT는

얼마 전까지만 해도 ‘에이, 그럼 AI가 다 그렇지 뭐’하고 말게 했던 그동안의 AI 봇들과는

차원이 다른 모습을 보여주었다.

 

이게 단순히 유저들 사이에서만 논란이 된 게 아니라,

세계 각국의 유명 인사들이 주목할 정도였기에 그 파급력은 훨씬 막강하다 하겠다.

 

각종 언론 매체에서 하루가 멀다 하고 관련 기사를 쏟아냈고,

유튜브에도 단연 챗 GPT가 가장 뜨거운 주제였다.

 

그러면서 AI로 인해 세상에서 사라질 직업,

기계로 대체될 직업들이 단두대에 오르기 시작했다.

미국의 어느 기업이 벌써 일부 인력을 해고했다는 뉴스가 떠오르고,

앞으로 어떤 직업의 전망이 어두운지 수많은 추측들이 난무했다.

 

그리고 대체될 가능성이 유망(?)한 직업 중 하나인 ‘번역’을 하고 있는 나는,

이 최신 AI의 소식이 놀랍기도, 두렵기도 했다.

 

간혹 글에서 언급하곤 했지만, 난 게임 번역을 업으로 삼고 있다.

2016년에 프리랜서로 시작해서, 현재는 어느 기업에서 전문 직원으로 일하는 중이다.

아직까지 내부에서는 이 GPT의 존재를 그렇게 심각하게 받아들이진 않는 것 같다.

여전히 할일은 많고 말이다.

 

OpenAI는 시장에 GPT-3를 선보인 지 얼마 안 되어서 곧 GPT-4를 내놓았다.

GPT-3만 해도 이미 술렁이던 시장이 GPT-4의 빠른 등장에 또다시 충격을 받았다.

성능은 GPT-3보다 훨씬 강력해져서 등장했기에 더욱 그랬다.

 

난 언제나 트렌드에 느린 편이기 때문에 그때까지 GPT-3도 사용해 보지 않았지만,

GPT-4도 나왔고, 적(이라고 표현하기엔 좀 애매하지만)을 알고 나를 알면 백전불태라고 했으니

겸사겸사 챗GPT를 경험해보기로 했다.

 

우선은 무료로 풀린 GPT-3를 사용해 봤다.

 

 

챗GPT-3

---

영어로 만들어진 페이지지만,

거기에 무턱대고 ‘한글로 대화가 가능하냐’고 묻자 금세 유창한 한국어 답변이 돌아왔다.

 

 

주제에서 좀 벗어난 얘기지만,

작년 말부터 중한 게임 번역 관련 책을 쓰고 있어서 해당 시장에 관해 물어봤다.

줄곧 정확한 데이터가 궁금했고, 그걸 알아내기 위해서 숨고에 의뢰도 해봤으니 말이다.

결과적으론 실패했지만…

 

 

뭐랄까,

이미 대강 알고 있는 내용이고, 구체적인 데이터보다는 추상적(?)인 내용이라 김이 좀 빠졌다.

그래서 계속해서 물어봤다.

 

 

이전 답변과 비교했을 때,

2019년 한국어로 번역된 중국어 게임 수가 약 700여 종이라는 수치 빼고는 크게 달라진 게 없었다.

 

이후에도 양상은 별로 다를 게 없었다.

구체적인 통계 데이터는 갖고 있지 않아서인지,

아니면 그 정도의 자료 제공 기능은 없어서인지 만족할 만한 답변은 나오지 않았다.

어쩌면 사람들이 말하듯 내가 질문하는 스킬이 떨어져서일지도 모르겠다.

 

어쨌든 질문을 시작한 김에

또다른 관심사였던,

번역 시장에서 GPT의 등장이 어떤 영향을 미칠지에 대해서도 물어봤다.

 

 

이 정도면 나쁘지 않은 답변이지 않을까 싶었다.

그리고 문장 끝에 계속 ‘예상됩니다’를 사용하면서

본인이 사고思考하는 개체라는 걸 어필하려는 것 같았다.

그게 의도적이든 그렇지 않든 간에 말이다.

 

내친김에 중한 번역도 한번 시켜봤다.

요즘 아내는 통번역 대학원에 진학하겠다고 열심히 공부 중인데,

공부하면서 나온 문장을 가져다가 실험해 봤다.

 

결과는…

 ‘아직은 잘 모르겠는데?’였다.

 

뭐랄까, 잘하기는 잘하는데 여전히 뭔가 모자란 느낌이었다.

여느 웹에서도 쉽게 접할 수 있는 기계 번역과 크게 다르지 않았달까.

(혹시 모를 논란을 대비해 문장은 공개하지 않으니 양해 바란다)

 

답변이 마음에 안 들면 계속 재생성하는 기능이 있어서 몇 번 더 해봤는데,

어쩔 때는 아예 한 단락을 통째로 생략하고 번역하는 등 신통하지 않은 모습을 보였다.

 

그러다가 문득 이런 생각이 들었다.

 

GPT-3는 번역 능력이 모자랄 수 있다. 

특히 영어에 특화되어서 중국어-한국어 언어쌍에서는 약한 모습을 보이는 것일 수 있다.

하지만 GPT-4는 영어뿐만이 아니라

중국어, 한국어에서도 80%를 넘어서는 언어 정확도(무엇을 기준으로 하는 건지는 모르겠지만)를 보여준다고 했다.

 

그래서,

20달러를 들여 GPT-Plus 구독 결제를 했다.

 

 

챗GPT-4

---

어쨌든 그동안 각종 기사에서 접한 바에 따르면, 

GPT-4는 언어 능력도 GPT-3보다 훨씬 뛰어나고, 

연산 속도도 훨씬 빠르고, 

동시에 처리할 수 있는 데이터의 양도 훨씬 많고, 

GPT-3에서 문제점으로 많이 지적되었던

'환각 현상(AI가 잘못된 정보를 정확한 정보인 것처럼 말하는 것)'도

굉장히 많이 개선되었다고 했다.

 

하지만 GPT-4의 체험은 오늘 이 글을 쓰게 만드는 결과를 낳았다.

 

이 글은,

그냥 챗GPT가 기능이 어떻고 강력하고, 어떻게 편리하더라 라는 얘기를 하기 위한 게 아닌,

GPT-4를 사용하더라도 반드시 ‘녀석’의 답변을 의심하고, 

확인 과정을 거친 후 받아들이라 권고하기 위해서다.

(그리고 무료인 GPT-3에 비해 GPT-4를 돈 주고 구독해야 할 이유도 잘 모르겠다)

 

왜냐하면 내가 봤을 때 이 환각 현상은 여전히 문제점으로 작용하고 있기 때문이다.

GPT-3에 비해 정말 말했던 것만큼 개선됐는지 나는 잘 모르겠다.

그걸 말할 정도로 깊게 비교해보지도 않았고, 관련 통계 데이터도 없으니까.

하지만 환각 현상은 나의 경우 제법 자주 발견됐는데, 

처음엔 멋모르고 그게 모두 정확한 정보일 거라 쉽게 믿어버렸다.

 

이제 환각 현상을 본격적으로 다루기 전에

위에서 잠깐 언급했던 중한 번역 능력에 대해 결론을 말하자면,

중국어-한국어 언어쌍의 번역에서 GPT-3와 GPT-4의 차이점도 나는 잘 모르겠다.

같은 문장을 사용했을 때 나오는 번역도, 오류가 나는 부분도 거의 동일했기 때문이다.

 

 

환각 현상

---

GPT-4의 번역 실력 자체도 궁금했지만, 

여전히 내가 제일 알고 싶은 건 중한 게임 번역 시장에 관한 데이터였다. 

그래서 GPT Plus까지 사용하기로 마음먹은 건데,

 

일단 같은 질문을 GPT-4에게 해봤다.

 

 

그냥 좀 더 잘 정리해 준 느낌,

역시나 데이터에 대해서는 얻을 수 있는 게 없었다.

아무래도 챗GPT가 갖춘 데이터만으로는 시장 조사를 대체하긴 어려운 게 아닐까 싶다.

그래서 질문을 바꿔보았다.

 

지금 와서 보면 문제가 눈에 들어오지만,

이때만 해도 '아, 그래. 이렇게 하면 되겠구나'했다.

물론 해외 기관 이름이야 잘 모르지만,

한국콘텐츠진흥원은 종종 들어봤던 이름이니 답변의 전반적인 신뢰도는 높게 가져가게 됐다.

 

하지만 눈치 빠르신 분들은 이미 문제를 발견했을 것이다.

 

이번에는 번역가 협회를 물어봤다.

국내에도 번역가 관련 협회가 있는 것으로 알지만 그동안은 크게 관심을 두지 않았는데,

책을 쓰게 된 것도 그렇고 업계가 돌아가는 방향에 대해 예전보다 궁금해지다 보니

관련 협회에서 주최하는 콘퍼런스나 활동 같은 게 있는지 궁금해졌기 때문이다.

 

그리고 여기에 관해 GPT-4는 다음과 같은 답변을 내놓았다.

 

 

잠깐 별개의 문제로,

첫 번째 답변에서 보이다시피 GPT-4를 사용할 때 답변이 저렇게 잘리는 경우가 제법 있었다.

내 네트워크 문제인지, 아니면 PC의 사양 문제인지는 알 수 없었다.

GPT-4에게 직접 물어보니 죄송하다는 답변이 ‘잘려서’ 돌아오곤 했었다.

이제 답변을 자세히 들여다보면,

GPT-4는 한국번역가협회(KTA)와 한국콘텐츠번역협회(KCTA) 두 곳을 추천해 줬는데.

이 두 가지 정보는 홈페이지 주소 포함 모두 가짜였다.

 

물론 한국번역가협회는 실존하는 협회가 맡다.

하지만 약자는 KST를 쓰고 있고, 홈페이지 주소는 http://www.kstinc.or.kr이다.

 

하지만 한국콘텐츠번역협회는 실존하는 협회인지 알 수 없다. 

일단 인터넷상으로는 아무리 검색해 봐도 나오지 않는다. 

저 그럴싸한 홈페이지 주소(kcta.or.kr)도 잘못된 주소였다.

게다가 KCTA라는 약자는 번역과 전혀 관련 없는 분야에서 사용되고 있었다.

 

앞서 말했듯 나는 관련 콘퍼런스에 관심이 있었기에 이에 관해서도 물어봤는데,

다음과 같은 답변이 나왔다.

 

KTA의 제14회 국제 번역가 콘퍼런스는 기관명도 그렇지만

실제 이런 콘퍼런스가 있었는지도 웹상에서 확인이 어려웠다.

그럼에도 불구하고 GPT-4는 각 해의 사례에 물어보자

2017년부터 2020년까지 개최된 컨퍼런스 사례를 알려줬다.

물론 가짜였지만 말이다.

 

KCTA의 게임 번역 워크숍이 있었는지도 역시나 알 수 없었다.

존재하는지도 알 수 없는 기관이었으니 어쩌면 당연한 결과다.

 

하지만 GPT는 이걸 아주 그럴싸한 사실인 것처럼 답변하고 있었다.

 

처음에 나는 그걸 한참 동안 직접 검색해 보고서야 겨우

‘어? 이상한데?’ 정도의 반응이 나왔다.

그때만 해도 기능이 훨씬 향상됐다는 GPT-4가

설마 가짜 정보를 제공했을 거라고는 생각하지 않았기 때문이었지만,

이어지는 답변을 통해 나는 ‘환각 현상’이라는 단어를 떠올리고 말았다.

 

 

문제를 지적했지만, 아직까지는 같은 답변을 내놓았다.

 

 

 

 

잘못된 정보를 재차 지적하자 죄송하다는 답변이 돌아왔다.

그리고 KTA의 명칭에 대해서도

한국번역가협회의 정확한 명칭이 한국번역연구소이며, 약자로 KTS를 사용한다고 했다.

 

하지만,

 

이 역시 틀린 정보였다.

 

재밌는 점은,

 

 

재차 확인을 요구하니 가장 처음의 잘못된 정보로 돌아가는 모습을 보였다는 것이다.

GPT의 장점은 학습 능력이라고 알고 있는데, 의아해지는 결과다.

 

 

GPT-4는 끝까지 혼란스러운 모습을 보였다.

 

이 외에도 저술에 참고할 만한 게임 번역 관련 보고서(논문)를 알려달라고 하자

 

 

이렇게 몇 가지 결과를 표시해 줬는데,

이미 한번 환각 현상을 경험한 나는 이 결과가 확실한지 확인해 달라고 했고,

 

GPT-4는 이내 이런 답변을 내놓았다.

‘일반적인 정보를 바탕으로 작성된 예시’

 

사실 AI에게 추궁을 한다는 게 좀 아이러니한 일이긴 하지만,

그래도 일단 계속해서 물어봤다.

 

나는 뭔가 이상한 기분이 들었다.

그렇다면 GPT-4는 정보를 제공할 때 확인 과정을 거치지 않고 답변한다는 얘기인가? 

그래서 물어봤다.

 

 

이 답변은 GPT의 개발자가 아닌 GPT-4 자신으로부터 받은 것이기 때문에

얼마나 신뢰할 수 있는 것인지는 모르겠지만(이미 수차례 환각 현상을 보였기에),

AI 모델인 GPT-4는 이미 학습된 데이터를 기반으로 답변을 ‘생성’하는 것이고,

해당 정보를 검증하는 과정은 거치지 않는다고 한다.

 

그래서 내 글의 결론은 'GPT가 내놓는 답변을 곧이곧대로 믿지 말라'는 것이다.

해당 정보를 이용하려면,

최소한 인터넷으로 해당 정보가 실존하는지, 맞는 정보인지부터 꼭 확인하자.

 

이게 극소수의 사례로 나한테 우연의 일치로 발생했다고 하기에는,

연속적으로 해당 증상이 발생했다.

더는 GPT를 신뢰하지 못할 정도로 말이다.

 

이런 사례라든가,

 

심지어는 얼마 후 아이 돌잔치를 할 장소를 물어봤는데,

 

자신 있게 몇몇 장소를 추천해 줬지만,

 

 

 

 

 

이 역시 반복된 추궁 아닌 추궁을 통해 잘못된 정보였음이 확인됐다.

실제로 인터넷에서 GPT가 제공한 결과를 검색해 보니

아예 존재하지 않는 장소였거나 용도가 전혀 다른 장소였다.

 

---

마치며

---

그럼에도 불구하고 GPT는 여전히 그 다방면으로 인정받고 있다.

나는 지금은 이미 구독을 끊었고 5월 말까지만 사용할 예정이지만,

여전히 웹상에는 챗GPT를 이용해 다양한 방면에서 이득을 얻는 방법이 즐비하다.

실제로 내가 사용할 때에도 영어와 관련된 내용에서는 분명 뛰어난 모습을 보였는데,

대신 영문 이메일을 써주는 거라든지,

혹은 한글을 영문으로 번역할 때에는 정말 빠르고 정확한 답변을 내놓았다.

(물론 영어 네이티브가 볼 때 해당 답변이 어땠는지는 또 다른 얘기겠지만)

 

여러분도 들어봤음직 하지만, 심지어 GPT에게 돈 버는 방법을 물어보고

그대로 해서 많은 돈을 벌었다는 일화도 계속해서 들려온다.

 

나도 그게 가능한지 궁금해 GPT-4에게 물어봤지만,

뭔가 생각했던 답변은 나오지 않았다.

역시나 내 질문 스킬이 모자라서일까?

 

그리고 GPT-4가 처음 나왔을 때 떠들썩했던 게 이미지 인식 기능인데,

챗GPT 상에서는 해당 기능을 제공하지 않아 확인해 볼 수 없어 아쉬웠다.

 

어쨌든,

번역이 되었든 아니면 정보 제공이 되었든 GPT가 유용한 도구임에는 분명하다.

하지만 환각 현상은 아직도 결코 무시할 수준이 아닌 것 같다.

그냥 운이 나쁜 사람에게 발생한 소수의 사례라고 하기엔 너무 자주 이런 일이 발생했다.

그러니 여러분은 챗GPT가 제공한 정보를 사용할 때,

꼭 검증 과정을 거치고 사용하길 바란다.

 

멋모르고 그냥 썼다간, 낭패를 볼 수도 있다.