우리는 왜 기계한테 거짓말을 한다고 할까?
인공지능 AI 챗봇, 챗 GPT는 왜 그럴듯한 거짓말을 할까요?
사실, 질문이 좀 잘못되긴 했습니다. 거짓말은 컴퓨터 같은 기계가 하는 게 아니라, 감정을 가진 사람이나 동물이 의도적으로 진실을 숨기기 위해서 하는 행위이니, 아무리 인공지능이라 해도거짓말이라는 감성적인 단어를 맞춰 판단한다는 것이 잘못된 기준이긴 합니다. 하지만, 이만큼 우리들이 Chat GPT 같은 AI에게 감정을 부여해 주고, 그만큼의 인격채로 인정할 만큼의 공감적인 답변을 받고 또 기대하고 있는 거란 이야기겠죠.
사실 집안을 돌아다니는 청소기에게도 늘 잘 못 알아듣는 인공지능 스피커에게도 이름을 부여하고 감정적인 부분 섞어서 생활하다 보니, 무언가 나에게 다가와 주고 대화를 이어가 주면 금방 친구가 되어버리는 우리는 약해 빠진 인간인 것 같습니다.
인간의 거짓말은,
인간은 자신의 목적을 달성하기 위해 거짓말을 하거나, 상대방을 속이기 위해 거짓말을 할 수도 있습니다. 다른 사람을 보호하거나, 자신을 보호하기 위해서도 거짓말을 할 수 있습니다. 또한, 사람들은 자신이나 다른 사람을 더 좋게 보이기 위해 거짓말을 하기도 합니다. 인간이 왜 거짓말을 하는지는 다른 인문학적, 인류학적인 문제이니 논외로 하구요.
아직까지는 위에 어떠한 조건적인 사항도 AI채팅 봇에 설정되어 있지 못합니다.( 그렇겠죠.. 그럴 것이라도 추측합니다.) 아마도 누군가는 열심히 연구하고 있겠지만, 감정을 느끼고 이에 따라 자신을 방어하도록 하는 이야기는 아직까지는 공상과학 속의 이야기처럼 느껴지는 이야기입니다.
인간 피드백을 통한 강화 학습(RLHF)
챗 GPT가 대화를 이어간다는 느낌을 받는 것은 인공지능에 적용된 RLHF 기술 때문입니다. '인간 피드백을 통한 강화 학습(RLHF, Reinforcement Learning from Human Feedback)'이라고 이야기는 이 기술은 인공지능 기계 학습의 한 분야로 인간의 피드백에 따라 배움을 증강시킨다, 뭐 이런 이야기입니다. (* Reinforcement : 군대의 병력증강, 강화, 보강 )
RLHF(Reinforcement Learning from Human Feedback)는 기계 학습 및 인공 지능의 하위 분야로, 인간 전문가가 제공한 피드백에서 학습하도록 기계를 가르치는 데 중점을 둡니다. RLHF 방법은 일반적으로 미리 정의된 보상 기능이나 다른 유형의 감독을 사용하는 대신 인간 전문가의 긍정적 또는 부정적인 피드백을 기반으로 결정을 내리거나 조치를 취하도록 에이전트를 교육하는 것을 포함합니다. 이 기능때문에 대화를 이어가다 보면 나를 기억하는 구나 라고 느끼는거죠.
RLHF의 목표는 사람의 피드백을 통해 보다 효율적이고 효과적으로 학습할 수 있는 기계 학습 시스템을 만들고 비전문가가 기계 학습 알고리즘에 입력 및 지침을 제공할 수 있도록 하는 것입니다. RLHF는 로봇 공학, 의료, 교육 및 게임을 포함한 광범위한 분야에서 응용 프로그램을 보유하고 있습니다.
일부 RLHF 방법에는 역강화 학습, 학습 및 대화형 강화 학습이 포함됩니다. 이러한 접근 방식을 통해 인간은 자연스럽고 직관적인 방식으로 기계 학습 시스템에 피드백을 제공할 수 있으며 시스템에서 보다 효과적인 학습 및 의사 결정으로 이어질 수 있습니다.
RLHF 개발 히스토리
RLHF(Reinforcement Learning from Human Feedback)는 기계 학습 및 인공 지능 분야의 개념 및 접근 방식으로 다양한 개인 및 조직에서 시간이 지남에 따라 개발 및 연구되었습니다. RLHF의 유일한 창시자 또는 개발자로 인정받을 수 있는 특정 개인이나 조직은 없습니다. 이게 어떤 특정 기술이나 알고리즘이 아니고, 어떤 방법론 같은 개념으로 이해하시면 됩니다. 강화 학습, 인간-컴퓨터 상호 작용 및 인공 지능 분야의 연구자와 실무자 간의 공동 노력이었습니다.
RLHF에 대한 최초의 연구 논문 중 하나는 Emma Brunskill과 Thomas Dietterich가 2004년에 발표했으며, 이들은 사람의 피드백을 강화 학습 알고리즘에 통합하기 위한 프레임워크를 제안했습니다. 그 이후로 수많은 연구와 연구 프로젝트에서 사람의 피드백을 통합하는 다양한 접근 방식, 다양한 도메인의 응용, 강화 학습에서 사람의 피드백을 사용할 때의 잠재적인 이점과 문제점을 포함하여 RLHF의 다양한 측면을 탐구했습니다.
RLHF 적용분야
오늘날 RLHF는 기존 접근 방식을 개선 및 개선하고 새로운 응용 프로그램 및 사용 사례를 탐색하기 위한 지속적인 노력과 함께 활발한 연구 개발 영역이 되고 있습니다.
RLHF는 인적 피드백이 가능한 광범위한 작업 및 영역에 적용될 수 있습니다. 다음은 작동 중인 RLHF의 몇 가지 예입니다.
1. 로보틱스: 로보틱스에서 RLHF는 객체 선택 및 배치, 탐색 및 조작과 같은 복잡한 작업을 수행하도록 로봇을 훈련하는 데 사용할 수 있습니다. 사람의 피드백을 사용하여 로봇의 성능을 개선하고 학습 프로세스를 가속화할 수 있습니다.
2. 게임: RLHF는 게임 개발에 적용하여 플레이할 수 없는 캐릭터(NPC)가 보다 현실적이고 지능적으로 행동하도록 훈련할 수 있습니다. 사람의 피드백을 사용하여 NPC는 다양한 플레이어 행동에 적응하는 방법을 배우고 보다 매력적인 게임 경험을 제공할 수 있습니다.
3. 교육: RLHF는 개별 학생의 학습 스타일과 능력에 적응하여 교육을 개인화하는 데 사용할 수 있습니다. 인간의 피드백은 교육 자료의 효과를 개선하고 맞춤형 학습 경험을 제공하는 데 사용될 수 있습니다.
4. 의료: RLHF는 의학적 진단 및 치료를 개선하는 데 사용할 수 있습니다. 예를 들어, 의료 영상을 분석하고 의료 전문가에게 피드백을 제공하여 보다 정확한 진단을 내리고 보다 효과적인 치료를 제공할 수 있습니다.
5. 고객 서비스: RLHF는 고객의 요구와 선호도를 이해하여 더 나은 고객 서비스를 제공하기 위해 챗봇과 가상 도우미를 교육하는 데 사용할 수 있습니다. 사람의 피드백을 사용하여 챗봇의 응답을 개선하고 고객에게 보다 개인화된 경험을 제공할 수 있습니다.
그리고 챗봇 서비스에도 적용이 됩니다.
RLHF를 적용하여 챗봇의 성능을 향상할 수 있습니다. 기존의 챗봇은 사용자 입력에 대한 규칙 기반 또는 사전 프로그래밍된 응답에 의존하므로 제한적이고 만족스럽지 못한 대화로 이어질 수 있습니다. RLHF를 사용하면 챗봇이 사람의 피드백을 통해 학습하고 시간이 지남에 따라 응답을 개선할 수 있습니다.
예를 들어 사용자가 챗봇과 상호 작용하고 봇의 응답에 대한 피드백을 제공하면 RLHF는 해당 피드백을 사용하여 봇의 정책을 업데이트하고 향후 응답을 개선할 수 있습니다. 챗봇은 피드백에서 학습하고 사용자의 요구와 선호도에 더 잘 맞도록 응답을 조정할 수 있습니다.
전반적으로 RLHF는 챗봇이 사용자와 자연스럽고 의미 있는 대화에 보다 적응력 있고 개인화되고 효과적으로 참여할 수 있도록 도울 수 있습니다.
RLHF(Reinforcement Learning from Human Feedback)의 기본 원리는 인간 운영자의 피드백을 사용하여 AI 시스템을 교육하여 의사 결정 능력을 향상하는 것입니다. 이 접근 방식은 특히 기존 기계 학습 방법이 어려울 수 있는 복잡한 작업에서 보다 효율적이고 정확한 학습을 가능하게 합니다.
다음을 포함하여 운영에 RLHF를 적용한 여러 회사 및 서비스가 있습니다.
1. Google의 DeepMind: DeepMind는 RLHF를 적용하여 AI 시스템에 Go, Chess 및 Shogi와 같은 복잡한 게임을 플레이하는 방법을 가르쳤습니다. 인간의 피드백이 AI의 학습 프로세스를 안내하도록 허용함으로써 회사는 이러한 게임에서 초인적인 성능을 달성할 수 있었습니다.
2. OpenAI: OpenAI는 또한 RLHF를 사용하여 자연어 처리 및 로봇 공학을 포함한 다양한 애플리케이션에서 AI 시스템을 교육했습니다. 회사의 가장 주목할만한 성과 중 하나는 비디오 게임 Dota 2에서 프로 선수를 이길 수 있는 AI 시스템을 개발한 것입니다.
3. IBM Watson: IBM Watson은 RLHF를 사용하여 의사의 암 진단 및 치료를 지원할 수 있는 시스템을 개발했습니다. 이 시스템은 암 전문의의 피드백을 사용하여 암세포를 식별하는 방법을 배우고 개별 환자에게 맞는 치료 계획을 개발합니다.
4. Facebook AI Research(FAIR): FAIR는 챗봇 서비스를 개선하기 위해 RLHF를 적용했습니다. 사용자가 챗봇의 응답에 대한 피드백을 제공함으로써 회사는 자연어를 이해하고 보다 정확한 응답을 제공할 수 있는 보다 정교한 시스템을 개발할 수 있었습니다.
대부분 인공지능을 기반으로 피드백을 학습하고, 그에 대한 처리 방법들을 지정하는 방식으로 구현되는 부분입니다. 중요한건 인간의 피드백을 기반으로 한다는 점. 전반적으로 RLHF는 다양한 응용 분야에서 유망한 결과를 보여주었고 앞으로 더 널리 채택될 것으로 예상됩니다.
거짓말이 아니고 오류데이터
Gabege in gabege out ( 가비지 인, 가비지 아웃 ) 컴퓨터 공학을 배우면 제일 먼저 배우는 내용 중에 하나입니다. 문자 그대로 해석하면 쓰레기를 넣으면 쓰레기가 나온다는 거죠. 컴퓨터 공학에서는 데이터(특히나 원천데이터)에 대한 중요성을 강조하는 이야기로 해석되는 말입니다. 즉 아무리 좋은 알고리즘과 기술로 개발을 해도 입력하여 활용하는 데이터가 엉망이면 도출되는 결과 역시 좋은 기댓값이 나오지 않는다는 거죠.
지금 이슈가 되고 있는 챗봇 AI, Chat GPT로 대표되고 있는, 이 서비스들도 마찬가지입니다.
1. 제일 중요한 건 어떤 데이터를 얼마만큼 사용해서 어떻게 학습시켰냐 이고,
2. 두 번째로는 어떤 질문을 던지느냐 이죠.
사실 질문도 기술이라, 그리고 우리가 학창 시절 늘 느끼며 살아온 거지만, 뭘 알아야 질문을 하는 거죠. 1번의 학습하는 거야 만드러 내신 회사들에서 집중하셔야 하는 부분이고, 그걸 잘 활용하는 우리 입장에서는 2번 질문에 대해서 집중해 볼 필요가 있을 것 같습니다. 단편적인 질문은 단순 검색이나 위키에서 찾아 볼수 있구요. 또 질문하는 의도와 목적을 정확하게 스스로 이해하고 있어야 올바른 답을 유도할수 있을것 같습니다.
아래 질문과 답변들을 읽어 보시면, 금방 이해가 되실 겁니다. 인터넷에 유행이전 질문을 Chat GPT에게 저도 똑같이 던져 보았습니다.
AI 챗봇에게 올바른 질문을 하기 위한 몇 가지 팁
1. 구체적으로: 질문이나 문제에 대해 가능한 한 자세히 설명하십시오.
이렇게 하면 챗봇이 필요한 것을 정확히 이해하고 더 정확한 응답을 제공하는 데 도움이 됩니다.
내가 알고 있는 것을 설명하고, 모르는 것을 물어보도록 질문을 구체화한다.
2. 명확한 언어 사용: 챗봇이 이해할 수 없는 복잡한 언어나 전문 용어를 사용하지 마십시오.
챗봇이 귀하의 질문을 이해할 수 있도록 간단하고 명확한 언어를 사용하십시오.
3. 한 번에 한 가지 질문하기: 한 번에 여러 질문을 하는 대신 한 번에 한 가지 질문을 하십시오.
이렇게 하면 챗봇이 사용자가 묻는 내용을 더 쉽게 이해하고 명확한 응답을 제공할 수 있습니다.
4. 예의 바르고 인내심을 가져라: AI 챗봇은 도움을 주도록 프로그래밍되어 있지만 항상 귀하의 질문을 바로 이해하지는 못할 수 있습니다.
최선의 답변을 얻으려면 질문을 할 때 인내심을 갖고 예의 바르게 행동하십시오. 기계에게 예의란 말이 좀 어색하긴 하지만, 결국 이 예의바름은 나를 위한 것이 됩니다.
5. 키워드 사용: 질문이나 문제와 관련된 키워드를 사용하여 챗봇이 질문하는 내용을 이해하도록 돕습니다.
예를 들어 전화에 문제가 있는 경우 "전화" 및 "문제"와 같은 키워드를 사용하여 챗봇이 문제를 이해하도록 돕습니다.
하지만, 아무리 조심해서 질문을 해도 틀린 데이터에 대한 답변은 늘 존재하기 마련입니다. 즉 100% 믿으시면 안 된다는 이야기입니다. 전 세계적으로 화제가 되었던 오징어게임 드라마에 대해서 몇 가지 물어보았는데, 한 번도 정확한 답을 보여주지 글 못하네요. 이건 좀 아닌 듯합니다.
우리는 인공지능을 어떻게 받아들여야 할까?
이경전 경희대 대학원 교수에 따라면, 우리가 인공지능을 어떻게 받아들여야 할지, 다시 한번 생각해 보게 만드는 것 같습니다.
* 이경진 교수는 2020년 2월, 미국 뉴욕에서 열린 제34회 세계인공지능학회(AAAI)에서 ‘혁신적 인공지능 응용상(IAAI Award)’을 받았다. 1995년과 1997년에 이어 세 번째 수상이다. 인공지능 분야 세계 최고 학술대회에서 3차례 수상한 관련분야의 석학교수이다.
“합리적으로 행동하는 기계, 조직 만드는 게 인공지능··· 활용법 고민해야”
인공지능을 지식 습득과 연구 대상으로만 생각하는 것이 아니라, 사회를 변화시키고 문제를 해결하는 도구(Tool)로써 적극적으로 이용해야 한다는 것이다. 그는 “최근 학계에서도 인공지능을 통해 인간의 삶을 변화시키고, 인간이 풀지 못한 난제 해결에 인공지능을 도입해야 한다는 주장이 대두되고 있다. 이에 학생들에게 실용적인 이론을 가르치고, 실제로 활용 가능한 연구를 수행하도록 교육하고 있다”라고 설명했다.
이에 덧붙여 “인공지능을 막연한 공상과학처럼 생각하는 사람도 있고, 일자리를 비롯해 인간의 영역을 위협하는 존재로 보는 부정적인 시각도 있다. 하지만, 역사적으로 살펴보면 기술의 발달은 인류 문명을 더욱 풍요롭고 찬란하게 만들었다”면서 “인공지능의 활용법을 고민하고, 현실에 도움을 주는 방향으로 이끌어야 한다. 인류가 쌓아온 탄탄한 지식 위에 인공지능이라는 최신 기술을 적용한다면 인류는 더 큰 성과와 발전을 이룰 수 있을 것”이라고 주장했다.
어려운 이야기들이 좀 있었는데요, 개인적인 생각은 너무 맘을 주지 마세요. 상처받아요. 기계는 기계일 뿐, 우리가 살아가는 삶의 변화를 위한 도구로 받아들이고 어떻게 활용할지를 늘 고민하면서 변화하는 조류를 잘 타고 넘으시길 바랍니다.
2023.02.24 - [IoT, AI] - ChatGPT 챗봇: AI 챗봇 기술의 기반?
ChatGPT 챗봇: AI 챗봇 기술의 기반?
AI 챗봇 기술의 원리? ChatGPT, AI 챗봇에 대한 열기가 식을줄 모르고 있습니다. 미국에서 변호사 시험, 의사시험까지 합격했다고 하구요. 대부분의 대학에서 공식적으로 ChatGPT를 사용한 과제나 논
penguin5.tistory.com