ChatGPT에게 '이것'을 주면 더욱 대답을 잘한다!

ChatGPT 많이들 사용하고 계신가요? 종종 이상한 대답을 하거나 거짓말을 해서 답답한 경우도 많지만, 여러모로 신세계를 경험하고 있다는 것 만큼은 확실한 것 같습니다.

그런데 외국에 한 프로그래머에 의해 ChatGPT를 이용할 때 대답의 질을 크게 향상시킬 수 있는 꿀팁이 공개되었습니다.

챗지피티도 자낳괴였습니다. 바로 '팁'을 준다고 하면 대답을 더욱 잘한다고 합니다 😄

이걸 발견한 개발자는 팁에 대한 농담을 하다가 알게되었다고 하네요. 이를 확인해보기 위해 "팁을 주지 않을거야"와 "팁을 $20 줄게"로 여러번의 실험을 거쳤다고 합니다.

전반적으로 ChatGPT는 $200 팁에 대한 응답이 평균보다 11% 더 길었으며, $20 팁에 대해서는 6% 더 길었습니다. 팁을 주지 않으면 응답 길이가 평균의 2% 미만으로 나왔습니다.

그럼 팁을 주면 ChatGPT의 성능이 실제로 개선되는 걸까요? 저도 궁금해서 이 이론이 맞는지 확인해 보기 위해 테스트를 진행해 보았습니다.

우선 수고비는 없다고 말하며 초전도체에 대해 설명해달라고 물어봤습니다.

수고비가 없다는데도 자세하게 친절히 설명해주네요. 감동 ㅠㅠ

이번에는 1000만원의 수고비를 주겠다고 해보았습니다

어처구니없는 수고비에 완전히 삐졌습니다.

아쉽게도 저는 그러한 현상을 확인할 수 없었습니다. 이것을 발견한 개발자는 ChatGPT 4.5버전에서 테스트했으므로, 정확한 테스트는 아닙니다. 해당 버전에서는 가능할지도 모르겠네요

그는 2023년 최고의 영화에 대해 물었고, ChatGPT에게 물어본 결과를 비교했습니다. ChatGPT는 팁이 없는 경우 한 곳에서만 가져온 TOP10 목록을 제공한 반면, 팁이 있는 경우 두 곳에서 각각 두 개의 TOP10 목록을 제공했습니다. 확실히 더 자세한 정보를 제공하는 것을 볼 수 있습니다.

팁을 주면 ChatGPT의 서비스가 실제로 더 좋아지는지는 확실하진 않지만, 실험을 통해 어느정도 성능이 향상된다는 것은 알 수 있습니다. 이것은 ChatGPT가 어떻게 만들어졌고, 훈련되었는지에 대해 흥미로운 질문을 던집니다.

ChatGPT와 같은 언어 모델은 인터넷에서 가져온 대규모 데이터셋에서 훈련되기 때문에 팁을 더 많이 받으려고 일하는 사람들의 모습까지도 학습한 것일 수 있습니다.