오늘의 지식: 죄수의 딜레마, 각자 합리적인데 모두가 손해 보는 이유

왜 오늘 이 주제인가

현대 사회의 많은 문제는 악한 사람이 너무 많아서가 아니라, 평범한 사람이 각자 합리적으로 행동하는데도 나쁜 결과가 쌓이기 때문에 생긴다. 회사 안에서는 팀마다 자기 일정만 지키려다 전체 제품 품질이 무너진다. 도로에서는 모두가 조금 더 빨리 가려고 끼어들면서 전체 흐름이 느려진다. 온라인 플랫폼에서는 모두가 자극적인 제목을 피곤해하면서도, 조회 수를 얻기 위해 더 자극적인 제목을 붙인다. 각자의 선택만 보면 이해가 되지만, 합쳐 놓으면 모두가 싫어하는 세계가 된다.

이런 상황을 설명하는 대표적인 사고 도구가 죄수의 딜레마다. 이름은 범죄 영화처럼 들리지만, 실제로는 협력과 배신, 신뢰와 불신, 개인 이익과 공동 이익의 충돌을 보여주는 게임이론의 기본 모델이다. Stanford Encyclopedia of Philosophy에 따르면 이 퍼즐의 초기 구조는 1950년 RAND Corporation의 Merrill Flood와 Melvin Dresher의 연구에서 나왔고, “죄수의 딜레마”라는 이름과 익숙한 죄수 이야기는 Albert Tucker가 설명을 쉽게 만들며 붙인 것으로 알려져 있다.

핵심은 단순하다. 두 사람이 서로 협력하면 둘 다 적당히 좋다. 한 사람이 배신하고 다른 사람이 협력하면 배신한 사람은 크게 이익을 보고 협력한 사람은 크게 손해 본다. 둘 다 배신하면 둘 다 나빠진다. 그런데 상대가 무엇을 하든 자기만 놓고 보면 배신이 더 유리해 보인다. 그래서 둘 다 합리적으로 배신을 고르면, 둘 다 협력했을 때보다 나쁜 결과에 도착한다.

이 모델을 알아두면 “사람들이 왜 이렇게 비협조적일까”라는 질문을 조금 더 정확하게 바꿀 수 있다. 문제는 성격만이 아니다. 보상 구조가 어떤 선택을 유도하는지, 한 번만 만나는 관계인지 반복해서 만나는 관계인지, 신뢰를 확인할 장치가 있는지, 배신의 비용이 있는지에 따라 사람의 행동은 크게 달라진다. 죄수의 딜레마는 인간이 이기적이라는 냉소가 아니라, 협력을 가능하게 하려면 구조를 설계해야 한다는 현실적인 경고다.

핵심 배경

전형적인 이야기는 이렇다. 두 용의자가 따로 조사받는다. 둘 다 침묵하면 가벼운 처벌을 받는다. 한 명만 자백하고 다른 한 명이 침묵하면 자백한 사람은 풀려나고 침묵한 사람은 무거운 처벌을 받는다. 둘 다 자백하면 둘 다 중간 정도의 처벌을 받는다. 각자는 상대의 선택을 모른다. 이때 자기 형량만 줄이고 싶은 사람에게는 자백이 늘 유리해 보인다. 상대가 침묵한다면 내가 자백해서 풀려나는 것이 좋고, 상대가 자백한다면 나도 자백해야 최악을 피한다.

그래서 두 사람 모두 같은 계산을 하면 둘 다 자백한다. 하지만 둘 다 침묵했을 때보다 결과는 나쁘다. 이 점이 죄수의 딜레마의 불편한 힘이다. 단순한 경쟁에서는 이기는 선택이 전체적으로도 효율적일 수 있다. 그러나 이 구조에서는 개인에게 우월해 보이는 선택이 공동으로는 열등한 결과를 만든다. “합리성”이 언제나 좋은 사회적 결과를 보장하지 않는다는 사실을 보여준다.

이 모델은 범죄 수사보다 훨씬 넓게 쓰인다. 기업들이 가격 경쟁을 할 때, 모든 기업은 상대보다 조금 낮은 가격으로 점유율을 얻고 싶다. 모두가 가격을 내리면 업계 전체 이익은 줄어든다. 국가들이 군비를 늘릴 때, 각 국가는 상대보다 약해지지 않으려 한다. 모두가 군비를 늘리면 안전해지기보다 불안정해지고 비용은 커진다. 환경 문제에서도 비슷하다. 한 기업이나 국가는 배출 감축 비용을 피하고 싶지만, 모두가 그렇게 하면 기후 리스크는 커진다.

중요한 변형은 반복 게임이다. 한 번만 만나는 관계라면 배신의 유혹이 강하다. 다시 볼 일이 없고 평판 비용도 없다면, 단기 이익이 협력을 압도하기 쉽다. 하지만 같은 사람과 계속 만난다면 이야기가 달라진다. 오늘 배신하면 내일 상대도 배신할 수 있다. 오늘 협력하면 앞으로 협력의 이익을 계속 누릴 수 있다. 반복 관계에서는 신뢰, 평판, 보복 가능성, 용서의 규칙이 전략의 일부가 된다.

이 때문에 죄수의 딜레마는 경제학뿐 아니라 정치학, 윤리학, 진화생물학, 사회심리학에서 오래 쓰였다. 협력은 단순히 착한 마음의 결과가 아니다. 반복되는 만남, 상호 관찰 가능성, 명확한 규칙, 배신에 대한 비용, 실수 후 회복할 수 있는 절차가 있을 때 더 안정적으로 생긴다. 좋은 사회 제도는 사람에게 협력을 설교하는 데서 끝나지 않고, 협력이 손해만 보는 선택이 되지 않게 만든다.

사람들이 자주 놓치는 포인트

• 죄수의 딜레마는 “인간은 이기적이다”라는 증명이 아니다. 이 모델은 특정 보상 구조 안에서 어떤 선택이 유도되는지를 보여준다. 사람의 본성보다 구조가 중요하다는 쪽에 더 가깝다.

• 협력은 감정이 아니라 전략일 수 있다. 장기 관계에서는 신뢰를 지키는 것이 경제적으로도 합리적이다. 신뢰는 도덕적 장식품이 아니라 거래 비용을 낮추는 인프라다.

• 한 번짜리 관계는 배신을 부추긴다. 익명성, 단기 계약, 잦은 이직, 책임 추적 불가능성은 협력을 어렵게 만든다. “왜 사람들이 책임감이 없지?”보다 “왜 책임을 지킬 유인이 약하지?”를 물어야 한다.

• 처벌만으로는 충분하지 않다. 배신 비용을 높이는 것은 필요할 수 있지만, 실수와 오해까지 배신으로 취급하면 관계가 쉽게 깨진다. 협력 시스템에는 처벌뿐 아니라 복구와 용서의 규칙도 있어야 한다.

• 투명성은 협력을 돕지만, 감시는 신뢰를 대체하지 못한다. 모든 행동을 감시하면 단기 배신은 줄 수 있지만, 사람들은 감시 기준에 맞춘 최소 행동만 하게 될 수 있다. 좋은 제도는 관찰 가능성과 자율성을 함께 설계한다.

• 공동 이익은 자동으로 선택되지 않는다. 모두에게 이로운 결과가 존재한다는 사실만으로 그 결과가 실현되지는 않는다. 조율 장치와 약속을 지키게 하는 제도가 필요하다.

현대적으로 읽는 법

죄수의 딜레마를 오늘의 일터에 적용하면 팀 협업의 많은 갈등이 보인다. 한 팀은 기술 부채를 줄이고 싶지만, 당장 자기 분기 목표를 맞추려면 뒤로 미루는 것이 유리하다. 다른 팀도 같은 판단을 한다. 결국 전체 시스템은 더 복잡해지고 장애 대응 비용은 커진다. 이때 “개발자들이 왜 품질을 신경 쓰지 않느냐”고 말하는 것은 절반의 진단이다. 성과 지표가 기능 출시만 보상하고 유지보수를 보상하지 않는다면, 협력적 품질 투자는 쉽게 밀린다.

플랫폼 경제에서도 같은 구조가 반복된다. 사용자는 좋은 정보와 차분한 토론을 원한다. 창작자도 장기적으로는 신뢰받고 싶다. 하지만 알고리즘이 짧은 클릭과 즉각 반응을 강하게 보상하면, 각자는 조금 더 자극적인 선택을 하게 된다. 모두가 그렇게 하면 피로한 정보 환경이 된다. 개인의 미덕만으로 해결하기 어렵고, 플랫폼의 보상 구조와 추천 기준을 함께 봐야 한다.

국제 문제에서는 죄수의 딜레마가 더 노골적이다. 기후 대응, 핵무기, 사이버 공격, 감염병 정보 공유는 모두 “나만 협력하면 손해 볼 수 있다”는 두려움이 작동한다. 그래서 국제 협약에는 선언만이 아니라 검증, 감시, 제재, 보상, 단계적 신뢰 구축이 들어간다. 협력은 낭만적인 구호가 아니라, 배신의 유혹을 줄이는 장치의 묶음이다.

개인 생활에서도 이 렌즈는 유용하다. 가까운 관계에서 “내가 먼저 양보하면 손해 아닌가”라는 생각이 반복되면 둘 다 방어적으로 변한다. 반대로 반복 관계라는 사실을 인정하고 작은 협력을 먼저 만들면 신뢰가 쌓인다. 물론 모든 관계에서 무조건 협력하라는 뜻은 아니다. 상대가 계속 배신하는 구조라면 거리를 두는 것도 합리적이다. 핵심은 협력과 배신을 감정 문제가 아니라 반복되는 선택의 구조로 보는 것이다.

좋은 제도와 좋은 관계는 죄수의 딜레마를 없애지는 못한다. 대신 딜레마의 보상표를 바꾼다. 협력했을 때의 이익을 크게 만들고, 배신했을 때의 단기 이익을 줄이고, 실수했을 때 회복할 길을 열어둔다. 사회가 성숙해진다는 것은 사람들이 갑자기 천사가 된다는 뜻이 아니라, 평범한 사람이 협력해도 바보가 되지 않는 환경을 만든다는 뜻에 가깝다.

더 알아보기

• Stanford Encyclopedia of Philosophy: Prisoner’s Dilemma
• Encyclopaedia Britannica: The prisoners’ dilemma
• Robert Axelrod, The Evolution of Cooperation

오늘의 한 문장

협력은 착한 사람이 참아서 생기는 것이 아니라, 협력해도 손해 보지 않는 구조가 있을 때 오래 살아남는다.