개인의 이익을 극대화하려는 합리적인 선택이 모여, 결국 모두에게 더 나쁜 결과를 가져오는 아이러니한 상황. 우리는 왜 그룹 과제에서 무임승차를 하거나, 공공장소에서 질서를 지키지 않는 사람을 보며 씁쓸해할까? 이러한 인간 사회의 고질적인 모순을 명쾌하게 설명하는 이론이 있다. 바로 게임 이론의 가장 유명한 모델인 '죄수의 딜레마(Prisoner's Dilemma)'다.

 

 

 

 

1. 두 명의 죄수, 그리고 운명의 선택

 

 

'죄수의 딜레마'는 1950년 미국의 랜드 연구소(RAND Corporation) 소속이던 수학자 메릴 플러드(Merrill Flood)와 멜빈 드레셔(Melvin Dresher)가 고안하고, 지도교수였던 앨버트 터커(Albert W. Tucker)가 '죄수'라는 비유를 들어 각색하면서 널리 알려졌다. 그 내용은 다음과 같다.

 

한 범죄 조직의 두 공범(A와 B)이 경찰에 체포되었다. 결정적인 증거가 없어 두 사람의 자백에 의존해야 하는 상황. 검사는 둘을 분리된 취조실에 가두고, 서로 소통할 수 없게 한 뒤 각각에게 다음과 같은 제안을 한다.

 

만약 당신은 침묵(동료와 협력)하고, 동료가 당신을 배신(자백)하면: 당신은 10년형, 동료는 석방된다.

만약 당신은 자백(동료를 배신)하고, 동료가 침묵(협력)하면: 당신은 석방, 동료는 10년형을 받는다.

만약 두 사람 모두 자백(서로 배신)하면: 두 사람 모두 5년형을 받는다.

만약 두 사람 모두 침묵(서로 협력)하면: 증거 불충분으로 둘 다 1년형만 받는다.

 

 

2. 가장 합리적인 선택이 최악의 결과로

 

 

당신이 죄수 A의 입장이라면 어떤 선택을 할 것인가? 이성적으로 경우의 수를 따져보자.

 

'만약 동료 B가 침묵(협력)한다면?'

내가 침묵하면 1년형을 받는다.

내가 자백하면 석방된다.

따라서 자백하는 것이 이득이다.

 

'만약 동료 B가 자백(배신)한다면?'

내가 침묵하면 10년형이라는 최악의 상황에 처한다.

내가 자백하면 5년형을 받는다.

따라서 이 경우에도 자백하는 것이 이득이다.

 

결론적으로, 동료가 어떤 선택을 하든 나에게는 '자백(배신)'이 언제나 최선의 선택, 즉 '우월 전략(Dominant Strategy)'이 된다. 문제는 상대방인 죄수 B 역시 동일한 방식으로 합리적 사고를 한다는 점이다. 그 역시 동료(A)의 선택과 무관하게 자백하는 것이 자신에게 유리하다고 판단할 것이다.

 

그 결과, 두 죄수는 모두 '합리적'으로 서로를 배신하는 선택을 하게 되고, 결국 나란히 5년형을 선고받는다. 둘 다 침묵을 지켜 1년만 복역할 수 있었던 '집단 최선의 결과'를 스스로 걷어차고 '집단 최악의 결과'를 맞이하게 되는 것이다. 이처럼 개인의 합리성이 집단의 비합리성으로 귀결되는 딜레마가 바로 이 이론의 핵심이다.

 

 

 

3. 딜레마는 교도소 담장 안에만 있지 않다

 

 

이 딜레마는 단순히 가상의 이야기가 아니다. 현실 세계의 수많은 문제들이 죄수의 딜레마 구조를 가지고 있다.

 

기업 간의 가격 경쟁: 두 경쟁사가 있다. 둘 다 높은 가격을 유지하면(협력) 안정적인 수익을 올릴 수 있다. 하지만 한쪽이 가격을 내려(배신) 고객을 독점하려 하면, 다른 쪽도 울며 겨자 먹기로 가격을 내릴 수밖에 없다. 결국 끝없는 '치킨 게임'으로 번져 두 기업 모두 수익성이 악화되는(둘 다 5년형) 결과로 이어진다.

 

국가 간의 군비 경쟁: 냉전 시대 미국과 소련의 상황이 대표적이다. 양국 모두 군축에 합의하면(협력) 막대한 국방비를 절약하고 평화를 유지할 수 있다. 그러나 상대방이 몰래 군비를 증강할(배신) 가능성을 우려해, 양국 모두 경쟁적으로 핵무기를 개발하고 군사력을 키우는(둘 다 배신) 길을 택했다. 이는 인류 전체를 파멸의 위기로 몰아넣는 비합리적인 결과로 이어졌다.

 

환경 문제: 모든 국가가 탄소 배출을 줄이면(협력) 지구 온난화를 막을 수 있다. 하지만 일부 국가가 자국의 경제 성장을 위해 배출량을 유지하거나 늘리면(배신), 다른 국가들도 손해를 보지 않기 위해 협력의 대열에서 이탈할 유인이 생긴다. 결국 모두가 기후 변화의 피해자가 되는 공멸의 길로 들어서게 된다.

 

 

 

4. 그렇다면 딜레마를 탈출할 방법은 없는가?

 

 

죄수의 딜레마는 인간 사회의 비관적인 측면을 보여주지만, 학자들은 이 딜레마를 극복할 몇 가지 조건 또한 제시한다.

반복되는 게임 (Repeated Game): 단 한 번으로 끝나는 게임이 아니라, 앞으로도 계속 관계를 맺고 게임을 해야 한다면 '협력'의 가능성이 커진다. 이번에 내가 상대를 배신하면, 다음번에 상대가 반드시 보복할 것이기 때문이다. 장기적인 관계에서는 '신뢰'와 '평판'이 중요한 자산이 된다. '눈에는 눈, 이에는 이'처럼 상대의 행동을 그대로 따라 하는 '팃포탯(Tit-for-Tat)' 전략이 효과적인 이유다.

 

소통과 신뢰 (Communication & Trust): 딜레마의 근본 원인은 서로 소통할 수 없고 믿을 수 없다는 데 있다. 만약 죄수들이 사전에 "무슨 일이 있어도 침묵하자"고 굳게 약속하고 서로를 믿을 수 있었다면, 최상의 결과를 얻었을 것이다. 사회적 관계에서도 투명한 소통과 약속은 배신의 유인을 줄이는 핵심 요소다.

 

강력한 제3자의 개입 (Third-Party Enforcement): 배신자를 처벌하고 협력의 규칙을 강제하는 외부의 힘이 있다면 딜레마는 쉽게 해결된다. 기업들의 가격 담합을 금지하는 '공정거래위원회', 국가 간의 약속을 감시하는 '국제기구'나 '국제법' 등이 바로 이러한 역할을 수행한다.

 

 

 

5. '신뢰'라는 사회적 자본의 가치

 

 

죄수의 딜레마는 우리에게 중요한 교훈을 던진다. 눈앞의 이익만을 좇는 개인의 합리성이 항상 최선의 결과를 보장하지는 않는다는 것. 오히려 서로에 대한 불신이 팽배한 사회일수록, 구성원 모두가 손해를 보는 '죄수의 딜레마'에 빠지기 쉽다.

 

결국 이 딜레마를 푸는 열쇠는 '신뢰'라는 보이지 않는 사회적 자본에 있다. 단기적인 이익을 위한 배신보다 장기적인 협력을 가치 있게 여기고, 소통을 통해 공동의 목표를 설정하며, 규칙을 지키려는 노력이 모일 때, 우리는 비로소 '모두가 패배하는 게임'에서 벗어나 '모두가 승리하는 게임'으로 나아갈 수 있을 것이다.