대구보건대학교 전자책도서관

책소개

※ 본 책에서 언급하는 플랫폼 운영 사례, 정책적 논쟁, 기술의 한계는 업계에서 공통된 고민이며, 특정 기업이나 조직을 비판하거나 대변하지 않는다. 저자가 재직 중인 디스코드(Discord Inc.)의 공식 입장과는 무관하며, 모두 저자의 개인적 견해임을 밝힌다.

불평등의 현장에서 시작된 질문

어린 시절 외가 방문차 파라과이에 갔을 때 세상의 불평등을 자연스럽게 체감했다. 창문 너머로 내려다본 풍경은 어디서나 비슷해 보였지만, 문을 열고 그 땅을 직접 밟아보면 삶의 조건은 전혀 달랐다. 어떤 아이는 학교에 가기 위해 먼 길을 걸어야 했고, 어떤 동네는 전기도 물도 제대로 공급되지 않았다. 그때부터 내게는 하나의 질문이 자리 잡았다. 왜 누군가에게는 평범한 일상이 또 다른 이에게는 특별함이 되는가? 그 불평등은 어디서 비롯되는가? 아시아재단에서 몽골로 파견되어 처음 울란바토르에 도착했을 때 가장 먼저 마주한 건 매캐한 공기였다. 겨울이면 도시 전체가 숨 쉬기 조차 어려운 공해와 먼지로 덮였고, 창문을 열면 방 안까지 연기가 자욱히 들어왔다. 목이 칼칼하고 눈이 따가운 건 일상이었고, 밖에 잠시만 다녀와도 옷에는 연기의 냄새가 짙게 배어 있었다.

몽골은 1990년, 사회주의 체제에서 민주주의와 자본주의 기반의 도시화를 통해 빠르게 성장했다. 하지만 그 변화의 설계에 모두가 포함된 것은 아니었다. 유목민 출신 이주민들은 울란바토르 외곽에 게르촌을 형성했고, 안정적인 직업도 생계 수단도 없이 지금까지도 극심한 빈곤 속에 살아가고 있다. 영하 50도의 겨울을 버티기 위해 그들은 저질 석탄, 폐타이어, 심지어 쓰레기까지 연료로 사용할 수밖에 없다. 정부는 수차례 원석탄 사용 금지와 대체 연료 보급 정책을 시도했지만, 몽골의 공해 문제는 여전히 나아지지 않고 있다. 게르촌 주민들은 정책 결정 과정에 참여할 기회도, 목소리를 낼 채널도 충분하지 않다. 오늘날 울란바토르는 세계에서 가장 대기오염이 심한 도시 중 하나로 남아 있으며, 그 피해는 게르촌의 아이들, 임산부, 노인에게 가장 먼저, 가장 깊게 닿고 있다.

위해는 불평등하다. 언제나 가장 먼저, 가장 깊게 영향을 받는 이는 사회적으로 가장 취약한 사람들이다. 기술도 다르지 않다. 어떤 기술은 누군가에게는 편리함이지만, 다른 누군가에게는 심각한 피해로 이어질 수 있다. 자원의 배분이나 정책 및 제도의 수립뿐 아니라, AI 기술, 그 역시 불평등을 증폭시키거나 완화할 수 있는 구조물이다. 그리고 그 결과는 누가 설계에 참여했는가 혹은 누구의 목소리가 고려됐는가에 따라 달라진다. 오늘날 기술은 모두의 삶에 크고 작은 변화를 주고 있다. 너무 빠르게 흘러가는 기술의 물결에 몸을 싣기보다는 그 흐름을 설계할 방법은 없을까? 안전한 기술, 더 나아가 공정한 기술이란 무엇일까?

저자소개

현재 디스코드(Discord Inc.)에서 AI와 머신러닝 기반 프로덕트의 안전 정책 수립을 담당하는 기술 정책 전문가다. 사전 위해 분석과 기술적 · 정책적 제안을 통해 유해 콘텐츠의 노출과 확산을 줄이고, 사용자 안전과 신뢰를 위한 프로덕트 안전 설계를 이끈다. 스탠퍼드 대학교에서 국제정책학 석사과정을 전액 장학금으로 수학하며, 기술 정책과 AI 거버넌스를 집중적으로 연구했다. 재학 중에는 스탠퍼드 아시아-태평양 연구소(Walter H. Shorenstein Asia-Pacific Research Center)에서 인간과 AI 상호작용에 따른 사회적 영향 연구에 참여했다.

그 이전에는 국제개발 NGO인 아시아재단(The Asia Foundation) 소속으로 몽골 현지에 파견되어, 기술 접근성 격차 해소와 여성의 디지털 역량 강화, 그리고 마이크로파이낸스 및 기술 창업 프로젝트를 기획하고 운영했다. 국제개발, 정책과 거버넌스, 그리고 AI라는 세 분야를 가로지르는 독특한 경력을 바탕으로, 기술이 초래할 수 있는 위험을 사전에 분석하고, 위해가 발생하기 전 단계에 구조적으로 안전을 설계하는 접근을 추구한다.

01 콘텐츠 생태계, 대혼돈의 터뷸런스 속으로

제1장ㆍ생성형 AI, 콘텐츠 세계의 격변의 문을 열다 18
1. 생성형 AI, 더 똑똑한 뇌의 등장 19
2. 콘텐츠 생태계 23
3. 양 x 질 x 개인 맞춤화: 이 삼합이 만든 새로운 세상 28
제2장ㆍ가짜 뉴스는 시작일 뿐, 더 악랄한 악의를 구현하는 기술 30
1. 탈중앙화된 권력의 시대 30
2. 생성형 AI, 악인을 위한 완벽한 무기 31
3. 누구의 손에 들린 도구인가 37
자가 테스트 나는 지금 AI 콘텐츠 생태계 어디쯤에 있는가? 39

02 혼돈 속 질서를 설계하는 Trust and Safety 전문가들

제3장ㆍ플랫폼의 진짜 속사정, 유해 콘텐츠와의 전쟁 44
1. 온라인 플랫폼의 작동 방식 45
2. 인터넷의 그림자: 유해 콘텐츠 49
3. 유해 콘텐츠 관리가 어려운 진짜 이유 52
4. 기업의 우선 순위 61
제4장ㆍ당신이 몰랐던 스크린 너머의 세계, Trust and Safety 63
1. 일상에서 보이지 않는 Trust and Safety 64
2. Trust and Safety 조직이란? 66
3. TnS는 팀이 아니라 사명이다 79
실무자 인터뷰 극단주의 조직의 위협에 맞서는 TnS 전문가 이야기 80

03 AX 시대의 안전 설계: AI와 인간의 콜라보

제5장ㆍAI vs. AI: 유해 콘텐츠에 맞서는 기술들 88
1. AI가 TnS에 필연이 된 이유 88
2. 키워드 필터에서 생성형 AI까지, TnS 기술의 발전과 AI 적용 92
3. 하지만 안전을 완성하는 것은 결국 사람이다 99
제6장ㆍAI의 한계, 그리고 인간이 개입해야 하는 순간 101
1. 기술의 한계 102
2. TnS에 적용된 생성형 AI의 한계는? 105
3. 사람만이 할 수 있는 일 111
4. 사용자도 Human-in-the-loop이다 114
5. 터뷸런스를 헤쳐가는 법: 신뢰와 정당성 116
자가 테스트 내 디지털 일상 속 Trust and Safety는 어디에 있었을까? 117

04 더 안전한 디지털 세상, 이제는 우리가 설계할 차례

제7장ㆍ새로운 기회: Trust and Safety 커리어 로드맵 120
1. AI 시대, 지금 뛰어들어도 늦지 않았다 120
2. 진입 경로는 다양하다: 기업, 학문, 창업 등 121
3. 어디서 시작할 것인가? 129
4. 디지털 안전의 핵심, TnS 135
실천 체크리스트 오늘, 이 자리에서 시작하는 Trust and Safety 136
제8장ㆍ혼자 싸워 이길 순 없다: 공통의 적에 맞서는 글로벌 연대 139
1. TnS 기술은 나눌수록 강해진다 139
2. 플랫폼 간 협력과 성과 141
3. 아직 해결되지 않은 과제 145
4. 오픈소스는 답인가? 책임의 딜레마 148
제9장ㆍAI 공존의 시대: 안전의 주권, 이제는 우리의 선택 150
1. TnS: 오늘의 현실 vs. 우리가 나아가야 할 미래 150
2. 기업 내 TnS의 위치 152
3. 정부는 규제자 역할을 넘어, 기술과 사회를 연결하는 파트너로 155
4. 교육기관 그리고 사용자의 역할 159
5. 당신의 선택은? 161

책소개

저자소개

목차