AI 주도 사회의 독성: Chirper.ai에서의 대규모 감사 연구

장기간 온라인 플랫폼에서 중요한 역할을 해온 소셜 봇은 정보 확산, 참여 동역학, 그리고 공론장의 담론에 영향을 미친다.[5, 19, 23, 44] 그러나 대형 언어 모델(LLM)의 등장은 훨씬 더 정교하고 자연스러운 상호작용이 가능한 새로운 세대의 소셜 봇을 가능하게 했다. 이러한 발전은 학계에서 LLM 기반 소셜 에이전트의 행동 이해에 대한 관심 증대를 가져왔다. 이 에이전트들은 전통적 규칙 기반 또는 템플릿 구동 봇과는 달리, 지속적인 상호작용 내에서 발생하는 적응적이고 발생적인 행동을 보여준다.[3, 30]

최근 연구는 오프라인 시뮬레이션된 사회 환경을 활용하여 이러한 에이전트가 인간과 유사한 네트워크 구조를 복제할 수 있는지,[26] 협력적 작업을 조정하고 수행할 수 있는지,[41, 47] 또는 집단 현상을 유발할 수 있는지 (예: 편향과 에코 챔버)[32, 42]를 조사했다. 이러한 연구들은 LLM 기반 에이전트들이 단순히 텍스트 생성기 이상이며, 사회적 동역학에 적극적으로 참여하고 시간이 지남에 따라 행동이 진화한다는 것을 시사한다.

동시에, LLM은 대규모로 악용될 수 있는 잠재적인 위험을 내포하고 있다. 온라인 커뮤니티와 개인 사용자에 대한 해를 초래할 수 있는 독성 또는 유해 콘텐츠 생성에 대한 우려가 제기되어 왔다.[9, 21] 이러한 문제를 해결하기 위해, 해로운 생성 및 완화 전략 개발에 초점을 맞춘 상당한 연구가 진행되어 왔다. 예를 들어, 안전 훈련 절차, 필터링 메커니즘, 그리고 사후 모니터링이 포함된다.[46]

또한, 인간 중심 컴퓨팅 분야의 연구는 사용자가 독성 콘텐츠에 노출될 경우 행동에 영향을 받을 수 있음을 보여주었다.[24] 그러나 LLM 기반 에이전트의 독성 생성 동역학에 대한 경험적 증거는 부족하다. 특히, 다음과 같은 질문에 대한 답변이 필요하다: (i) 이러한 에이전트들은 오직 상호작용을 통해 서로만 존재할 때 어떻게 행동하는가? (ii) 독성 콘텐츠는 독성 응답을 유발하는 촉매제 역할을 하는가? (iii) 반복적인 노출은 에이전트가 유해 출력을 생성할 확률을 체계적으로 증가시키는가?

이 논문에서는 이러한 공백을 채우기 위해 Chirper.ai에서 대규모 감사를 수행한다. 이 플랫폼은 사용자가 LLM 기반 에이전트를 생성하고, 자체 생태계에서 다른 에이전트와 상호작용할 수 있게 한다. 특히, 우리는 독성 채택에 초점을 맞추고, 자극(포스트)이 응답(코멘트)에 미치는 영향을 분석한다.

우리의 주요 기여는 다음과 같다:

1. 대규모 독성 생성 및 채택에 대한 경험적 감사: 우리는 LLM 기반 에이전트의 독성 행동에 대한 대규모 경험적 감사를 수행하여 독성 콘텐츠 노출과 독성 응답 간의 관계를 조사한다.
2. 자극의 역할 강조: 우리는 자극이 독성 응답 형성에 핵심적인 역할을 한다는 것을 보여준다. 독성 콘텐츠는 단순히 응답을 유발하는 촉매제가 아니라, 에이전트의 행동에 지속적으로 영향을 미친다.
3. 누적 노출과 독성 생성 간의 상관관계: 반복적인 독성 콘텐츠 노출은 에이전트가 독성을 생성할 확률을 정확하게 예측할 수 있다는 것을 밝혀낸다. 이는 모델 내부나 훈련 데이터에 접근하지 않고도 에이전트의 행동 패턴을 이해하는 데 도움이 된다.

우리는 이러한 소셜 에이전트들의 역동성이 중요한 이유를 강조한다: (i) 그들은 테스트베드로 작용하여 출현과 평가 표준을 형성할 수 있다; (ii) 그들은 훈련 및 미세 조정 데이터의 원천이 되어 미래 모델을 형성할 수 있다; (iii) 그들은 인간-에이전트 상호작용의 혼합 환경에서 사용될 수 있는 잠재적인 선구자 역할을 한다.

본 논문은 다음과 같은 구조로 구성되어 있다:

1. 관련 문헌: AI 기반 에이전트, 독성 채택, 그리고 Chirper.ai 플랫폼에 초점을 맞춘 관련 연구를 검토한다.
2. 데이터 및 방법론: 우리가 사용한 데이터와 감사를 수행하기 위한 방법론을 설명한다.
3. 결과: 감사의 결과를 제시하고 분석한다.
4. 논의: 우리의 발견을 논의하고, 이 연구의 함의를 탐구하며, 미래 연구 방향을 제안한다.

AI 에이전트에 대한 기존 연구: 최근 연구는 AI 기반 에이전트와 인간이 공존하는 온라인 소셜 플랫폼에서 그들의 행동과 상호작용에 초점을 맞추고 있다.[12] 이러한 환경에서 에이전트 행동은 단순히 격리된 프롬프트에 의해 결정되지 않고, 지속적인 상호작용, 공개성, 그리고 진화하는 커뮤니티 규범에 의해 형성된다. 이 분야의 연구는 AI 기반 에이전트의 능력을 평가하고, 관련 위험을 이해하며, 미래 모델 개발에 기여한다.[39, 49]

또한, 독성 콘텐츠와 관련된 연구는 온라인 환경에서 해로운 행동이 어떻게 발생하고 확산되는지 이해하는 데 중점을 두고 있다.[24, 31] 이러한 연구들은 독성이 단순히 소수의 악의적인 행위자에 의해 주도되는 것이 아니라, 반복적인 상호작용과 피드백 루프에 의해 형성될 수 있음을 보여준다.

…(본문이 길어 생략되었습니다. 전체 내용은 원문 PDF를 참고하세요.)…