저렴하고 뛰어난 군중 작업자 선택 전략

본 논문은 군중소싱 작업에서 예산 제한 하에 어떤 작업자들을 선택해야 라벨 집계 정확도를 최대로 할 수 있는지를 탐구한다. 기존에는 예산이 허용하는 만큼 많은 작업자를 고용해 다수결이나 EM 같은 집계 기법을 적용하는 것이 일반적이었다. 그러나 작업자들의 신뢰도가 크게 다르고, 스팸러와 같은 무작위 응답자를 포함하면 오히려 정확도가 떨어질 수 있다는 점을 지적한다. 문제 정의는 다음과 같다. M명의 작업자 풀 Ω와 N개의 라벨링 대상이 존재하고, 각 작업자 i는 정확도 w_i 로 라벨을 제공한다. 금지문제(정답이 알려진 소수의 질문)를 통해 각 작업자의 신뢰도 추정값 \hat w_i 와 그 분산 \hat var(\hat w_i) 를 얻는다. 라벨 집계는 선형 가중 다수결(Weighted Majority Voting, WMV‑linear) 방식을 사용한다. 여기서 각 작업자의 가중치는 f_linear(\hat w_i)=L\hat w_i−1 로 정의된다. 이때, WMV‑linear의 오류율에 대한 상한을 정리 1을 통해 도출한다. 상한은 exp(−2F(S)^2 /