- 초록 한모금
대부분의 경우, 온라인 테스트 플랫폼은 응시자가 제출물의 질을 보장하길 기대한다. 이 측정가능한 평가 체계는 집단 이익을 제공한다. 하지만, 응시자들의 경우 개인적이고 경쟁적인 이득을 취하기 위해 역으로 활용할 수 도 있다. 이 연구는 이런 긴장을 지위 이론적 관점에서 검토하여 경쟁과 집단이익 사이의 갈등, 평가 유효성에 자체의 영향이 응시자에 상태에 따라 달라진다는것을 시사한다. 반대로, 낮은 지위의 응시자들은 덜 숙련되 보이기 때문에 실수를 하기 쉽다. 따라서 만약 평가가 대부분 집단이익에 의해 좌지우지 된다면 낮은 지위의 응시자들은 더 많은 평가에 마음을 끌게 될 것이다. 그 반대로, 만약 평가가 응시자 개인의 이익에 의해 움직인다면, 낮은 지위의 응시자들에게 덜 매력적인 목표를 제공하므로 더 적은 평가를 유치할 것이다. 우리는 이런 경쟁 가능성을 Codeforces의 코딩 컨테스트 데이터를 사용하여 경험적으로 테스트하려 한다. 이 플랫폼은 응시자들이 다른 제출답안을 평가할 수 있도록 하고, 테스크 제공자가 정의한 것 이외에 고안된 테스트케이스로 평가를 개선한다. 만약 제출물이 성공적으로 난도질 당하면, 난도질 한 당사자들은 추가적인 포인트를 얻고, 이 제출물은 대회에서 제외되게 된다. 우리는 Codeforces의 상태 스펙트럼에 걸쳐진 응시자들에게 질의응답을 기반으로 어느정도 설계된 질 좋은 증거 를 제공하는것 부터 시작하였다. 그 다음, Codeforces의 구조적 변화를 이용한 정양적 증거를 제시하는데, 플랫폼 내 응시자 평가하는 색상코딩 시스템 갑작스러운 변화로 인해 이때 그들의 실력과는 무관한 많은 응시자들이 임의적인 상태 감소를 경험했다. 다른 응시자들에 비해 상태-패배자 응시자가 단기 제출 품질의 변화 없이 시스템적으로 더 많은 평가를 받았다는 것을 보여준다. 마지막으로, 지나친 평가가 덜 효과적이였다는것을 보여주며, 이는 상태 중심 평가가 잠재적으로 덜 효과적이라는것을 나타낸다. 온라인 테스트에서 평가 프로세스를 관리하기 위해 연구 결과 의미에 대해 논의할 것이다.
데이터와 사회과학 사이를 여행하는 히치하이커를 위한 안내서