피고와 원고를 찾으면, BERT-large uncased를 이용하여 피고와 원고를 찾을 수 있다고 생각했다. 하지만, 가장 유사도가 높은 단어들이 관사들만 나오는 경우가 많았다(the, a, an, for 등등). 이는 문장 내에서 비슷한 단어 자체를 찾지 못한다는 의미이다.
법적 언어는 고도로 전문화되어있다. BERT가 대규모 텍스트 말뭉치에 대해 사전 훈련을 받았지만, 법적 언어의 복잡성과 원고나 피고와 같은 용어가 판결에서 사용되는 특정 방식을 포착하지 못할 수 있다.
긴 텍스트에 걸쳐 피고와 원고를 추적하는 것은 어려울 수 있다.
피고와 원고를 대명사 혹은 어려운 법적 용어를 사용하여 간접적으로 표현하는데 BERT에서 이를 완벽히 포착하지 못할 수 있다.
사전 학습할 말 뭉치에 충분한 법률 텍스트가 포함되지 않았을 수 있다.