FAQ

sandbox 안에서 실행되지 않는 python3

새로 실행한 기록에서 python3 -c …가 xcode-select 오류로 두 번 실패했다. 같은 Mac에서 sandbox 밖의 python3는 동작하고, H8에서 sandbox를 더하기 전인 H3 기록에서는 매번 성공했다. macOS의 /usr/bin/python3는 Command Line Tools를 찾아 실행하는데, hel의 sandbox가 그 경로 읽기를 허용하지 않는 것으로 보인다. model은 원인을 모른 채 다른 명령으로 작업을 끝냈고 run은 통과했다. sandbox가 허용할 시스템 경로를 고치는 일은 H8의 sandbox 구성에서 이어서 다룬다.

결과가 기록에 남지 않는 호출

예전 기록에서는 tool 호출의 결과가 다음 model 요청에 실려야만 원본 기록에 남았다. max_turns로 끝난 run은 마지막 응답의 tool 결과가 다음 요청에 실리지 않아 74건을 판정할 수 없었다. 이번에 실행 기록에 결과를 직접 남기면서 새 기록에서는 이 문제가 없다. 다만 실행 기록에 남기는 결과는 300자로 자르므로, 긴 출력의 중간에 원인이 있으면 놓칠 수 있다. 결과를 얼마나 남길지는 기록 크기와 함께 정해야 한다.

사람 분류를 여러 사람이 하면

이번 사람 분류는 한 사람이 했다. Anthropic 글은 사람 판정을 여러 명이 하고 서로 얼마나 일치하는지 확인하라고 권한다. stderr를 버린 명령이나 위임 실패의 원인처럼 판단이 갈리는 사례는 분류하는 사람에 따라 달라질 수 있다. 같은 실패를 여러 사람이 분류해 사람끼리의 일치도를 먼저 재면, 규칙이 도달할 수 있는 일치율의 기준이 생긴다.

반복 횟수와 pass^k

지난 Lab은 조건마다 3~5번 실행했다. pass^k는 k번 모두 통과해야 1이므로, 반복 횟수가 적으면 우연히 모두 통과하거나 한 번 실패한 차이로 값이 바뀐다. 이번에 찾은 7곳이 harness 구조 때문인지 model의 실행 편차인지 나누려면 같은 조건을 더 많이 반복해야 한다. 반복을 늘리는 비용과 함께 어느 task에서 일관성을 확인할지 정하는 일이 남는다.