Test Status

test_status 설계 원칙

테스트 상태 필드의 설계 철학과 분류 기준

정의

test_status는 테스트의 실행 동작을 나타내는 필드다.

핵심 원칙

1. Status ≠ Attribute

구분	정의	포함 여부
Status	실행 동작에 직접 영향	✅ 포함
Attribute	분류용 메타데이터	❌ 제외

• Status 예: active, skipped, xfail
• Attribute 예: slow, flaky, smoke, integration

test_status에는 실행 동작에 영향을 주는 것만 포함한다.

2. First Principles 분류

모든 테스트 프레임워크에 적용되는 근본적 질문:

Q1. 실행되는가?
    ├─ YES → Q2. 예상 결과는?
    │         ├─ 성공 기대 → active, focused
    │         └─ 실패 기대 → xfail
    │
    └─ NO  → Q3. 왜 실행 안 되는가?
              ├─ 의도적 제외 → skipped
              └─ 아직 미구현 → todo

3. ENUM은 보편적 행동, modifier는 프레임워크 표현

• ENUM: 모든 프레임워크에서 공통인 "실행 행동" (5개로 충분)
• modifier: 프레임워크별 원본 표현 보존 (skip, fixme, ignore 등)

5가지 상태

Status	실행	기대 결과	용도
active	✅	성공	정상 테스트
skipped	⛔	-	의도적 제외
todo	⛔	-	미구현
focused	✅	성공	디버깅용 (.only)
xfail	✅	실패	알려진 버그/실패 예상

분류 기준

┌────────────────────────────────────────────┐
│            테스트 실행 동작                  │
├────────────────────────────────────────────┤
│  [실행됨]              [실행 안 됨]          │
│  ├─ active (성공 기대)  ├─ skipped (제외)   │
│  ├─ focused (디버깅)    └─ todo (미구현)    │
│  └─ xfail (실패 기대)                       │
└────────────────────────────────────────────┘

프레임워크별 매핑

JavaScript/TypeScript (Jest, Vitest, Playwright)

프레임워크 표현	status	modifier
test(), it()	active	-
test.skip(), it.skip()	skipped	skip
xit(), xdescribe()	skipped	xit, xdescribe
test.todo()	todo	todo
test.only(), it.only()	focused	only
fit(), fdescribe()	focused	fit, fdescribe
test.failing() (Vitest)	xfail	failing
test.fixme() (Playwright)	skipped	fixme

Python (pytest, unittest)

프레임워크 표현	status	modifier
def test_*()	active	-
@pytest.mark.skip	skipped	skip
@pytest.mark.skipif	skipped	skipif
@pytest.mark.xfail	xfail	xfail
@unittest.skip	skipped	skip
@unittest.expectedFailure	xfail	expectedFailure

Go (testing)

프레임워크 표현	status	modifier
func Test*()	active	-
t.Skip()	skipped	skip

Ruby (RSpec)

프레임워크 표현	status	modifier
it "..."	active	-
skip, xit	skipped	skip, xit
pending	xfail	pending
fit, fdescribe	focused	fit, fdescribe

⚠️ RSpec의 pending은 실행됨 (다른 프레임워크의 pending과 다름)

Java/Kotlin (JUnit, Kotest)

프레임워크 표현	status	modifier
@Test	active	-
@Ignore (JUnit 4)	skipped	Ignore
@Disabled (JUnit 5)	skipped	Disabled
f:test (Kotest)	focused	focused

Rust

프레임워크 표현	status	modifier
#[test]	active	-
#[ignore]	skipped	ignore
#[should_panic]	xfail	should_panic

modifier 필드의 역할

역할	설명
원본 보존	@pytest.mark.skip → modifier: skip
세부 구분	skipped의 fixme vs skip 구분
확장성	새 마커 추가 시 ENUM 변경 불필요

설계 근거

1. 5개면 충분하다: 테스트 실행 동작의 모든 경우의 수를 커버
2. ENUM 변경은 비싸다: DB 히스토리 누적 시 마이그레이션 비용 급증
3. modifier로 확장한다: 새 프레임워크 지원 시 코드만 수정

---

작성일: 2025-12-09