수테크📱⌚️👀

1.3. 테스팅의 일반적인 원리

• 원리 1. 테스팅은 결함이 존재함을 밝히는 것 (Testing shows presence of defects)
  • 잠재적으로 존재하는 결함 줄임
  • But, 결함이 없다고 증명할 수는 없음
• 원리 2. 완벽한 테스팅 (Exhaustive testing)은 불가능 (Exhaustive testing is impossible)
  • 한 프로그램 내에 내부 조건이 많음
  • 입력이 가질 수 있는 모든 값의 조합이 무수히 많음
  • 이벤트 발생시 발생 순서에 대한 조합도 무수히 많음
  • 리스크에 따라 테스트 강도 높게 수행 -> 실제 완벽은 불가
• 원리 3. 개발 초기에 테스팅 시작 (Early testing)
  • 개발의 시작과 동시에 테스트를 계획하고 전략적으로 접근
  • 요구사항 분석서와 설계서 등의 개발 산출물 분석 후 테스트 케이스 도출
  • 다 만들고 테스트 결과가 엉망이 나오면 유지보수 비용이 장난 아니겠쥐~
• 원리 4. 결함 집중 (Defect clustering)
  • 대다수의 결함들은 소수의 특정 모듈에 집중되어 발생하는 경향을 보임
  • 결함의 집중은 운영상의 장애를 초래
    • 복잡한 구조의 모듈
    • 다른 모듈과 다량의 상호작용을 하는 모듈 (자꾸 호출하다 보면 결함 나오기 쉬움)
    • 개발 난이도가 높거나 최신 기술을 사용한 모듈
    • 크기가 큰 모듈
    • 경험이 미흡한 팀에서 개발한 모듈
    • 새롭게 개발한 모듈
• 원리 5. 살충제 패러독스 (Pesticide paradox)
  • 동일한 테스트 케이스로 동일한 테스트를 반복하면 결함으로 찾기 어려워짐
  • 더 많은 결함을 찾기 위해서는 테스트 케이스를 정기적으로 리뷰하고 개선
• 원리 6. 테스팅은 정황(Context)에 의존적 (Testing is context dependent)
  • 테스팅은 정황(context)과 도메인에 따라 다르게 진행
  • 모든 테스트에 적용되어야 하는 것
    • 테스트 프로젝트 기획
    • 표준적인 기법적용
    • 독립적인 테스트 환경
    • 효율적/효과적 테스트 팀 조직
    • 정식 리포팅 등
• 원리 7. 오류-부재의 궤변 (Absence-of-errors fallacy)
  • 개발된 소프트웨어가 사용자 요구수준을 만족하지 않는다면 버그를 수정하는 것은 의미가 없음

1.2 테스팅이란 무엇인가?

• 테스팅
  • 응용 프로그램 또는 시스템의 동작과 성능, 안정성이 사용자가 요구하는 수준을 만족하는지 확인하기 위해 결함을 발견하는 메커니즘
    • 정상 동작 여부 확인
    • 사용자의 기대 수준과 요구사항에 맞게 구현되고 동작하는지 확인
    • 개발 프로젝트의 리스크 정보를 정량적 수치로 의사결정권자에게 전달
  • 초기 개발 산출물 -> 리뷰
  • 테스트 케이스 작성 과정(결함 예방 활동)
  • 다양한 테스팅 활동

• 테스팅의 일반적인 목적
  • 남아있는 결함 발견
  • 명세 충족 확인
  • 사용자 및 비즈니스의 요구 충족
  • 결함 예방
  • 품질 수준에 대한 자신감 획득과 정보 제공
  • 비즈니스 리스크를 감소시키는 정보에 근간한 조언 제공
  • 개발 프로세스 점검, 이슈 제기
  • 논리적 설계의 구현 검증
  • 시스템과 소프트웨어가 적절히 동작함을 확인

• 관점에 따른 테스팅의 목적
  • 개발 과정 - 결함을 찾고 수정하기 위해 가능한 많은 장애 상황 재연
  • 인수 테스팅 - 예상대로 시스템이 동작하는지 확인, 요구사항 확인
  • 소프트웨어 품질 - 출시하는 것의 리스크를 관련자에게 전달
  • 유지보수 테스팅 - 변경에 대해 새로운 결함의 유입을 확인(반복 테스트)
  • 운영 테스팅 - 신뢰성 또는 가용성 같은 시스템 특성을 평가
  • 테스팅은 문서의 리뷰와 함께 정적 분석에 의한 테스트 포함

1.1. 테스팅이란 무엇인가?

1.1.1 SW 시스템 관점에서 테스팅의 필요성

• SW 관점에서 테스팅
  • 비즈니스 어플리케이션에서 소비자 제품에 이르기까지 폭넓게 생활의 많은 부분에 사용 -> 비중은 계속 증가
  • 금전적인 손실, 시간 낭비, 비즈니스의 이미지 손상, 그리고 부상이나 사망에 이르기까지 다양하고 심각
  • 테스팅은 소프트웨어 시스템의 문제를 최소화하기 위해 필요

1.1.2 소프트웨어 결함의 원인

• 소프트웨어 결함
  • 오류(error) - 인간의 행위, 실수
    • 코드 작성, 소프트웨어나 시스템 또는 문서 작성시 결함을 만드는 오류
  • 결함(defect) - 요구된 기능의 부정확한 처리를 말하며 이것으로 인해 고장 또는 장애를 발생시키는 원인이 됨
    • 시간적인 압박, 복잡한 코드, 기반환경의 복잡성, 기술이나 시스템의 변경, 수많은 시스템 상호간의 연동
    • 결함은 장애의 원인
    • But, 모든 결함이 장애를 발생시키는 것은 아님
  • 장애(failure) - 코드에 존재하는 결함의 실행 또는 환경적 조건에 의해 부정확하게 처리되는 것을 의미함
    • 결함 + 환경적인(방사, 전자기장, 물리적 오염 등) 조건

1.1.3 SW 개발, 유지보수, 운영 시 테스팅의 역할

• 테스팅
  • 개발 초기의 요구사항 분석 단계부터 리뷰와 정적분석(문서 정도로 생각)을 통해 정적으로 시작 -> 각각의 개발단계에 대응하는 테스트 레벨별
  • 컴포넌트, 통합 테스팅은 개발 조직 중심으로 수행
  • 시스템이 갖춰진 이후의 테스팅은 독립적인 테스트 조직 중심
  • 테스트 레벨에 따른 테스트
    • 소프트웨어 품질을 높이고, 결함 발생 가능성을 최소화
  • 유지보수 활동으로 변경 및 단종되거나 가능성을 최소화
    • 변경된 환경에 대해 운영 테스팅(리그레션 테스팅)
    • 변경으로 인한 결함과 장애를 예방
  • 계약상 요구조건 및 산업에 특화된 표준 만족

1.1.4 테스팅과 품질

• 품질 특성 및 향상
  • ISO/IEC 9126 소프트웨어 제품 품질
    • 기능성, 신뢰성, 사용성, 효율성, 유지보수성, 이식성
  • 품질 향상 -> 테스팅이 결함을 찾아내고, 발견된 결함 수정
  • 품질 보증(Quality Assurance)
    
    • 이전 프로젝트를 통해 많은 테스트 경험과 정보 확보
    • 발견된 결함의 근본 원인 이해를 통해 프로세스 개선
    • 결함의 재발 방지
  • 개발 표준이나 교육 훈력 그리고 결함 분석

1.1.5 테스팅, 얼마나 해야 충분한가?

• 적절한 테스팅 정도
  • 리스크 수준을 고려
  • 프로젝트 제약 사항
    • 기술적인 내용
    • 비즈니스
    • 제품
    • 프로젝트 리스크
    • 시간
    • 비용
  • 테스팅은 테스트된 SW나 시스템을 다음 단계로 전달하는 데 있어 프로젝트 이해관계자들이 릴리즈 결정(출시)을 내릴 수 있도록 충분한 정보 제공 (맨날 유지보수할 수는 없자나...)