p값과 신뢰구간: 'p<0.05'가 무슨 뜻일까

p값은 '효과 없음' 가정 아래 관측 결과가 얼마나 드문지 보여주는 지표복수 평가변수·중간분석 따라 성공 문턱 달라져

사진=AI(챗GPT) 생성

제약·바이오 기업이 임상시험 탑라인(Top-line·주요 지표) 결과를 공시할 때마다 빠지지 않고 등장하는 숫자가 있다. 바로 'p값이 0.05 미만(p<0.05)으로 통계적 유의성을 확보했다'는 식의 문구다. 시장에서는 흔히 이를 두고 "신약 개발 성공 확률이 95%에 달한다"거나 "약효가 없을 확률이 5% 미만으로 입증됐다"는 뜻으로 받아들이곤 한다.

그러나 임상 통계와 규제과학의 문법은 다르다. p값이 0.05라는 사실이 신약 성공 확률 95%를 뜻하지는 않으며, '통계적으로 유의한 결과'라는 표현 역시 약효의 절대적인 크기나 환자가 체감하는 이득을 그대로 대변하지 않는다.

통계적 유의성은 약효를 입증하는 핵심 관문이지만, 그 자체가 곧바로 큰 치료 효과나 규제기관의 품목허가로 직결되지는 않는다. 약효의 크기와 지속기간, 환자가 감수해야 할 부작용 위험을 종합적으로 저울질해야 하기 때문이다. 또 여러 평가변수를 동시에 분석한 임상시험에서는 p값이 통상적인 기준인 0.05보다 작게 나왔더라도 당초 설정한 임상 성공 기준에 미달해 실패 판정을 받는 사례가 적지 않다.

<h2 class="middle-title">p값은 '약효가 없을 확률' 아냐
신약 투여군과 대조군(위약 또는 기존 표준치료군)의 차이를 비교하는 일반적인 임상시험은 우선 '두 치료군 사이에 실제 효과 차이가 없다'는 귀무가설을 세우는 것에서 출발한다. 여기서 p값이란 이 귀무가설과 통계 분석에 적용한 모형의 가정이 모두 맞다는 전제 아래, 실제로 관찰된 데이터만큼이나 혹은 그보다 더 극단적인 차이가 나타날 확률을 계산한 수치다.

가령 특정 신약 임상에서 p값이 0.03으로 산출됐다고 해보자. 이는 '실제 약효 차이가 없다'는 가설과 분석 가정이 모두 들어맞는 조건에서, 지금과 같거나 더 큰 차이가 나타날 가능성이 3%라는 의미다. 이를 두고 "약효가 없을 확률이 3%다"라거나 "관측된 약효가 우연일 확률이 3%에 불과하다"고 해석하면 전제 조건과 결론을 뒤바꾸는 오류에 빠지게 된다.

미국통계학회(ASA)가 2016년 발표한 공식 성명에서도 이 같은 오해를 다루고 있다. 당시 성명을 통해 ASA는 "p값은 연구 대상 가설이 참일 확률이나 데이터가 순전히 우연만으로 만들어졌을 확률을 측정하는 지표가 아니다"라고 못 박았다. 낮은 p값은 관측된 데이터가 '차이가 없다'고 설정한 통계 모형의 예측과 잘 들어맞지 않는다는 신호일 뿐, 약물의 성공 가능성을 직접 산출한 숫자가 아니라는 설명이다.

실무적으로는 'p값'과 '유의수준(알파·α)'도 구분해야 한다. 유의수준은 임상을 시작하기 전에 미리 못 박아두는 합격선이고, p값은 임상을 마친 뒤 수집된 환자 데이터에서 실제로 계산해 낸 결과값이다. 약물이 상태를 개선하는 방향과 악화시키는 방향을 모두 열어두고 살피는 양측 검정에서 유의수준을 0.05로 정했다는 것은, 실제로는 약효 차이가 없는데도 '차이가 있다'고 잘못 판정(제1종 오류·위양성)하는 비율을 장기적으로 5% 이하로 묶어두겠다는 품질 관리 기준을 뜻한다. 이미 유의하게 나온 개별 임상 결과가 틀렸을 확률을 5%로 확정했다는 의미가 아니다.

신뢰구간, 효과 추정 얼마나 정밀한지 보여줘

p값이 '차이의 유무'를 가리는 신호라면, 실제 약효가 얼마나 큰지는 별도의 지표로 확인해야 한다. 신약 투여 후 치료 반응률이 대조군보다 몇 %포인트(%p) 높아졌는지, 통증이나 증상 점수가 얼마나 개선됐는지 등을 나타내는 '효과 추정치(점추정치)'가 그 역할을 한다. 그리고 이러한 추정치에 뒤따르는 통계적 불확실성의 폭을 구간으로 제시한 것이 바로 신뢰구간(CI·Confidence Interval)이다.

이해를 돕기 위해 가상의 두 임상시험(A·B)에서 신약의 치료 반응률 개선 폭이 나란히 10%p로 집계됐다고 가정해 보자. A시험의 95% 신뢰구간은 '8~12%p'로 좁게 형성된 반면, B시험은 '1~19%p'로 넓게 벌어졌다면 두 시험이 보여주는 데이터의 무게감은 전혀 다르다. 평균적인 효과 추정치는 10%p로 동일하지만 추정의 정밀도에서 격차가 벌어지기 때문이다. A시험은 기대할 수 있는 약효의 범위를 10%p 안팎으로 좁혀낸 반면, B시험은 1%p라는 미미한 이득부터 19%p라는 큰 폭의 개선까지 불확실성 범위를 넓게 열어둔 상태다.

일반적으로 동일한 조건이라면 임상시험에 참여한 환자(표본) 수가 많을수록 추정의 정밀도가 높아져 신뢰구간이 좁아지는 경향을 보인다. 다만 환자 수만이 신뢰구간의 폭을 결정하는 유일한 변수는 아니다. 환자별 측정값의 변동성이 얼마나 큰지, 항암제 임상에서 질병 진행이나 사망처럼 분석의 기준이 되는 '사건(Event)'이 실제로 몇 건이나 발생했는지 등도 구간의 넓이에 직접적인 영향을 미친다. 물론 신뢰구간이 좁다고 해서 애초에 잘못 설계된 임상 디자인이나 측정 과정의 구조적 편향(Bias)까지 해결해 주는 것은 아니다.

흔히 쓰이는 '95% 신뢰구간'에서 95%라는 숫자가 함의하는 바도 주의 깊게 봐야 한다. 이는 분석 가정이 유효한 상태에서 동일한 방식으로 표본을 추출해 임상을 무수히 반복하고 그때마다 신뢰구간을 새로 계산할 경우, 그렇게 만들어진 수많은 구간 가운데 약 95%가 실제 약효(모수)를 포함하게 된다는 절차적 특성을 뜻한다. 임상 참여 환자의 95%가 해당 구간만큼 약효를 본다거나, 개별 환자가 겪는 치료 효과의 95%가 그 범위 안에 들어온다는 뜻이 결코 아니다.

공시나 논문에서 신뢰구간을 확인할 때는 '두 군 간 차이가 없음(귀무가설)'을 뜻하는 기준값이 어디에 위치하는지부터 살펴야 한다. 두 치료군의 평균 변화량이나 반응률의 차이를 뺄셈으로 비교할 때는 기준값이 '0'이지만, 항암제 임상에서 자주 쓰는 위험비(HR·Hazard Ratio)나 오즈비(OR)처럼 두 군의 위험도를 비율로 비교하는 지표에서는 기준값이 '1'이 된다. 동일한 통계 모형 아래 수행된 통상적인 양측 검정에서는 95% 신뢰구간이 이 기준값(0 또는 1)을 포함하지 않고 완전히 벗어나는 것이 곧 p값 0.05 미만과 수학적으로 맞물려 돌아간다.

통계적으로 유의해도 환자에게 중요한 이득인지는 별개

임상 규모가 수천 명 단위로 충분히 크고 측정 정밀도가 높다면, 실제 의료 현장에서는 체감하기 힘든 아주 미세한 약효 차이만으로도 p값은 얼마든지 0.05보다 작게 나올 수 있다. 서로 다른 임상시험에서 도출된 p값의 대소(大小)만 단순 비교해 어느 신약의 약효가 더 강력하다고 줄을 세울 수 없는 이유다. 결국 환자와 의료진에게 중요한 본질은 증상 완화나 생존 기간 연장이 실제 삶에서 체감할 만큼 개선됐는지, 그 약효가 얼마나 오래 유지되는지, 그리고 그 대가로 어떤 이상반응을 감수해야 하는지에 달려 있다.

앞서 살펴본 가상의 A·B 임상 사례에 '환자와 의료진이 임상적으로 의미 있다고 판단하는 최소한의 반응률 개선 폭(MCID)은 5%p'라는 기준선을 긋고 다시 비교해 보자. A시험의 95% 신뢰구간(8~12%p)은 구간 전체가 기준선인 5%p를 훌쩍 웃돈다. 반면 B시험의 신뢰구간(1~19%p)은 하단부가 5%p에 미치지 못하는 영역까지 걸쳐 있다. 두 임상 모두 '효과 없음(0%p)'을 배제해 통계적 유의성(p<0.05)은 확보했지만, 환자에게 실질적으로 의미 있는 수준의 약효를 보장하는지에서는 A시험이 훨씬 탄탄한 근거를 제공하는 셈이다.

반대로 p값이 0.05를 넘겨 통계적 유의성을 확보하지 못했다고 해서 곧바로 "이 약은 효과가 전혀 없다"는 결론이 자동으로 도출되는 것도 아니다. 희귀질환처럼 모집 가능한 환자 수가 적거나 생체지표의 측정 변동성이 지나치게 큰 시험에서는, 실제로는 의미 있는 약효가 존재하더라도 통계적으로 이를 명확히 가려낼 검정력(Power)이 부족할 수 있기 때문이다.

만약 도출된 신뢰구간이 임상적으로 의미 있는 약효 구간부터 오히려 위약보다 못한 손해 구간까지 넓게 걸치고 있다면, 이는 약효 유무를 단정하기에 데이터의 불확실성이 너무 크다는 뜻이다. 반면 두 군의 차이를 나타낸 신뢰구간이 기준값(0) 주변에 좁게 밀집해 있으면서 임상적으로 의미 있는 개선 폭을 아예 배제하고 있다면, 이는 환자 수를 더 늘리더라도 큰 치료 이득을 기대하기 어렵다는 강력한 근거가 된다. 아울러 기존 치료제와 효과가 대등함을 보이는 '동등성 시험'이나, 새 치료제가 기존 약보다 허용 한계 이상으로 뒤처지지 않음을 입증하는 '비열등성 시험'은 우월성을 입증하는 일반 임상과는 전혀 다른 사전 마진 기준과 분석 틀이 요구된다.

<h2 class="middle-title">p값 0.0122에도 고배 마신 'KEYNOTE-789'···성공 문턱 시험마다 달라
모든 임상시험에는 약효의 성패를 가르기 위해 사전에 정의한 평가변수(Endpoint)가 존재한다. 가장 핵심 목표인 1차 평가변수가 무엇인지, 투약 후 어느 시점에 어떤 환자 집단을 대상으로 분석할 것인지가 모든 임상 결과 해석의 출발점이다. 국제의약품규제조화위원회(ICH)의 임상시험 통계 원칙(ICH E9) 역시 주요 분석 방법을 임상시험계획서(프로토콜)에 미리 기재하고, 세부적인 통계분석계획(SAP)을 환자 눈가림(맹검) 해제 이전에 확정하도록 규정하고 있다.

만약 하나의 임상시험에서 여러 개의 평가변수나 환자 하위집단(Subgroup)을 수십 차례 반복해서 찔러보면 어떻게 될까. 실제로는 약효가 전혀 없더라도 순전히 우연에 의해 특정 지표에서 p값이 0.05 미만으로 튀어나올 가능성(제1종 오류)이 커진다. 이러한 '거짓 양성'의 함정을 통제하는 장치가 바로 다중검정(Multiplicity) 보정 절차다. 전체 유의수준(알파)을 여러 지표에 쪼개어 배분하거나, 사전에 정한 순서대로만 검정을 진행하는 계층적 검정 방식 등이 대표적이다. 임상이 진행되는 도중에 데이터를 열어보는 중간분석(Interim analysis)을 여러 번 수행할 때도 마찬가지다. 미국 식품의약국(FDA)이 2022년 10월 확정한 '임상시험 다중 평가변수 산업계 지침' 역시 사전 계획에 기반한 철저한 오류율 통제를 거듭 강조하고 있다.

2024년 국제학술지 임상종양학회지(JCO)에 최종 결과가 게재된 글로벌 폐암 임상 3상 'KEYNOTE-789'는 왜 p값만 단편적으로 읽어선 안 되는지를 보여주는 대표적인 사례다. 이 시험은 기존 상피세포성장인자수용체(EGFR) 표적항암제(TKI) 치료 후 내성이 생겨 병이 진행한 전이성 비편평 비소세포폐암 환자 492명을 대상으로, 페메트렉시드·백금 기반 화학요법에 면역항암제 '키트루다(성분명 펨브롤리주맙)'를 더한 병용군(245명)과 위약을 더한 대조군(247명)을 비교했다.

이 임상은 무진행생존기간(PFS)과 전체생존기간(OS) 두 가지 지표를 '복수(이중) 1차 평가변수(Dual primary endpoints)'로 설정했다. 두 지표 가운데 어느 하나만 통계적 유의성을 충족해도 임상 성공으로 인정받는 구조인 만큼, 전체 오류율을 관리하기 위해 유의수준을 나누고 수차례의 중간분석까지 반영해 합격선을 대폭 높였다. 그 결과 사전에 확정된 PFS와 OS의 단측 유의성 경계(합격선)는 통상적인 0.05나 0.025가 아닌 '0.0117'로 설정됐다.

최종 PFS 분석이 이뤄진 2차 중간분석 결과, 펨브롤리주맙 병용군의 질병 진행 또는 사망 위험비(HR)는 0.80, 95% 신뢰구간은 0.65~0.97로 집계됐다. 위험비가 1보다 낮았고, 다중검정 보정을 거치지 않은 명목상의 95% 신뢰구간 역시 기준값인 1을 포함하지 않았다. 약물이 개선되는 방향을 검정한 단측 p값도 0.0122로 꽤 낮게 나왔다.

하지만 사전 설정된 유의성 경계인 0.0117과 비교하면 불과 0.0005 차이로 문턱을 넘지 못했다. 실제 PFS 중앙값 역시 펨브롤리주맙 병용군이 5.6개월, 위약 병용군이 5.5개월로 격차가 0.1개월에 그쳤고, 최종 분석한 OS마저 중앙값 15.9개월 대 14.7개월(HR 0.84, 단측 p=0.0362)에 머물며 두 1차 지표를 모두 놓쳤다. 단측 p값 0.0122를 일반적인 양측 0.05 기준과 단순 비교하거나, 보정되지 않은 95% 신뢰구간이 1을 벗어났다는 이유만으로 "통계적 유의성을 확보했다"고 봐선 안 되는 이유가 여기에 있다.

검정의 우선순위(Hierarchy)도 간과할 수 없는 대목이다. 1차 평가변수에서 먼저 성공해야만 다음 2차 평가변수를 순차적으로 검정하도록 설계된 임상이라면, 1차 지표가 실패한 시점에서 공식적인 확증적 검정은 멈춘다. 설령 그 뒤에 놓인 하위 지표나 사후 분석(Post-hoc analysis)에서 p값이 0.001처럼 작게 나왔더라도, 이는 후속 연구를 설계하기 위한 탐색적 단서(가설 생성)가 될 뿐 당초 목표를 달성한 것과 같은 무게로 홍보하거나 라벨(허가사항)에 반영할 수 없다.

p값 0.049와 0.051이 사전 기준상 '성공'과 '실패'라는 정반대의 성적표를 받더라도, 약물의 생물학적 실체가 0.002라는 간발의 차이에서 갑자기 뒤바뀌는 것은 아니다. 규제적 판단을 위해 사전에 약속한 성공 기준을 엄격히 지키는 원칙과 실제 약효의 크기·추정의 정밀도·환자의 실질적 이득을 입체적으로 읽어내는 과학적 태도가 병행돼야 하는 이유다.

2025년 4월 미국의사협회지(JAMA)와 영국의학저널(BMJ), 란셋(The Lancet) 등 세계 주요 의학 학술지에 동시 발표되며 15년 만에 전면 개정된 무작위 임상시험 보고 지침 'CONSORT 2025' 역시 이러한 흐름을 반영하고 있다. 개정 지침은 임상 결과를 발표할 때 단순 p값 제시에 그치지 않고, 사전에 계획된 모든 1·2차 평가변수의 효과 추정치와 정밀도(신뢰구간 등), 그리고 이분형 결과의 경우 상대적 효과와 절대적 효과 크기를 빠짐없이 함께 보고하도록 권고한다.

론 워서스타인 미국통계학회(ASA) 사무총장은 2016년 p값 관련 공식 성명을 발표하며 "p값은 애초에 과학적 추론을 대신하도록 고안된 도구가 아니다"라고 강조했다. 신약 임상의 성패를 가르는 진짜 해답은 'p<0.05'라는 네 글자가 아니라, 그 숫자가 놓인 임상 설계의 맥락과 환자가 얻게 될 실질적 이익의 크기 속에 들어 있다.