1. 서 론
무인운전(Unattended Train Operation, UTO) 도시철도에서 역 정차와 출발은 통신기반열차제어(Communication-Based
Train Control, CBTC) 시스템의 자동열차운전(Automatic Train Operation, ATO) 기능이, 열차 간 안전은 CBTC의
자동열차방호(Automatic Train Protection, ATP) 기능과 연동장치가 담당하며, 운행편차는 자동열차감시장치(Automatic Train
Supervision, ATS)의 운행조정과 관제사의 운전정리로 대응한다[1]. 이 중 정차시간 조정은 이동권한과 진로를 바꾸지 않고 출발시각만 수~수십 초 바꾸어 앞·뒤 열차간격을 고르게 하는 가장 작은 단위의 운행조정 수단이다[2,
3]. 다만 한 열차의 정차시간을 바꾸면 그 열차의 이후 역 출발과 같은 승강장 후속 열차의 간격이 연쇄적으로 바뀌므로, 조정정책은 다열차 영향전파를
포함한 결과로 평가해야 한다.
이러한 정책은 현장 적용 전에 과거 운행기록으로 성능을 비교하는 후향 평가로 먼저 검토하는 것이 현실적이다. 그런데 과거 ATS 기록에는 판단시점
이후의 실제 출발도 남아 있어, 후속 열차의 실제 출발이나 판단시점 뒤 기록으로 계산한 목표시격을 정책 입력으로 쓰면 운용 시에는 알 수 없는 정보를
사용하게 되어 성능이 부풀려질 수 있다[4]. 따라서 각 판단시점에 이용할 수 있는 정보만 입력으로 쓰도록 시간경계를 정하고 그 준수 여부를 검사해야 하며, 제목의 판단시점 정보 제약은 이
시간경계를 뜻한다.
정차·주행시간 조정과 열차운행조정에는 강화학습·예측제어·최적화[5-
10]와 금지행동을 배제하는 차폐·행동마스킹·안전 강화학습[11-
13]이 적용되어 왔으나, 대부분 시뮬레이터나 최적화 모형에서 정책을 평가하여 과거 기록 기반 평가에서 판단시점 이후 정보가 입력에 섞이는 문제는 다루지
않았다.
본 연구는 인천도시철도 2호선의 ATS 기록으로 정차시간 조정정책을 판단시점 정보 제약 아래에서 후향 비교하는 평가절차를 제시한다. 사건(event)은
한 열차가 한 승강장에서 출발하는 1회의 출발이고, 사건재생(event replay)은 과거 ATS 출발 기록을 사건 순서대로 다시 처리하며 정책의
정차시간 조정을 반영해 이후 출발을 다시 계산하는 모의 방식이다. 평가 대상은 이례상황에서 장애 영향을 받지 않는 구간의 운행 지속을 돕는 관제지원의
하위 기능인 정차조정이며, 관제지원은 CBTC(ATO·ATP 포함)와 연동장치의 제어·방호 책임을 보존하는 권고로 한정한다. 평가사례는 실제 장애가
아니라 정상 영업일에서 운행편차가 가장 큰 구간이므로 장애복구나 관제화면의 현장효과는 검증하지 않는다.
본 연구의 기여는 PPO 정책의 성능 우위가 아니라 판단시점 정보 제약과 사건재생에 기반한 정책평가 절차에 있으며, 다음 세 가지이다. 첫째, 후속열차
출발예상과 목표시격 $H^{*}$(열차가 지향하는 출발간격) 산정을 판단시점까지의 ATS 기록으로 제한하고 그 준수 여부를 사건 단위로 검사하는 절차를
제시한다. 둘째, 같은 사건재생·허용행동 필터·평가지표 아래에서 무조정 기준(추가 정차시간 조정량을 항상 0초로 두는 비교기준), 앞열차 시격오차에
비례해 정차시간을 조정하는 비례규칙, 정차시간 조정을 학습하는 강화학습 알고리즘 PPO(Proximal Policy Optimization)[14]를 212일 중 5일 간격으로 뽑은 TEST 42일과 나머지 TRAIN 170일로 비교하여 시격오차와 지연·계획준수의 절충을 제시한다. 셋째, 누적
시간 이동 때문에 단계별 제약검사가 최종 출발의 조기출발을 막지 못하는 한계를 진단하고, 조기출발을 차단한 재평가로 주지표 결과가 유지되는지 확인한다.
2장은 문제와 검증질문, 3장은 평가절차, 4장은 212일 ATS 자료의 평가결과, 5장은 결론과 적용범위를 다룬다.
3. 제안방법
3.1 입력자료와 판단시점 정보경계
정책평가가 판단시점에 이용 가능한 정보만 쓰는지 확인하려면 먼저 각 입력의 출처와 사용 시점을 구분해야 한다. 표 1은 검증 평가 입력, 모형·인터페이스 상태와 향후 온라인 필요입력을 구분한다. 역별 기준 정차시간은 정차시간 설정 워크북 값을 사용하였고(ATO 차상
설정에서 직접 추출한 값인지는 확인하지 않음), 운영기관은 평일과 휴일에 같은 정차시간 설정을 쓰므로 휴일에도 같은 값을 적용하였다. 42개 TEST의
급전·잠금·진입제한은 비장애 기본상태였고, 현장 도착시각과 실시간 인터페이스는 향후 온라인 검증에 필요한 입력으로 현재 평가에 사용하지 않았다.
표 1 사건재생의 입력자료·모형설정과 사용처
Table 1 Input data, model settings, and their roles in event replay
|
Source / setting
|
Fields used
|
Processing / role
|
|
ATS record
|
ATS departures; service ID; retrospective replay reference
|
Nest and H*: departures ≤ decision time; own arrival: departure minus baseline dwell
|
|
Operating plan
|
Planned departure; day-type timetable
|
Delay; follower prediction; plan adherence
|
|
Dwell-setting workbook
|
Baseline dwell; permitted range; arrival reconstruction
|
Feasible-action test and retrospective arrival; holidays inherit weekday setting
|
|
Model / interface state
|
Power, track lock, access restriction
|
Action mask; TEST neutral; field-log validation not claimed
|
|
Future online input
|
Observed/predicted arrival; live control interfaces
|
Needed for HIL/deployment; outside current offline evaluation
|
그림 1은 입력·정책·사건재생·지표 산정의 흐름을 보인다. 후속열차 출발예상과 $H^{*}$에는 판단시점 뒤 실제 ATS 기록을 넣지 않는다. 반면 자기
열차 도착과 무조정 재생기준은 사후 관측 출발에서 구성하므로 이 입력을 별도로 표시하였다.
그림 1 입력자료부터 사건재생·다열차 영향전파까지의 전체 처리흐름
Fig. 1 End-to-end flow from inputs to event replay and multi-train propagation
PPO와 비례규칙은 같은 운행제약 필터를 사용한다. 현장 적용 시 ATS, CBTC(ATO·ATP 포함)와 연동장치의 책임을 유지하고 관제사 승인과
운영기관 절차에 연계하는 것이 설계 요구사항이다.
현재 평가 입력의 자기 열차 도착시각은 실측값 대신 실제출발시각에서 모형 기준정차시간(분리제약을 반영한 기준 출발·도착 간 차이)을 빼 산정한 사후
복원값이므로, 후속열차·$H^{*}$ 입력의 시간경계 검사를 통과해도 도착복원의 누출 가능성과 온라인 성능 불확실성은 남는다.
표 2는 관제지원 시스템의 입출력과 현재 확인된 범위를 구분한다. 본 연구가 구현·평가한 범위는 사건재생과 정책별 결과 산정이며, 관제화면·현장 승인·자동명령
인터페이스의 효과는 검증하지 않았다.
표 2 관제지원 시스템의 처리흐름과 현재 검증 범위
Table 2 Workflow and current validation scope of the operator-support system
|
Component
|
Input, output, and current validation scope
|
|
Target-headway calculation
|
Day type and ATS departures through decision time → H*(t); timestamp rule checked
offline
|
|
Feasible-action filter
|
Dwell range, no early departure, 10-s simulation separation, power/track lock → allowed
choices
|
|
Dwell policy
|
22-state input and six dwell-time adjustments → recommendation; 42-day offline evaluation
|
|
Train-flow replay
|
Selected adjustment propagates to later stations and following trains; ATS-record-based
replay model
|
|
Controller display
|
Decision time, H*, feasible choices, recommendation, predicted trade-offs, and blocking
reason; display not field-tested
|
|
Responsibility boundary
|
Controller approval and ATO execution required; movement authority, route and protection
remain with ATS, CBTC (incl. ATO/ATP) and interlocking
|
3.2 운행활동으로 계산한 목표시격
시격오차를 계산하려면 정차시간 조정이 지향할 열차간격이 먼저 정해져야 한다. 회차시간을 운행 편성수로 나누는 목표시격 형식은 CBTC 시격기반 조정에서도
사용된다[3]. 본 연구는 최근 ATS 운행활동으로 분모를 추정한다. 일유형 $d$의 회차시간 $T_{cycle}(d)$(평일 6,730초, 휴일 6,707초)과
판단시각 $t$ 직전 900초의 활동 편성수 $N_{est}(t)$로 $H^{*}(t)$를 식 (1)로 계산한다. $N_{est}$는 정책별 현재 판단시각까지 외부 ATS에 기록된 운행열만 세고 정책이 만든 출발은 다시 입력하지 않는다. $H^{*}$는
운영 목표이며 CBTC 최소안전시격이 아니다(그림 2). 본 논문에서 주로 쓰는 용어·기호와 그 정의는 표 3과 같다.
표 3 주요 용어·기호와 정의
Table 3 Key terms, notation, and definitions
|
Symbol / term
|
Definition
|
|
Event
|
One departure of one train from one platform
|
|
Headway h
|
Departure interval between two consecutive trains at the same platform
|
|
Target headway H*
|
Departure interval targeted by regulation (Eq. 1)
|
|
Headway error e*
|
Replayed minus target headway, h-H* (Eq. 4)
|
|
Nest
|
Number of distinct runs with a departure in the recent 900-s window
|
|
d0, d
|
No-adjustment reference departure and replayed departure under the policy
|
|
S, u
|
Cumulative departure shift of a run and additional dwell-time adjustment at the current
event
|
|
Hc
|
Retrospective common target headway for comparing policies
|
|
No-adjustment baseline
|
Baseline that sets every additional dwell-time adjustment to 0 s
|
|
Proportional rule
|
Rule adjusting dwell time in proportion to the headway error to the preceding train
|
|
PPO
|
Proximal policy optimization; the RL algorithm that learns the dwell-adjustment policy
|
|
Seed
|
Random initial value that sets network initialization and training-sample order
|
|
P95
|
95th percentile of a distribution
|
이 목표시격의 운영적 근거는 실제로 순환 중인 편성수에 있다. 열차는 운행계획에 따라 운행하고, 관제사는 이를 감시·통제하며 계획과 어긋나면 운전정리를
시행한다. 그러나 운행 편성수는 차량 입출고로 하루 중에도 바뀌고 고장·운휴 등으로 계획과 달라질 수 있다. 모든 편성이 같은 순환경로를 돈다면 순환
중인 편성들이 고르게 떨어져 있을 때의 열차간격은 회차시간을 그 편성수로 나눈 값이며, $H^{*}$는 이 값을 정차시간 권고의 기준으로 쓸 뿐 관제사의
운전정리를 대신하지 않는다. 분모에 계획 편성수 $N_{plan}$ 대신 $N_{est}$를 쓰는 것은 입고되었거나 장시간 정지하여 순환에 참여하지
않는 편성을 제외하기 위해서이다. 정상 운행 중인 편성은 역간 주행과 정차를 반복하며 출발을 기록하는데, TEST 무조정 재생에서 같은 편성의 연속
출발 간격은 중앙값 121초, 최대 578초로 모두 900초 이내였다. 따라서 최근 900초 동안 출발 기록이 없는 편성은 순환에서 빠진 것으로 본다.
이 정의에 따라 $H^{*}$는 모든 편성이 같은 회차경로를 도는 단일 노선의 운행에 적용되며, 전 구간 동시 정지처럼 출발 기록이 끊기는 상황에서는
$N_{est}$가 운행 편성수를 대표하지 못한다.
그림 2 목표시격 산정과 운행제약을 반영한 정차조정 구조
Fig. 2 Target-headway calculation and constraint-filtered dwell regulation
식 (2)의 $R(t)$는 최근 900초 $(t-900, t]$에 본선 출발을 남긴 운행열의 집합이고, $N_{est}$는 이 집합의 고유 운행열 수이다.
$N_{est}=0$이면 $H^{*}$를 계산할 수 없으므로 권고를 중단하고 관제사 판단으로 전환해야 한다. $N_{est}/N_{plan}$이 운영기관이
정한 최소기준보다 작은 경우도 같은 절차가 필요하지만, 그 기준값은 본 자료에서 검증하지 않았다. 정차시간 조정 성능은 식 (3)의 출발시격 $h$와 식 (4)의 목표시격 오차 $e^{*}$로 평가한다.
3.3 운행제약과 행동마스킹
학습 정책이 운영상 허용되지 않는 조정을 권고하지 않도록, 정책이 선택하기 전에 금지된 조정안을 제거한다. 상위 운행제약 검사는 계획정차 대비 허용범위,
추가 조기출발 제한, 동일 승강장 최소분리, 단전·선로진입 잠금을 확인하여 금지된 정차시간 조정안을 제거한다. 진로경합과 이동권한 보호는 연동장치와
차상 열차자동방호의 소관이며 본 모형이 대신하지 않는다.
상태 $s$에서 허용 조정안의 집합을 $A(s)$라 하면, 식 (5)의 허용행동 필터(행동마스크)는 집합 밖 조정안에 선택확률을 배분하지 않는다.
허용 조정안의 집합 $A(s)$가 비면 실제 시스템은 권고를 중단하고 상태를 유지한 채 관제사 판단으로 전환해야 한다. 본 평가에서는 기준 정차시간
유지안(0초)을 항상 포함하므로 이 전환을 시험하지 않았다.
각 판단시점의 기준상태 제약 불일치는 추가 행동 위반과 별도로 센다. 기준 정차시간이 허용범위 밖이면 0초 유지만 허용하고, 누적 이동량·최소분리를
반영한 기준 출발이 이미 계획보다 이르면 이를 더 앞당기는 조정을 차단한다. 따라서 표 2의 정차·조기출발 제약은 이 기준상태 예외를 포함한 추가 조정의 검사이다.
역별 정차범위는 정차시간 설정 워크북과 계획정차를 사용하였고(표 1), 최소분리 10초는 차상·지상 보호논리를 대체하지 않는 시뮬레이터 하한이다.
가용편성 투입·부분운행·제한속도 운전은 상위 운전정리 기능이며 본 평가에서 제외하였다. 정차시간 조정정책은 이를 결정하거나 기존 이동권한·진로·급전잠금을
우회하지 않고, 허용범위의 대안만 제시한다.
3.4 정차조정 정책과 PPO 구조
정차조정 정책은 각 판단에서 상태를 입력받아 허용된 조정 후보 중 하나를 선택한다. 학습 알고리즘으로는 정책 갱신 폭을 제한하는 목적함수로 학습이
안정적이고 이산 행동에 행동마스크를 적용하기 쉬운 PPO를 사용하였다[10,
14]. 정책 입력은 22개 상태와 6개 조정후보의 허용 여부(행동마스크)를 합한 28차원이다. 상태는 앞·뒤 목표시격오차/180, 부호를 보존한 지연/300,
계획·기준정차/60, 사건진행률, 장애상태, 경과시간/1,800(-0.5~2 절단), 단계/6, 속도/80 km/h, 급전·구간잠금·선로진입·영향승강장
외부 여부, 창 내 처리율·60초 계획준수율, 비상대기열차 관련 5개 상태, 기준점 상대역위치/26(-1~1 절단)이다. 비상대기열차 관련 상태(투입
운행열 여부, 오류·서해구청·운연 3차원 자원 식별 벡터, 후보 수 3으로 나눈 투입누계)는 본 실험에서 투입이 없어 모두 0이었으나, 비상대기열차
투입을 포함하는 상위 정책과 입력형식을 맞추기 위해 유지하였다. 신경망의 추가 입력정규화는 없었다. 조정후보는 {-20, -10, 0, +10, +20,
+30}초이며 0초는 기준 정차시간을 유지하는 선택이다. 조기출발·최소분리·급전·잠금 조건이 허용집합을 제한한다. 음의 조정은 계획정차·조기출발 금지조건에
더 자주 걸리므로 허용집합은 비대칭이다.
Actor는 상태 22→FC64-ReLU-FC64-ReLU-행동로짓6(6,022개 파라미터)이고, 마스크 6개의 금지 로짓에 $-10^{9}$을 더한
뒤 softmax를 적용하였다. Critic은 상태22+마스크6→FC64-ReLU-FC64-ReLU-가치1의 28차원 구조이다(6,081개 파라미터).
그림 3은 이 구조를 보인다. PPO 갱신은 TRAIN에만 수행하고, 42일 TEST에서는 고정된 정책으로 추론하며 가중치를 갱신하지 않는다.
그림 3 TRAIN 갱신과 동결 TEST 추론을 구분한 PPO 내부 구조
Fig. 3 PPO architecture separating TRAIN updates from frozen TEST inference
식 (6)은 단계별 보상이다. $\Delta E_{n,t}=\Delta E_{t}/180$과 $\Delta D_{n,t}=\Delta D_{t}/300$은
단계 $t$에서 앞·뒤 목표시격 오차 절댓값 합과 양의 지연의 정규화 개선분이다. $\Delta S_{t} \in \{-1,0,+1\}$는 영향승강장
밖 출발의 30분 평가창 내 처리 여부 변화이며, 평가창 안으로 들어오면 +1, 밖으로 밀리면 -1이 된다. $U_{n,t}=|u_{t}|/30$은
정규화한 정차시간 조정량이고, $v_{t}$와 $q_{t}$는 실행제약 위반과 허용후보 밖 지시자이다. 총보상은 $R=\sum_{t} r_{t} +
2.0C_{T}$이며, $C_{T}=N_{delivered,T}/\max(N_{scheduled,T},1)$는 종료 시 영향승강장 밖 출발의 30분
내 처리율이다. 계획준수 가중치는 0으로 고정하고 결과지표로만 평가하였다.
보상 설계와 성능 평가는 목적이 다르므로 구분한다. 보상은 식 (6)의 학습신호이고, 성능은 4.3절의 다지표, 즉 날짜별 P95 $|e^{*}|$(주지표), P95·P99 지연, 계획준수율, 대기시간 추정치, 장시간
공백, 30분 내 처리율로 평가한다. 계획준수는 상태에는 포함하되 보상가중치가 0이므로 학습이 이를 직접 개선하도록 유도되지 않으며, 4.3절에서
PPO가 P95 $|e^{*}|$를 줄이면서 계획준수율이 1.36%p 낮았던 것은 이 설계와 정합한다. 보상 항목과 평가지표의 대응은 표 4에 정리하였다.
표 4 보상 항목과 평가지표의 관계
Table 4 Relationship between reward terms and evaluation metrics
|
Item
|
Role in training and evaluation
|
|
Headway error
|
Stepwise front/rear error reduction is rewarded; the main metric, daily P95, is not
optimized directly
|
|
Delay
|
Stepwise reduction of positive delay is rewarded; results are evaluated by P95 and
P99
|
|
Plan adherence
|
Included in the state with zero reward weight; evaluated only as an outcome metric
|
|
Passenger-wait proxy
|
Not part of the reward; evaluated only as an outcome metric
|
비교정책은 정차시간 무조정 기준, 고정 이득 $K$ 비례규칙, TRAIN 선택 비례규칙이다. 무조정 기준은 모든 판단에서 추가 정차시간 조정량 $u$를
0초로 둔다. 고정 $K=0.20 \sim 1.00$은 TEST 민감도이며 선택정책이 아니다. TRAIN 선택 규칙은 $K \in \{0.2,0.4,0.6\}$,
앞열차 시격오차의 절댓값이 기준 이하면 조정하지 않는 시격오차 무조정구간(deadband) $\in \{0,30,60,90\}$초, 양의 조정 지연상한
$\in \{60,120,\infty\}$초의 36개 후보를 TRAIN에서만 평가해 TEST 전에 $K=0.4$, 시격오차 무조정구간=90초, 지연상한=60초로
고정하였다.
비례규칙의 조정량은 다음과 같이 계산한다. 먼저 앞열차 목표시격 오차 $e^{*}$에 비례한 연속 조정량 $u_{raw}=-K \cdot e^{*}$를
구한다. $|e^{*}|$가 시격오차 무조정구간 $b$ 이하이면 $u_{raw}=0$으로 두고, $u_{raw}$가 양(정차 연장)이면서 현재 지연이
지연상한 $c$ 이상이면 지연 확대를 피하기 위해 $u_{raw}=0$으로 둔다. 마지막으로 허용집합 $A(s)$에 속한 이산 후보 {-20, -10,
0, +10, +20, +30}초 가운데 $u_{raw}$에 가장 가까운 값을 선택한다. 즉 연속 조정량을 최근접 이산 후보로 반올림하되 범위를 벗어나면
최근접 경계로 포화시키고 마스크에 걸린 후보는 제외하며, TRAIN에서 선택한 값은 $K=0.4$, $b=90$초, $c=60$초이다.
3.5 판단시점 사건재생과 다열차 전파
정차시간 조정의 효과는 같은 열차의 이후 역과 후속 열차로 전파되므로, 정책을 비교하려면 이 전파를 포함해 과거 운행을 다시 계산하는 사건재생이 필요하다.
MATLAB R2026a Update 4와 Reinforcement Learning Toolbox 26.1로 출발사건 단위 재생모형을 구현하였다.
미래 실제출발 순서를 처리순서로 고정하지 않도록 후보는 계획출발시각·참조행 순으로 초기 정렬하고, 처리대상은 매 단계에서 산정 도착시각에 누적 이동량을
더해 다시 선택하였다. 조정은 같은 운행열의 이후 역에 누적되고, 바뀐 직전 출발은 후속 열차 시격에 반영된다.
각 단계에서는 산정 도착시각에 누적 이동량을 더한 값이 가장 이른 미처리 사건을 다음 판단대상으로 정한다. 후속 열차 출발은 계획출발에 판단 직전
누적 이동량을 더해 예상하고, $H^{*}$는 바뀐 판단시각까지 기록된 외부 ATS 출발만 최근 900초 창에 포함한다.
무조정 참조출발 $d^{0}$, 누적 이동량 $S$, 현재 조정 $u$, 같은 승강장의 직전 재생출발 $d_{last}$와 최소분리 $\delta_{\min}=10$초를
쓰면 현재 출발 갱신은 식 (7)과 같다.
식 (8)은 현재 재생출발 $d^{\pi}$와 무조정 참조출발 $d^{0}$의 차이로 해당 운행열의 누적 이동량 $S$를 갱신한다. 이 값은 같은 운행열의
이후 역 출발에 전달되고, 갱신된 승강장 직전 출발은 후속 열차의 상태와 선택을 바꾼다. 처리순서는 매 단계에서 바뀐 도착시각을 기준으로 다시 정한다.
각 사건에서 허용 조정안을 구한 뒤 정차시간을 한 번 조정한다. 후속 상태는 계획출발과 누적 이동량, $H^{*}$는 판단시각까지의 외부 ATS 기록만
사용한다. 이는 자유주행 디지털트윈이나 현장 비개입 시험이 아니라 과거 ATS 기록으로 구성한 사건재생이다.
이 전파 가정은 조정 이후 같은 열차의 역간 주행시간과 기준 정차가 ATS 기록과 같다고 보는 것이다. 즉 ATO의 회복운전이나 정차 단축으로 이동량이
줄어드는 효과와 이동권한·신호에 의한 열차 간 간섭은 모형화하지 않고, 열차 간 상호작용은 같은 승강장의 최소분리 10초로만 반영한다. 따라서 이
사건재생은 조정량이 작고 열차간격이 최소분리보다 충분히 긴 조건에서의 1차 근사이다. 본 평가에서 PPO 재생 출발의 93.8%는 ATS 실적과 같았고
누적 이동량의 99백분위수는 30초(최대 510초)였으며, 재생 출발의 승강장 앞열차 간격은 최소 81초여서 최소분리 조건이 출발을 늦춘 경우는 없었다.
무조정 재생은 TEST 42일의 17,474개 출발을 모두 ATS 실적과 0초 차이로 재현하였고 승강장별 출발순서도 모두 같았다. 다만 도착시각을
실제출발에서 기준정차를 빼 복원했으므로 이 일치는 구성상 기대되는 결과이며, 재생 절차가 기준 궤적을 바꾸지 않는다는 정합성 점검일 뿐 도착시각의
독립 검증은 아니다.
관측특징의 도착시각 오차는 4.8절에서 시험하되, 사후 도착복원에 따른 물리 사건순서·실행가능성의 불확실성은 평가하지 않았다. 현장 도착기록 또는
과거 정보만 사용하는 도착예측으로 별도 검증해야 한다.
3.6 정책평가 지표
정책의 효과를 시격 하나로 판단하지 않도록 주지표와 보조지표를 다음과 같이 정의한다. $i$는 승강장, $k$는 출발순번, $d$는 출발시각이다.
주지표는 30분 평가창의 처리 출발집합 $I$에서 구한 $|e^{*}|$의 95백분위수이다. 지연은 같은 $I$에서 $\max(0, d-d_{plan})$의
P95·P99를 사용한다. 30분 내 처리율과 60초 운행계획 준수율만 영향승강장 외 집합 $O$에서 계산하며, 시격오차와 지연은 $I$ 전체를 사용한다.
장시간 공백과 대기시간 추정치는 전후 완충구간을 포함한 전체 추적행에서 계산한다. 승강장별 계획출발 순으로 정렬한 뒤 60~900초 범위의 계획 인접시격
중앙값 $H_{plan,med}$의 두 배를 넘는 재생시격을 장시간 공백으로 센다. 대기시간 추정치는 모든 승강장과 시격에 동일하고 일정한 승객 도착률을
가정한다. 길이 $h$인 시격의 조건부 평균대기 $h/2$를 해당 시격의 도착비중 $h/\sum h$로 가중하면 $\sum h^{2} / (2\sum
h)$를 얻으며, 유한 양수 재생시격에 대해 분모를 $\max(2\sum h, \varepsilon)$로 보호해 계산한다. 이는 실제 승객도착·미탑승·환승을
측정한 값이 아니다. 정차시간 조정량은 전체 판단에서 $\text{mean}(|u|)$로 계산한다.
4. 실험 및 정량적 검증
4.1 ATS 자료구성과 목표시격 대조
평가결과를 해석하려면 먼저 입력자료의 품질과 평가사례의 구성을 확인해야 한다. 2026년 1~7월 212일의 ATS 원자료 2,490,073행에서
차량기지·측선 등 비본선 71,083행을 제외하여 본선 출발사건 2,418,990건을 얻었다. 이 중 2,416,247건을 평일·휴일 운행계획과 ±120초
범위에서 일대일로 직접 매칭하여 99.8866%의 매칭률을 확인하였다. 평일은 99.9286%, 휴일은 99.7777%였고 휴일에 평일표를 잘못 적용하면
75.8415%로 낮아져 일유형 구분의 필요성이 확인되었다.
각 ATS 영업일(별도 관측 보조사례인 2026년 4월 24일 제외)에서 일유형 운행계획과 직접 매칭된 본선 출발마다 $s=\max(0, \text{실제
출발지연}) + 0.5 \times \max(0, |\text{실제시격}-\text{계획시격}|)$를 계산하고, $s$가 최대인 행(동점은 입력순
첫 행)의 계획출발시각과 승강장을 기준점으로 정하였다. 재생 후보는 기준시각 120초 전부터 30분 평가창 종료 900초 후까지의 매칭 본선 출발을
계획출발시각·원자료 행 순으로 정렬해 최대 700건 사용하였다. 2026년 4월 24일 관측 보조사례와 합성 보조사례 10개는 TRAIN에만 포함하였다.
42개 TEST는 실제 장애 42건이 아니라 ATS 영업일별 기록에서 구성한 단일승강장 평가사례이다. 따라서 TEST 사례는 각 영업일에서 운행편차가
가장 큰 구간을 중심으로 구성되었으며, 4.3절 이후의 결과는 평상 운행 전체의 평균효과가 아니라 영업일별 최대 편차 구간에서의 효과로 해석해야 한다.
분석 카탈로그는 ATS 영업일 212개와 TRAIN 전용 합성 보조사례 10개, 총 222개 에피소드이다. TEST 42일 가운데 평가구간 동안 $N_{est}$가
바뀌지 않아 $H^{*}$가 한 값으로 유지된 날은 17일, 바뀐 날은 25일이었다.
그림 4 목표시격 H*(t)의 시간가변성: 활동 편성수 감소에 따른 갱신 (2026년 3월 31일)
Fig. 4 Time-varying target headway H*(t) updated as the activity-based train count
decreases (31 March 2026)
그림 4는 외부 ATS 출발이력에 따라 활동 편성수 $N_{est}$와 목표시격 $H^{*}$가 갱신되는 예를 보이며, 정책효과의 독립 검증자료로 사용하지
않는다. 관측창 $W=900$초는 분석 전에 고정하였다. $W$가 짧으면 회차나 긴 정차 중인 편성이 누락되어 $N_{est}$가 줄고, 길면 이미
입고되었거나 운행을 멈춘 편성이 남아 편성수 변화가 늦게 반영된다. 실제출발시각에서 기준정차시간을 빼 산정한 도착시각 88,597개에서 $N_{est}=0$은
$W=300$초에서 18건, 600초에서 17건이었으나 900초, 1,200초, 1,800초에서는 0건이었다. 따라서 900초는 시험 후보 중 모든
판단에서 $H^{*}$가 계산되는 가장 짧은 창이라는 기준으로 정한 값이다. 관측창 길이에 따른 정책 성능의 민감도 분석은 수행하지 않았으므로, 이
값은 현장 최적값이나 정책 성능의 최적값을 뜻하지 않는다.
운행계획은 분석 기간에 적용된 열차운행시각표(2024년 10월 18일 기준)의 평일 12,540행과 휴일 9,966행을 사용하였다. 각 ATS 날짜에는
같은 승강장·120초 일대일 직접매칭 수가 더 큰 일유형을 적용하고, 동률일 때만 달력상 주말 여부를 사용하였다. $N_{plan}(t)$는 적용한
일유형 계획의 기지별 입·출고시각으로 산정하였다. 일유형별 한 계획표를 2026년 212일에 공통 적용하여 임시 운행계획을 날짜별로 별도 매칭하지
못한 점은 한계이다.
정책평가와 별도의 일유형 대조분석은 ATS TrainID 기반 $N_{est}$와 $N_{plan}$을 212일 60초 격자 245,763점에서 비교하였다.
편성수 차이 $N_{est}(t)-N_{plan}(t)$의 중앙값은 0편성, 절댓값의 P95는 3편성, ±2편성 이내 비율은 91.5%였다(평일 88.4%,
휴일 97.7%).
이 대조분석의 ATS TrainID 기반 $N_{est}$는 정책에서 사용한 매칭 SimBlockID 기반 $H^{*}$와 집계키가 달라 직접검증이
아닌 보조확인이다. 또한 계획된 저공급과 비정상 공급감소를 스스로 구분하지 못한다. 따라서 현장 적용에는 $N_{est}/N_{plan}$과 상황원인을
함께 확인해야 한다.
4.2 TRAIN/TEST 분리, 학습 및 평가설계
212일은 연중일(day-of-year)을 5로 나눈 나머지가 0이면 TEST, 아니면 TRAIN으로 정하고, 2026년 4월 24일 관측 보조사례는
TRAIN에 고정하여 TRAIN 170일과 TEST 42일로 분리하였다. TRAIN-TEST 날짜·사례 식별자 중복과 TEST 학습사용은 모두 0건이며,
합성 보조사례 10개는 TRAIN에만 사용하였다. 이 분할은 약 20%를 평가용으로 보류하는 5일 간격 계통표집이며, 5일 간격이 7일 주기와 겹치지
않아 TEST가 요일별 6일씩(평일 30일, 주말 12일), 1~7월 각 5~7일로 고르게 분포한다. 따라서 TEST는 2026년 1~7월 같은 기간
분포에서 보류한 영업일을 평가하며, 미래 기간 일반화를 검증하는 시간순 분할은 아니다.
PPO[14] 설정은 horizon 128, minibatch 64, epoch 3, $\gamma=0.99$, GAE=0.95, clip=0.2, entropy=0.01,
NormalizedAdvantageMethod='current', Adam 학습률 Actor $3 \times 10^{-4}$·Critic $1 \times
10^{-3}$, gradient threshold 1(l2norm), L2=$10^{-4}$이다. 시드는 신경망 가중치 초기화와 학습 경험의 표집
순서를 정하는 난수 초깃값으로, 같은 설정의 강화학습도 시드에 따라 결과가 달라진다[28]. 이에 시드 741+111m ($m=0,\dots,14$)의 15개 정책을 독립 초기화하여 모두 평가하고 시드 간 변동을 신뢰구간에 반영하였으며,
시드 수는 학습 계산량 안에서 정했고 시드 수에 대한 검정력 분석은 하지 않았다. 각 정책은 TRAIN 180개 에피소드(실자료 170일+합성 10개)를
세 번씩 사용하도록 540에피소드를 학습하였다. 총 에이전트 스텝은 3,461,895회이다. 학습은 수렴판정이 아니라 540에피소드 고정기준으로 종료했으며,
다른 학습 알고리즘과 보상가중치 절제실험은 수행하지 않았다.
주효과는 15개 시드의 날짜별 평균을 먼저 구한 뒤 두 정책의 TEST 42일을 같은 순서로 20,000회 재표집한 양측 백분위 부트스트랩으로 계산하였다.
날짜와 전역 시드를 함께 5,000회 재표집한 분석은 시드 변동을 포함한 민감도 분석이다. 작을수록 좋은 지표의 효과는 100(무조정 기준 평균-정책
평균)/|무조정 기준 평균|, 비율지표는 정책 평균-무조정 기준 평균의 %p로 표시하였다. 각 에피소드의 P95·P99는 MATLAB R2026a
prctile의 기본 midpoint 방식으로 계산하였다.
모형상 실행 제약 위반은 성능과 상쇄하지 않는 별도 통과조건이며, 보조지표의 신뢰구간은 다중비교 보정 전 탐색값이다. 운영상 의미 있는 최소 개선폭은
사전에 정하지 않았으므로 통계적 유의성이 곧 운영적 유의성을 뜻하지는 않는다.
TRAIN 선택 비례규칙은 36개 후보×170일=6,120회 평가하였다. 평균 P95 시격오차가 최솟값의 1표준오차 이내인 후보를 남기고 평균 정차시간
조정량이 가장 작은 후보를 골랐으며, 동률은 P95 지연·계획준수·파라미터 순으로 해소하였다. 최종값은 $K=0.4$, 시격오차 무조정구간=90초,
지연상한=60초이다.
4.3 무조정 기준 대비 PPO 결과
2.2절의 둘째·셋째 검증질문에 답하기 위해 무조정 기준 대비 PPO의 결과를 먼저 제시한다(표 5). ATS 실적기록에는 해당 시점에 관제사가 실제로 시행한 운전정리가 이미 반영되어 있으므로, 이 기준은 관제 무개입 상태가 아니라 기록된 운영을
기준으로 정차시간 조정을 추가했을 때의 모형상 증분 변화를 비교하는 조건이며, 무조정 기준·규칙·PPO에 동일하게 적용된다.
표 5 후향 사건재생에서 무조정 기준 대비 PPO의 42일 TEST 결과 (95% CI)
Table 5 PPO versus the no-adjustment baseline in retrospective event replay (42 TEST
days)
|
Metric
|
Baseline
|
PPO
|
Effect (+ = favorable) [95% CI]
|
|
P95 |e*| (s)
|
230.437
|
226.413
|
+1.75% [+0.57, +3.00]
|
|
P95 delay (s)
|
100.685
|
109.475
|
-8.73% [-21.69, -2.67]
|
|
P99 delay (s)
|
135.394
|
146.669
|
-8.33% [-17.78, -2.89]
|
|
Long gaps (count/case)
|
0.7143
|
0.7397
|
-3.56% [-38.10, +3.59]
|
|
Passenger-wait proxy (s)
|
187.254
|
190.285
|
-1.62% [-2.66, -0.65]
|
|
Processed 30 min (%)
|
98.226
|
98.065
|
-0.16%p [-0.31, -0.03]
|
|
Plan adherence (%)
|
91.918
|
90.558
|
-1.36%p [-2.39, -0.54]
|
TEST 42일·15시드 평균에서 PPO의 P95 $|e^{*}|$는 230.437초에서 226.413초로 4.02초 감소하여 +1.75%였다(날짜
부트스트랩 95% CI +0.57~+3.00%). 날짜·시드 동시 재표집 5,000회의 부트스트랩은 +1.75% [95% CI +0.38~+3.42%]였다.
반면 P95 지연은 100.685→109.475초(+8.79초, 효과 -8.73%), 60초 운행계획 준수율은 91.918→90.558%(-1.36%p),
대기시간 추정치는 187.254→190.285초(-1.62%)로 악화되었다. 장시간 공백은 사례당 0.7143건에서 0.7397건으로 0.0254건
증가했다(표 5). 여섯 보조지표의 점추정은 모두 PPO에 불리했고 기준상태 대비 추가 제약 위반은 0건이었다.
표 5의 효과는 반올림 전 날짜평균으로 계산했으며, 주지표 개선만으로 종합 운행편익을 주장하지 않는다. 또한 TEST가 영업일별 최대 편차 구간이므로,
편차가 작은 평상 구간의 효과는 이보다 작을 수 있다.
4.4 TRAIN 선택 비례규칙과의 비교
학습정책의 이점이 단순한 규칙으로도 얻어지는지 확인하기 위해 TRAIN에서 선택한 비례규칙과 비교한다. 표 6은 동일 TEST 날짜의 15시드 PPO 평균과 TRAIN에서 선택·고정한 비례규칙을 대응 비교한다. Δ는 PPO-규칙이다.
표 6 PPO와 TRAIN 선택 규칙의 날짜대응 비교 (95% CI)
Table 6 PPO versus the TRAIN-selected rule by date
|
Metric
|
PPO
|
TRAIN rule
|
Δ=PPO-rule [95% CI]
|
|
P95 |e*| (s)
|
226.413
|
230.817
|
-4.40 [-10.93, +1.41]
|
|
P95 delay (s)
|
109.475
|
107.661
|
+1.81 [-3.36, +7.67]
|
|
P99 delay (s)
|
146.669
|
140.602
|
+6.07 [+0.78, +12.57]
|
|
Long gaps (count/case)
|
0.7397
|
0.7619
|
-0.02 [-0.06, 0.00]
|
|
Passenger-wait proxy (s)
|
190.285
|
189.153
|
+1.13 [-0.24, +2.97]
|
|
Processed ≤30 min (%)
|
98.065
|
97.964
|
+0.10 [-0.07, +0.27]
|
|
Plan adherence (%)
|
90.558
|
86.911
|
+3.65 [+1.89, +5.65]
|
|
Mean |dwell-time adjustment| (s)
|
0.839
|
1.103
|
-0.26 [-0.46, -0.09]
|
PPO-규칙의 P95 $|e^{*}|$ 차이는 -4.40초 [95% CI -10.93~+1.41]로 0을 포함하여 PPO 우월성이 확인되지 않았다.
P95 지연 차이도 +1.81초 [-3.36~+7.67]로 방향이 확정되지 않았다. TRAIN 선택 규칙을 무조정 기준과 직접 비교한 P95 $|e^{*}|$
효과도 -0.16% [-2.54~+2.37]로 0을 포함했고, 60초 운행계획 준수율은 5.01%p 낮았다[-7.95~-2.47]. 따라서 정책은
목표시격 오차·지연·운행계획 준수·정차시간 조정량을 함께 비교해 선택해야 한다.
규칙 대비 우월성이 확인되지 않았음에도 학습정책을 함께 평가한 이유는 확장 가능성이다. 비례규칙은 단일 시격오차에 대한 비례형 대응과 고정 이득·임계값으로
구성되어, 목표나 상태를 늘리면 이를 다시 조정해야 한다. PPO는 22개 상태와 시격·지연·처리율·조정량을 하나의 보상구조에서 다루고, 같은 Actor-Critic
틀에서 비선형 대응과 입력상태 확장이 가능하다. 다만 이 잠재력은 본 자료에서 규칙 대비 성능 우위로 확인되지 않았으며, 확장 조건은 시험하지 않았다.
추가 사후 민감도 분석에서는 36개 후보 중 TRAIN 평균 P95 시격오차가 최소인 규칙($K=0.6$, 시격오차 무조정구간 0초, 지연상한 60초)과
비교하였다. PPO-규칙의 P95 $|e^{*}|$ 차이는 -0.66초 [95% CI -8.59~+6.28]로 확정되지 않았다. PPO-규칙 차이는
P95 지연 -14.22초[-24.39~-1.04], 평균 정차시간 조정량 -1.48초 [-1.97~-0.96], 60초 계획준수율 +10.29%p[6.87~14.10]였다.
이는 시격 하나로 규칙을 고르면 다른 지표의 절충이 달라질 수 있음을 보여준다. 이 사후 분석은 날짜와 시드를 함께 20,000회 재표집하였다.
4.5 정차시간 조정의 다열차 영향전파와 적용한계
정차시간 조정이 다열차로 전파되는 과정을 구체적으로 보이기 위해 대표사례를 분석한다(그림 5). 사례는 시드별 42일 평균 TEST 개선률의 중앙값에 가장 가까운 시드(동률은 작은 시드)에서, 정차시간이 실제로 조정되고 모형상 추가 제약
위반이 없으며 $H^{*}$가 한 값으로 유지된 날을 우선 후보로 하여 골랐다. 이 조건을 모두 만족하는 날이 없어 앞의 두 조건을 만족하는 날로
넓힌 뒤 시드의 42일 평균효과에 가장 가까운 날(동률은 사례 식별자 오름차순)을 고른 결과, 시드 1629의 2026년 7월 24일 영업일(익일
00:25:06) 사례가 선택되었다. 이는 15시드 평균사례가 아니라 선택시드의 다열차 영향전파를 보여주는 사례이다. P95 $|e^{*}|$는 450.13초에서
440.33초로 9.80초 감소(+2.18%)하였다. PPO는 정차시간 조정을 12차례 시행했고 누적 조정량은 절댓값 기준 120.0초였다. $H^{*}$
범위는 560.83~1,682.50초이고 모형상 추가 제약 위반은 0건이었다.
그림 5 대표사례의 다열차 운행선도와 정차시간 조정에 따른 앞·뒤 열차간격 변화 (시드 1629, 2026년 7월 24일, RUN: 시각표상 운용번호)
Fig. 5 Multi-train trajectories and changes in adjacent headways after dwell-time
adjustments (seed 1629; RUN: run number in the operating timetable)
그림 5는 한 지점에서 시행한 정차시간 조정이 같은 운행열의 이후 역 출발과 동일 승강장의 후속 열차 시격에 차례로 반영되는 과정을 보인다. 조정은 RUN
51과 24에 시행되었고, RUN 32와 46은 각각의 앞열차이다. 앞열차와의 시격이 줄어도 후속열차와의 시격이나 지연이 커질 수 있으므로 관제지원
화면에서는 앞·뒤 시격과 지연을 함께 확인해야 한다. 본 사례의 국소 개선을 노선 전체 효과나 승객편익으로 해석하지 않는다. 정차시간 조정만 평가했으므로
별도 운전정리로 전환할 기준은 현장 기준과 추가 시험으로 정해야 한다.
4.6 판단시점 정보 검증과 공통 목표시격 민감도
2.2절의 첫째 검증질문인 판단시점 뒤 기록의 참조 여부를 검사하고, 정책별 판단시각 차이의 영향을 공통 목표시격으로 확인한다. 판단시점 $t$의
앞열차 출발시격은 같은 승강장의 직전 확정출발로 계산한다. 후속 열차 $f$의 출발시각은 계획출발 $d_{plan,f}$에 판단 직전 누적 이동량
$S_{f}(t^{-})$를 더해 식 (9)로 예상한다. 다음 판단대상 $j(t)$는 미처리 사건집합 $U(t)$에서 무조정 상태로 산정한 도착시각 $a_{i}^{0}$와 $S_{i}(t^{-})$의
합이 최소인 사건을 식 (10)과 같이 매 단계 다시 고르며, 동률은 계획출발시각과 참조행 번호 순으로 해소한다. 실제 미래 후속 열차 출발과 판단시점 뒤 ATS 기록은 $H^{*}$
계산에 사용하지 않는다.
$H^{*}$ 산정에 참조한 ATS 원천출발이 판단시각 뒤인지, 처리 중 판단시각이 역행하는지를 검사하였다. 무조정 기준 17,474행에서 위반은
0건이고 최대(원천출발-판단시각)는 0.000000초였다. PPO 15시드×42일=630회와 8개 규칙×42일=336회도 검사를 통과하였다. 이는
후속열차 예측식과 $H^{*}$ 참조시각의 검증이며 자기 열차의 사후 도착복원에 대한 온라인 인과성 증거는 아니다.
정책별 판단시점 차이를 배제하려 각 사건에서 무조정 기준·15개 PPO·TRAIN 규칙의 가장 이른 판단시각 $t_{\min}$과 $(t_{\min}-900,
t_{\min}]$의 ATS 출발로 공통 목표시격 $H_{c}$를 계산하였다. 날짜평균 P95 $|e_{c}|$는 무조정 기준 230.44초, PPO
221.49초로 3.88% 감소[날짜 20,000회, 95% CI 1.98~5.42%]했고 TRAIN 규칙은 229.39초였다. PPO-규칙 차이는
-7.90초[-16.46~-0.43]였지만 날짜·시드 5,000회 재표집 구간은 [-18.99~+0.28]로 0을 포함했다. 206,652개 정책별
사건행의 판단 뒤 ATS 사용은 0건이었다. $H_{c}$는 비교 정책집합에 따라 달라지는 민감도 기준이며 운용 목표시격 산정법이 아니다.
공통 $H_{c}$가 무조정 기준 $H^{*}$와 달라진 사건은 17,474건 중 15건이었지만 42개 날짜의 무조정 기준 P95는 모두 동일하였다.
따라서 무조정 기준 평균 230.44초는 4.3절의 값과 일치한다.
공통 평가기준과 제어입력은 구분해야 한다. 같은 206,652개 정책별 사건행에서 고정 기준도착시각의 공통 $H^{*}$를 제어입력으로 전용한다고
가정하면 4,368행(2.11%)에서 참조 ATS 출발이 해당 정책의 판단시각보다 늦었다. 실제 정책별 $H^{*}$와 최소판단마감 $H_{c}$의
시점초과는 모두 0행이었다. 4,368행은 채택한 정책이 미래정보를 사용했다는 결과가 아니라, 사후 공통지표를 운용 입력으로 옮길 때 생기는 시간경계
문제를 나타낸다.
4.7 날짜·시드별 결과의 이질성
평균 효과가 소수 날짜나 특정 시드에 좌우되는지 확인하기 위해 날짜·시드별 분포를 살펴본다. 날짜별 평균에서 PPO의 P95 $|e^{*}|$가 개선된
날은 21일, 악화된 날은 7일, 동률은 14일이었다. 부동소수점 연산오차를 배제하기 위해 무조정 기준과 PPO의 차이 절댓값이 $10^{-9}$초
이하인 날짜를 동률로 판정하였다. 동률을 제외한 양측 정확 부호검정은 $p=0.0125$였고, 시드별 42일 평균 개선률은 0.10~3.78%였다.
그림 6 날짜별 P95 |e*| 개선 분포와 집중도
Fig. 6 Date-level P95 headway-error changes and concentration
그림 6은 각 날짜에서 PPO 15개 시드의 P95 $|e^{*}|$를 먼저 평균한 뒤 계산한 무조정 기준과 PPO의 차이를 크기 순으로 보이며, 위쪽 구간선은
상위 1·5·10일이 42일 절대 차이 합에서 차지하는 누적 비중이다.
날짜별 개선률 중앙값은 0.03%, 사분위범위는 0.00~2.11%였다. 전체 절대변화량에서 |변화| 상위 1일·5일·10일의 누적비중은 33.1%·70.2%·87.1%였다.
상위 5개 날짜는 모두 개선일이었고, 이를 제외한 37일에서는 P95 $|e^{*}|$가 172.00→171.35초로 0.38% 감소하였다. 현장
후보 정책은 시드 차이를 고려해 TRAIN 성능으로 미리 선택하거나 여러 정책의 결과를 결합해야 하지만, 이 절차는 평가하지 않았다. 이 집중은 TEST가
영업일별 최대 편차 구간이라는 점과 함께, 효과가 편차가 큰 날에 몰려 있음을 보여준다.
4.8 도착시각 관측오차의 추가 민감도
자기 열차 도착시각을 사후 복원한 한계를 보완하기 위해, 도착시각 관측오차가 결과를 얼마나 바꾸는지 시험한다. 추가 사후 민감도에서는 동일 15개
동결 정책과 42일 TEST에 도착시각 관측오차를 주입하였다. 관측오차 없음, 공통편향 ±10·±20·±30초, 사건별 균등잡음 $U(-\delta,
+\delta)$ ($\delta=10, 20, 30$초)의 10조건이며 재학습하지 않았다. 이 범위는 현장 오차분포의 추정치가 아니라 설정한 스트레스
조건이다. 잡음은 날짜·시드·사건별 별도 난수열로 만들고 진폭별로 같은 표준화 잡음을 사용하였다. 같은 시드 번호의 정책과 잡음 실현을 결합한 조건당
1회 재생이며 잡음 자체의 분산을 독립 추정하지 않았다.
초기 물리 입력과 사건선택·출발전이·블록 전파·제약검사·채점 규칙은 원본 모형으로 유지하였다. 관측오차로 선택이 달라지면 그 행동은 같은 전이 규칙을
통해 후속 물리 상태에 반영된다. 정책 입력에서 앞·뒤 시격오차, 지연과 정규화 경과시간의 네 상태만 오차를 더한 도착시각으로 다시 계산하고 나머지
상태와 행동마스크는 해당 시점의 물리 상태에서 산정하였다. 관측용 $H^{*}$의 조회상한은 추정 도착시각과 물리 판단시각 중 작은 값으로 제한했다.
따라서 관측용 $H^{*}$를 계산할 때에는 양의 시각오차를 주어도 물리 판단시각 뒤 ATS 기록을 읽지 않는다. 이 시험은 원모형의 단계별 제약검사를
공유한 관측오차의 영향이며, 사후 복원된 물리 사건순서나 현장 마스크 오류까지 검증한 것은 아니다.
표 7 도착시각 관측오차에 따른 PPO와 무조정 기준의 차이 (15시드·42일)
Table 7 PPO-minus-baseline differences under arrival-observation errors (15 seeds,
42 days)
|
Error condition
|
Δ P95 |e*| (s) [95% CI]
|
Δ P95 delay (s)
|
Δ Plan adherence (%p)
|
|
No error
|
-4.02 [-8.99, -0.74]
|
+8.79
|
-1.36
|
|
Bias -10 s
|
-4.14 [-9.21, -0.87]
|
+9.38
|
-1.49
|
|
Bias +10 s
|
-3.75 [-8.67, -0.48]
|
+8.40
|
-1.27
|
|
Bias -20 s
|
-4.23 [-9.59, -0.75]
|
+9.92
|
-1.67
|
|
Bias +20 s
|
-3.64 [-8.60, -0.35]
|
+7.90
|
-1.19
|
|
Bias -30 s
|
-4.26 [-9.50, -0.85]
|
+10.88
|
-1.90
|
|
Bias +30 s
|
-3.86 [-8.70, -0.64]
|
+7.40
|
-1.11
|
|
U(-10,10) s
|
-3.87 [-8.75, -0.63]
|
+8.86
|
-1.38
|
|
U(-20,20) s
|
-3.88 [-8.76, -0.75]
|
+8.97
|
-1.39
|
|
U(-30,30) s
|
-3.85 [-8.60, -0.78]
|
+9.00
|
-1.45
|
관측오차가 없는 조건의 15시드·42일 결과는 원본 평가 및 동결 집계와 일치했고, 10조건의 무조정 물리 궤적·초기 선행열차·평가값은 변하지 않았다.
관측 $H^{*}$의 물리 판단시각 이후 참조와 모형상 추가 제약위반 및 허용집합 밖 선택은 0건이었다. 표 7의 차이는 PPO-무조정이며, 95% 구간은 날짜와 전역 정책시드를 교차 재표집한 5,000회 결과이다. 잡음조건은 시드별 고정 잡음 실현을 함께
재표집한다. 다중비교 보정 없는 개별 구간으로, 날짜만 20,000회 재표집한 결과와 전체 보조지표도 심사보조자료에 기록하였다.
10조건에서 P95 $|e^{*}|$의 평균 차이는 -4.26~-3.64초였다. 모든 조건의 점추정은 무조정 기준보다 작았다. 날짜·시드 신뢰구간은
모든 조건에서 0을 포함하지 않았다. 평균 절대 정차조정량은 조건별 0.74~1.15초였다. 지연과 계획준수율은 별도로 판단해야 하며 시격오차의 감소만으로
종합 편익이나 계획준수 비열등성을 결론내리지 않는다.
4.9 관제지원 시스템의 해석범위
기준상태 대비 추가 제약 위반 0건은 운행제약 필터가 금지된 조정안을 선택 전에 제거한 결과이다. 다만 0초 유지안이 항상 허용되어 허용 조정안이
모두 없는 경우는 생기지 않았고, TEST 42일의 급전·잠금 입력은 모두 비장애 기본상태여서 단전·구간잠금 상황의 차단 동작은 이 평가로 확인되지
않았다. 따라서 이 0건은 HIL·RAMS·인증이나 현장 안전성의 증거가 아니며, 진로·이동권한 보호는 연동장치와 차상 ATP의 책임이다.
관측오차가 없는 조건의 최종 재생 출발을 계획출발과 직접 비교하였다(허용오차 $10^{-9}$초). PPO 630회·262,110개 판단에서 조기출발은
3,914건(1.49%), 무조정 42회·17,474개 판단에서는 48건(0.27%)이었다. 무조정을 15회 반복한 동일 분모에서는 720건이므로
PPO는 3,194건 많았다. PPO의 기준상태 플래그(기준정차범위 이탈·기준 조기출발 지시자를 시드별 판단마다 센 값) 3,944건 중 30건은
최종 출발에서 조기출발이 아니었지만 3,914건은 남았다. 참조출발이 계획보다 이르지 않았는데 정책의 최종 재생 출발이 빨라진 판단도 3,251건이었다.
이는 현장 관측 위반이 아니라 후속 누적 이동량을 포함한 재생 결과이다. 따라서 단계별 추가 위반 0건은 전역 조기출발 금지를 보장하지 않는다.
그 발생원리는 식 (7)·(8)로 설명된다. 단계별 행동마스크는 각 사건에서 현재 조정량 $u$만을 기준정차·조기출발 조건에 대해 검사할 뿐 누적 이동량 $S$는 검사하지 않는다.
식 (8)에 따라 각 사건의 이동량은 같은 운행열의 이후 역으로 누적되므로, 앞선 단계의 정차 단축으로 누적 이동량 $S$가 음이 되면 식 (7)의 기준출발 $d^{0}+S$ 자체가 계획보다 당겨진다. 이때 어느 단계에서도 $u$가 조기출발 마스크에 걸리지 않았더라도 최종 재생출발 $d^{\pi}$가
계획출발보다 이를 수 있다. 즉 단계별 제약검사는 개별 행동의 조기출발만 차단하고, 최종 운행결과의 조기출발은 누적 이동량을 포함한 재생 결과로 나타나므로
둘을 구분해야 한다. 이 불일치가 주지표 개선에 미치는 영향을 분리하기 위해 다음의 추가 재평가를 수행하였다.
추가 사후 재평가에서는 최종 재생 출발이 계획출발보다 이르게 되는 조정후보를 행동마스크에서 제외하는 조기출발 차단 규칙을 무조정 기준과 PPO에 똑같이
적용하고, 15개 동결 정책을 재학습 없이 42일 TEST와 10개 관측오차 조건에서 다시 평가하였다. 모든 조정후보가 차단되면 0초를 적용하였다.
PPO의 조기출발은 3,914건(1.49%)에서 357건(0.14%)으로 줄었고 정책이 유발한 조기출발은 0건이었다. 남은 357건은 어떤 조정후보로도
계획시각을 맞출 수 없는 ATS 원자료의 이른 출발로, 무조정 기준의 24건(15시드 환산 360건)과 같은 성격이다. 관측오차가 없는 조건에서 P95
$|e^{*}|$는 무조정 230.18초, PPO 226.42초로 PPO-무조정 차이가 -3.76초(1.63%, 날짜·시드 95% CI -8.50~-0.61초)였으며
차단 전 -4.02초의 93%가 유지되었다. 10개 관측오차 조건의 차이는 -4.21~-3.39초였고 모든 구간이 0을 포함하지 않았다. 반면 P95
지연 +8.77초와 계획준수율 -1.40%p의 절충은 차단 전과 같았다. 따라서 시격오차 개선은 조기출발에 의존하지 않으며, 지연·계획준수의 절충은
계획준수 가중치를 0으로 둔 보상설계에서 비롯된다. 이 결과는 동결 정책의 이식 평가이며, 차단 규칙 아래의 재학습과 비례규칙의 재평가는 수행하지
않았다.
관제지원으로 확장할 때에는 허용 조정안과 차단사유, 시격오차·지연·대기시간 추정치·30분 내 처리율·계획준수·조정량을 함께 표시해야 한다. 현재 결과는
이 화면의 설계 근거이며 운영 중 사용효과는 아니다. 영향승강장 밖 처리율은 관측 출발집합의 하위 지표로, 가용편성 투입·부분운행·제한속도 운전이나
비장애 구간 전체의 서비스 지속효과를 나타내지 않는다.
평가구간 동안 $N_{est}$가 바뀌지 않아 $H^{*}$가 한 값으로 유지된 17일에서 무조정 기준의 평균 P95 $|e^{*}|$는 86.54초이고
PPO의 평균 감소폭은 0.94초였다. $N_{est}$가 바뀌어 $H^{*}$가 달라진 25일에서는 각각 328.29초와 6.12초였지만, 균등한
승객 도착을 가정한 평균 대기시간 추정치는 PPO에서 5.16초 증가했다. 목표시격 오차 P95가 줄어도 일부 긴 열차간격이 늘면 대기시간 추정치는
커질 수 있으므로 두 지표를 관제 화면에 따로 제시해야 한다. 실제 승객대기 개선을 주장하려면 수요·승하차 자료를 결합한 목적함수 재설계가 필요하다.
5. 결론과 적용범위
본 연구는 판단시점 정보 제약을 적용한 ATS 사건재생 기반의 정차시간 조정정책 후향 평가절차를 제시하고, 인천2호선 212일 기록에 적용하였다.
이 절차는 후속열차 출발예상과 목표시격 $H^{*}$를 판단시점까지의 기록으로 제한하고, 무조정 기준·비례규칙·PPO를 같은 사건재생·허용행동 필터·평가지표로
비교하며, 누적 시간 이동에 따른 단계별 제약검사의 한계를 진단한다. 자기 열차 도착시각은 사후 복원하였으므로 이 한계는 별도로 분리하였다. TRAIN
170일·TEST 42일에서 PPO 15개 정책과 규칙을 같은 조건으로 비교했으며, 보상에는 지연개선 보조항을 포함하고 계획준수율의 가중치만 0으로
두었다.
정책별 판단시각 $H^{*}$ 주분석에서 PPO는 무조정 기준보다 P95 $|e^{*}|$를 4.02초(+1.75%) 줄였으나 P95 지연은 8.79초
늘고 계획준수율은 1.36%p 낮았다. 공통 판단시각 민감도에서도 P95 $|e_{c}|$는 3.88%[1.98~5.42] 줄었다. PPO-규칙 차이는
날짜만 재표집하면 7.90초[-16.46~-0.43]였으나 날짜·시드를 함께 재표집하면 [-18.99~+0.28]로 0을 포함하였다. 따라서 PPO
우월성이나 종합 운행편익은 확인되지 않았으며, 이 결과는 관제지원 설계 시 여러 지표의 절충을 함께 제시할 근거이다.
동일 동결 정책에 10개 도착시각 관측오차 조건을 적용한 추가 시험에서 P95 $|e^{*}|$의 PPO-무조정 차이는 -4.26~-3.64초였다.
같은 물리 전이규칙과 단계별 제약검사를 사용한 관측 민감도이며 실제 도착기록 검증을 대신하지 않는다. 관측오차가 없는 재생의 조기출발 비율은 무조정
0.27%에서 PPO 1.49%로 늘었으나, 조기출발 차단 규칙을 적용한 재평가에서도 P95 $|e^{*}|$ 개선은 3.76초(1.63%)로 유지되었고
정책유발 조기출발은 0건이었다. 따라서 시격오차 개선은 조기출발에 의존하지 않으며, 지연·계획준수의 절충은 보상설계에서 비롯된다. 현 결과는 검증범위와
절충의 진단이며 운용정책 채택 근거가 아니다.
본 연구 결과의 타당성은 다음 근거로 뒷받침된다. 첫째, $H^{*}$ 산정의 판단시점 뒤 ATS 참조는 무조정 17,474행과 PPO 630회,
규칙 336회 실행에서 모두 0건이었다. 둘째, 무조정 재생은 ATS 실적 출발과 승강장별 순서를 그대로 재현하여 재생 절차가 기준 궤적을 바꾸지
않음을 확인하였다. 셋째, 모든 정책을 같은 42일 TEST·사건재생·허용행동 필터·지표로 비교하였다. 넷째, 주지표 개선의 방향은 날짜·시드 교차
재표집, 공통 목표시격, 10개 도착시각 관측오차 조건과 조기출발 차단 재평가에서 모두 유지되었다. 다섯째, 기준상태 대비 추가 제약 위반은 0건이었다.
반면 개선폭은 1.6~1.8% 수준으로 작고 소수 날짜에 집중되었으며, TEST가 영업일별 최대 편차 구간이므로 평상 운행으로 일반화할 수 없다.
실제 장애사례와 현장 도착시각, 물리 도착복원에 따른 사건순서 변화, 관측창·회차시간·온라인 계산시간의 민감도, 다른 학습 알고리즘·보상가중치·시드선정
절차와 조기출발 차단 규칙 아래의 재학습은 평가하지 않았다. 평가는 단일 영향승강장과 고정 TEST 분할에 한정된다. 가용편성 투입·부분운행·제한속도
운전과 실제 승객수요·미탑승·민원 자료도 다루지 않아 장애 영향을 받지 않는 구간 전체의 서비스 지속, 이용자 불편 감소의 현장효과와 외부 일반화를
주장하지 않는다.
현장 적용을 위한 다음 단계는 산정 도착시각을 현장 관측값 또는 판단시점 정보만 사용해 검증한 도착예측값으로 바꾸고, 운행계획·일유형 식별과 ATS
자료의 지연·결측·순서역전을 실시간 인터페이스에서 시험하는 것이다.
ATS, CBTC(ATO·ATP 포함)와 연동장치의 책임을 유지한 HIL에서 통신지연·누락·중복, 단전·구간잠금과 권고중단을 시험해야 한다. 이후
실제 운행지시와 분리한 비개입 병행검증, 독립 안전검토, 운영기관 승인을 거쳐 관제사 승인형 제한 시범으로 진행한다.
ATS 원자료와 운행계획·신호로그는 비공개 운영자료이므로 외부 공개가 제한된다. 심사보조자료에는 날짜를 익명 식별자로 바꾼 날짜·시드별 집계표, 추가
관측오차 조건별 집계와 재집계 코드를 구성하였다. 이는 보고 수치의 집계 검증 범위이며 원자료와 모델을 포함한 전체 사건재생의 독립 재현을 뜻하지
않는다. 재현대장에는 원자료·입력·코드·모델·결과 SHA-256, 일유형과 TRAIN/TEST 규칙, 학습·미래정보 사용 검사와 규칙선택표를 기록하였다.