ԯj4"UdZddlZddlZddlZddlZddlmZddlmZm Z m Z m Z m Z m Z ddlZddlZddlmZej"eZGddeZdefd Zehd Zd ed e eefdefd Zd e eefde eefdededdf dZej:Zdde e ddfdZde e fdZ ddede e de fdZ! ddede e ede fdZ"da#ejHZ%dZ&da'de ee(ffdZ)ddZ*dZ+da,e ee-d<Gd d!e Z.da/e e.e-d"<de efd#Z0d$d!d%ed&e eeffd'Z1dd(Z2dd)Z3d%ed&efd*Z4d+Z5defd,Z6id-d.d/d0d1d2d3d4d0d1d5d6d7d0d1d8d9d7d0d1d:d;d7d0d1dd0d1d?d@d7d0d1dAdBd/d0d1dCdDd7dEd1dFdGd/dHd1dIdJd/dHd1dKdLd/d0d1dMdNd7dEd1dOdPd7dEd1dQdRd7dEd1dSdTd7dUd1dVdWd7dEd1dXd7dEd1dYdZdEd1d[Z7e ee eeffe-d\<de ee eefffd]Z8e8Z9d7d^d_d`dadbd_d`dcdbd_d`d/ddded`dfdbd_d`dZdgded`dhddded`diddded`djdkd_d`dldmd_d`dndodpd`dqdrdpd`dsdtdud`g Z:e;Zd%ed&e eefddfdzZ?dsd{iZ@e ee(fe-d|<d%ede e(fd}ZAiZBe eefe-d~<ehdZCddddddddddddgZDd%ed&e eefddfdZEehdZFedhZGdededefdZHdedefdZIe;ZJe;ee-d<dede edefdZKe;ZLe;ee-d<d%ed&e eefddfdZMddde e eefdedededdf dZNde eefdede eeffdZO ddddddddededdde eefdwe e dede e dePde e(dede e e eefgefde e eefde e(de ePde eeffdZQ ddddedededwe e de e dePdedefdZR ddddede e eefde e eefdwe e de e dedePdedefdZSy)u%LiteLLM + Opik 통합 LLM 클라이언트. 모든 텍스트 LLM 호출을 LiteLLM Router를 통해 수행하고, Opik callback으로 자동 추적한다. 기존 GeminiTextClient / OpenAIClient / gemini_key_pool / llm_logger를 대체. 이미지 생성(gemini_image_client)은 별도 유지. N)Path)AnyCallableDictList NamedTupleOptional)RouterceZdZdZy)EmptyLLMResponseuP모델이 200 으로 답했는데 내용이 비었다. 원인은 이것만으로 모른다 — 검열일 수도, 토큰 소진일 수도, 제공자 사정일 수도 있다. 그래서 메시지에 `finish_reason` 을 같이 싣는다. ``RuntimeError`` 하위라 기존에 이것을 잡던 자리는 그대로 잡는다. N)__name__ __module__ __qualname____doc__P/Users/manta/Documents/Projects/TheRoad-I1/backend/app/modules/llm/llm_client.pyr r srr returnctjjd}| |jj dvS ddlm}tt|ddS#t$rYywxYw)ulocal jsonschema 검증 toggle 평가 (problems.md #13, review I1). 우선순위: ``LLM_LOCAL_SCHEMA_VALIDATE`` ENV → ``settings.llm_local_schema _validate`` (Pydantic). 둘 다 미설정 시 default True. provider strict mode (LiteLLM ``response_format=json_schema strict=True``) 가 일부 provider 에서 일부 필드만 enforce 할 수 있으므로 JSON 파싱 후 ``jsonschema.validate`` 로 한 번 더 shape 검증한다. 운영 중 schema 배포 시 즉시 disable 가능. LLM_LOCAL_SCHEMA_VALIDATE)1trueyesonrsettingsllm_local_schema_validateT) osenvirongetstriplowerapp.core.configrboolgetattr Exception)rawrs r!_is_local_schema_validate_enabledr(!sf **..4 5C yy{  "&@@@,GH&A4HII sA A+*A+>input arguments parameterspayloadschemacbt|trt|dk7r|S|j|j c\}\}|t vst|ts|St|tr|j dnd}t|tr||vr|Stjd||S)utool-call 래퍼 한 겹을 벗긴다 — 스키마가 그 키를 원하지 않을 때만. 보수적으로만 벗긴다: ①최상위가 dict 이고 키가 **정확히 하나** ②그 키가 알려진 래퍼 이름 ③스키마의 properties 에 그 키가 **없다** ④안쪽이 dict. 넷을 다 만족하면 스키마가 그 키를 담을 수 없으므로 래퍼가 확실하다. 하나라도 어긋나면 원본을 그대로 돌려준다.  propertiesNu-structured output: '%s' 래퍼 한 겹 벗김) isinstancedictlenkeysvalues_TOOL_ENVELOPE_KEYSr loggerinfo)r,r-keyinnerpropss r_unwrap_tool_enveloper<=s gt $G (9||~w~~'7FSHU %%Zt-D(264(@FJJ| $dE%3%< KK?E Lrresponse_schemastep schema_namec ddlm}m}tsyt |t r|sy t j||y#t j$rJ}djd|jDxsd}|d|d |d |d |j|d}~wt j$r!}|d |d |d|j|d}~wwxYw)uh``jsonschema.validate`` wrapper — 실패 시 ``SchemaValidationError`` raise. ENV ``LLM_LOCAL_SCHEMA_VALIDATE=false`` 면 no-op. ``response_schema`` 가 빈 dict 이거나 비-dict 면 검증 skip (legacy/free-form caller 보호). ``ValidationError`` 의 path/message 를 보존하여 Tier 2/3 로직과 logger 가 root cause 진단 가능. r)InvalidSchemaErrorSchemaValidationErrorN)instancer-/c32K|]}t|ywN)str).0ps r z)_validate_local_schema..gs:(91A(9zz(Local schema validation failed for step=z schema=z at path=z: z!Invalid jsonschema spec for step=z (schema_id=z): ) app.modules.llm.safetyrArBr(r1r2 jsonschemavalidateValidationErrorjoin absolute_pathmessage SchemaError)r,r=r>r?rArBexcpaths r_validate_local_schemarVQsQ , . ot ,OW_E  % %xx:(9(9::Fh#6tfH[MRfBs{{m -    ! !!/v\+c{{m    s$ACABC.C  Cmetac|t_y)uR현재 스레드에 Opik metadata context 설정. call_* 호출 시 자동 병합.N) _thread_local opik_meta)rWs rset_opik_contextr[ys "Mrc$ttddS)NrZ)r%rYrrr_get_thread_opik_metar]~s =+t 44r opik_metadatacdd|gii}t}|rh|jdg}|jDcic]\}}|dk7s ||}}}|dj||r|ddj ||rh|jdg}|jDcic]\}}|dk7s ||}}}|dj||r|ddj | ddlm}t|ddrddlm } m } m } |d} | } | d | ji| d <| jd d| jd d| | }| jdxsgD]!}| |s ||vs|j|#|| d<|Scc}}wcc}}w#t$r!}t j#d|Yd}~|Sd}~wwxYw)uOpik metadata 구성 — thread-local context 자동 병합. 우선순위: 명시적 opik_metadata > thread-local context > step tag만 opiktagsrropik_trace_v2_enabledF)build_axis_tags current_trace is_axis_tagNtrace_idcurrent_span_data trace_name session_id)opu5_build_opik_metadata v2 배선 실패 (non-fatal): %s)r]r itemsupdateextendr#rr%app.modules.llm.opik_tracercrdreuidpopappendr&r7debug)r>r^metadata thread_meta extra_tagskvmergedrrcrdre opik_blockparent axis_tagstagrTs r_build_opik_metadatar}s $()H()K __VR0 #.#4#4#6F#641a!v+!Q$#6F'  V V $ + +J 7"&&vr2 #0#6#6#8H#841aAK!Q$#8H'  V V $ + +J 7$S, 84e < = ="&)J#_F!3=vzz2J ./ NN< . NN< .(40I"v.4"4s#9(<$$S)5"+Jv  OsGI\ S LcRR OSs< FF# F1F'B F1F6F G%GGrjrac@t||rdt|iSdS)u`router_completion` 을 **직접** 부르는 자리가 쓰는 표준 metadata. `call_structured` 계열은 내부에서 `_build_opik_metadata` 를 타지만, router 를 직접 부르는 자리는 그것을 건너뛴다. 그래서 나가는 태그가 맨 이름 하나뿐이었고(`["ref_validation"]`), 축도 안 갈리고 부모 trace 에도 안 붙어 `chat.completion` 으로 홀로 남았다. 2026-08-25 실측(최소 검증판 주행): span 26/252 가 스텝 축을 잃었고 그중 14 건이 참조 검증이었다. 이 함수를 쓰면 축 태그·thread_id·부모 trace 가 다른 호출과 **같은 규칙**으로 실린다. raN)r}list)rjras rbuild_call_metadatars$ DVT$Z$8 KKd KKrF"_theroad_opik_cache_fields_wrappercd}i}t|dd}d}t|tr|jd}n| t|dd}||}|||d<|t|dd}|||d<|S)uusage 에서 캐시로 재사용된 입력 토큰을 꺼낸다 (없으면 빈 dict). 두 자리를 본다 — `prompt_tokens_details.cached_tokens` (OpenAI 형식, litellm 이 Gemini 의 cachedContentTokenCount 도 여기 채운다) 와 `cache_read_input_tokens` (Anthropic 형식). 값이 없으면 키를 만들지 않는다: 없는 것을 0 으로 적으면 적중률 0% 라는 거짓 기록이 남는다. cHt|tst|tsy|SrF)r1r$int)values r _int_or_nonez&_cache_fields_of.._int_or_nones eT "*UC*@ rprompt_tokens_detailsN cached_tokenscache_read_input_tokensr%r1r2r )usagerfieldsdetailscachedreads r_cache_fields_ofrs  Fe4d;G F'4 _-  /48 & !F "( '@$G HD ,0() Mrcda ddlm}t |ddtj dyt tdrdayfd }t|td|_ ||_ datjd y#t$r }tj d|Yd}~yd}~wwxYw#t$r }tj d |Yd}~yd}~wwxYw) utlitellm 의 Opik 콜백이 버리는 캐시 항목을 usage 에 되살린다. `litellm/integrations/opik/utils.py` 의 `create_usage_object` 는 세 값 (completion/prompt/total)만 담는다. 캐시로 재사용된 입력 토큰은 거기서 사라져 Opik span 에 남지 않는다 — 값은 제공사가 주는데 기록만 없다. 그 상태로는 프롬프트 조립 순서를 바꿔도 효과를 잴 수 없다. 설치본 파일은 고치지 않는다(재설치 때 날아간다). 호출 지점이 `utils.create_usage_object(...)` 로 모듈 속성을 매번 찾으므로 속성만 바꿔 두면 걸린다. 원 함수는 `__wrapped__` 로 들고 있고, 표식을 보고 두 번 감싸지 않는다. 배선이 안 걸리면 **ERROR 로 남기고** `_opik_cache_wiring_ok` 를 False 로 둔다. 이 실패는 조용하면 안 된다 — 토큰 기록은 그대로 남고 캐시 칸만 비어서, 나중에 보면 "캐시가 안 걸린 주행"과 구분이 안 된다. 다만 호출 자체는 죽이지 않는다(기록 보강이 본 작업을 막지 않는다는 기존 관례). Fr)utilsuOpik usage 캐시 항목 배선 실패 — litellm opik utils 없음: %s. 캐시 적중은 기록되지 않는다(토큰 세 값은 남는다).Ncreate_usage_objectuOpik usage 캐시 항목 배선 실패 — create_usage_object 없음 (litellm 구조 변경). 캐시 적중은 기록되지 않는다(토큰 세 값은 남는다).Tc|} |jt||S#t$r!}tj d|Yd}~|Sd}~wwxYw)Nu*Opik usage 캐시 항목 추출 실패: %s)rlrr&r7warning)r usage_dictrToriginals rrz4_wrap_opik_usage_object..create_usage_object3sZe_  N   .u5 6 N NNG M M Ns' AA  AuOpik usage 캐시 항목 배선 실패 — 함수 교체 불가: %s. 캐시 적중은 기록되지 않는다(토큰 세 값은 남는다).uDOpik usage 에 캐시 항목 기록 켬 (create_usage_object 래핑)) _opik_cache_wiring_oklitellm.integrations.opikrr&r7errorr%_OPIK_CACHE_WRAP_MARKsetattr __wrapped__rr8) opik_utilsrTrrs @r_wrap_opik_usage_objectr s&"Az#8$?H  - . x.6 $ !6=&.#)< & ! KKVWI   TUX Z  <   TUX Z  s/B"B- B* B%%B*- C6CCc\tryt5tr dddyddlm}|js |j r|jr|jt jd<|j r|j t jd<|jt jd<|jt jd<tdgt_ tjd|j|j xsd trd nd d adddy#1swYyxYw) Nrr OPIK_API_KEYOPIK_URL_OVERRIDEOPIK_WORKSPACEOPIK_PROJECT_NAMEr`z=Opik callback enabled (project: %s, url: %s, cache_wiring=%s)cloudokfailedT)_opik_initialized _init_lockr#r opik_api_keyopik_url_overriderropik_workspaceopik_project_namerlitellm callbacksr7r8rrs r _init_opikrIs     -  H$>$>$$-5-B-B >*))2:2L2L ./+3+B+BBJJ' (.6.H.HBJJ* + $ %!'G  KKO****5g-8  = !- sD"C:D""D+_routerc,eZdZUdZeeed<eed<y)_RouterBindingucRouter 와 **그것을 지을 때 쓴 슬롯**을 하나로 묶는다. [2026-08-01 A5 후속, Codex 재확인 BLOCKING] Router 는 어느 슬롯 키로 지어졌는지 기록하지 않았고, ``_completion`` 은 호출 직전 전역 활성 슬롯을 다시 읽어 그것을 자기 슬롯으로 삼았다. 그래서 이런 창이 열린다: ① 한 요청이 primary 키로 지은 Router 를 이미 들고 있다 ② 다른 요청이 전역을 secondary 로 옮긴다 ③ ①이 그 stale Router 로 호출한다 → 실제로는 primary 로 나간다 ④ primary billing 실패가 "secondary 실패"로 보고된다 ⑤ 마지막 슬롯 소진 판정 — **보조 키를 한 번도 안 써 보고 죽는다** 슬롯과 Router 를 짝으로 다루면 ③에서 실패한 슬롯을 정확히 지목한다. slotrouterN)r rrrr rG__annotations__r rrrrrjs  3- Nrr_bindingcTttjjjjjdz }g}|j s|S|j dj D]}|j}|r|jdsd|vr+|jd\}}}|j}|jjdjd}|jds|s||vs|j||S) u+backend/.env 에서 GEMINI_API_KEY* 수집.z.envzutf-8)encoding#="'GEMINI_API_KEY) r__file__resolverzexists read_text splitlinesr! startswith partitionrq)env_filer4linerv_rws r_load_gemini_keysrsH~%%'..55<<CCfLH D ??  ""G"4??Azz|ts+s$ ..%1a GGI GGIOOC & &s + <<( )a} AB Krbindingmodelkwargsc Rddlm}ddlm}ddlm}ddlm}t||t}||td|j}d} t|D][} |d|d  |d |d t|xsd } |jjdi|} | | j#| cS| J| #t$r| | j!dwxYw#t$r9} | } |j%| d|d |j&st)}Yd} ~ d} ~ wwxYw)uRouter 호출 — OpenAI **키 수준** 실패면 다음 키 슬롯으로 재시도. 전환 대상은 billing hard limit / quota 소진 / 401·403 뿐이다. 그 외 실패(타임아웃·5xx·단순 429·스키마 위반)는 그대로 올려 기존 재시도· Tier fallback 경로가 처리하게 둔다. 전환이 일어나면 Router 가 무효화 되므로 `_get_router_binding()` 로 새 키가 박힌 짝을 다시 받는다. ★``binding`` 을 받는다 (2026-08-01 A5 후속) — 전역 활성 슬롯을 호출 직전에 다시 읽으면, stale Router 를 든 요청이 **다른 요청이 옮겨 놓은 슬롯**을 자기 것으로 착각한다. 그러면 primary 실패가 secondary 실패로 보고되어 보조 키를 한 번도 안 써 보고 죽는다. 실패한 슬롯은 그 Router 를 지은 슬롯이지, 지금 전역이 가리키는 슬롯이 아니다. ★**정지 관문이 여기 있다** (2026-08-26). 이미지 호출은 `reserve_current_call` 이라는 공통 길목이 있는데 글 호출에는 없어서, `scene_detail` 같은 글 팬아웃은 정지를 전혀 못 들었다. ★처음엔 `router_completion` 에 걸었는데 **헛자리였다** — 그 함수의 docstring 이 「Router 를 거치는 유일한 호출 경로」라고 적혀 있어 믿었지만, `call_structured`·`call_text`·`call_multiturn` 은 전부 이 함수를 **직접** 부른다. 문서를 믿지 말고 호출부를 세야 했다. 진짜 공통 길목은 여기다. ★키 전환 루프 **앞**에 둔다 — 논리 호출당 한 번만 보면 된다. 루프 안에 두면 슬롯 수만큼 조회가 늘어난다. r openai_keys)reserve_current_research_call) GRAIN_SLOT) record_sendNr/zllm_client._completion[])sourcellmzllm_client._completion)kind granularityrrzrouter.completion raisedzrouter.completion[)whereattempted_slotr)app.corerapp.core.research_call_budgetrapp.core.send_ledgerrr_sanitize_kwargs_for_model_current_stop_checkmax slot_countrangerGr completionr&rr failover_onr_get_router_binding)rrrrr _GRAIN_SLOT _record_send stop_checkattemptslastr _vlm_send_resrTs r _completionrsP4%K>@uf-$&J 1k,,./H$(D 8_% , *0q9 ;% /s5;B7G I  0w~~00:6: $ K=N    J# ($$%?@   ,D**/wa8&||+)+G ,s0#&C$ C&C$C!!C$$ D&-/D!!D&c6dadatjdy)u다음 호출에서 Router 를 다시 짓게 한다. OpenAI 키 슬롯이 바뀌면 deployment 에 박힌 api_key 가 옛 키라 그대로 두면 전환이 무의미하다. 대입은 GIL 하에서 원자적이고, 실제 재빌드는 `_get_router_binding` 의 double-checked locking 이 처리한다 — 여기서 `_init_lock` 을 잡으면 호출 중 전환과 엮여 교착이 될 수 있다. Nu<LiteLLM Router 무효화 — OpenAI 키 슬롯 전환 반영)rrr7r8rrr_invalidate_routerrsGH KKNOrcFddlm}t}||j|j k(r|St 5t}|(|j|j k(r |cdddSt tt}| td|cdddS#1swYyxYw)uRouter 와 그 생성 슬롯을 **짝으로** 받는다. ★캐시 판정을 "객체가 있는가"가 아니라 **"그 Router 를 지은 슬롯이 아직 현재 슬롯인가"** 로 한다. 전환 훅(`_invalidate_router`)은 `_active_index` 가 바뀐 **뒤 락 밖에서** 돌기 때문에, 그 사이에 다른 스레드가 옛 Router 를 그대로 받아 갈 수 있다. 슬롯을 대조하면 그 창이 닫힌다. rrNu1LiteLLM Router binding 이 생성되지 않았다) rrrr active_slotrr _build_router RuntimeError)rbbuilts rrrs%A};#:#:#<<   =QVV{'>'>'@@    =RS S s'B%(BB c 4tt|d|i|S)uRouter 를 거치는 **유일한** 호출 경로 — 키 슬롯 전환이 항상 걸린다. [2026-08-01 A5 마무리] 이전에는 `_get_router()` 로 원시 Router 를 꺼내 `.completion(...)` 을 직접 부르는 소비자가 넷 있었고, 그 경로에서는 1차 키가 billing 으로 죽어도 **보조 키를 한 번도 안 써 보고** 예외가 그대로 올라갔다 (직접 재현: active_slot 이 primary 그대로, Router 빌드 1회). "원시 Router 를 꺼내지 마라"는 규칙으로 두면 또 생긴다 — 실제로 네 번 생겼다. 그래서 `_get_router()` 자체를 없애고 이 함수만 남긴다. ★위 「유일한 경로」는 **원시 Router 를 꺼내지 않는다**는 뜻이지 모든 호출이 이 함수를 지난다는 뜻이 아니다. `call_structured` 등은 아래 `_completion` 을 직접 부른다 — 정지 관문이 거기 있는 이유다. r)rrrrs rrouter_completionrs! *,egu5O5O PPrc< ddlm}|S#t$rYywxYw)u[이 스레드에 걸린 정지 확인. 순환 import 를 피해 호출 시점에 읽는다.rget_current_stop_checkN)app.core.image_call_budgetrr&rs rrr&s%E%'' s  c ddlm}g}t}|s|jr |jg}d|jfd|j fd|j fd|j fg}|D]:\}}t|D]'\}}|j|d||dd |d |id )<dd l m }|jt|j\} } | rd di} dtt|ddxsdi} dtt|ddxsdi} dtt|ddxsdi}|jdd|j | d| | d|j d| f|j d| f|j d| fddifddif|j d|ffD]$\}}}|j|d|| d| |d&t|dd xsd j#}|j$r2|r0|jd!d"||j$|j&dd#d|j(rId$|j*fd%|j,ffD]*\}}|j|d&||j(dd'd,dd(l}d|_t3|d)|j4|j6d*+at;| t8,at>jA|D]C}t>jCt|d-t|d.jEd/xsd EtFjId0tK|tK|tM| | xsd1|jOt8S)2uZ_get_router의 lock 내부 빌드 로직 — _init_lock를 이미 잡고 있어야 한다.rr gemini-pro gemini-flash gemini-litegpt-minizgemini/)rapi_keyidz-key) model_namelitellm_params model_infor drop_paramsTreasoning_effortopenai_reasoning_effortmediumopenai_reasoning_effort_auxlowopenai_reasoning_effort_judgehighgptzopenai/)rr gpt-terragpt-lunagpt-nanogpt-4.1 gpt-4.1-minigpt-highgrok_judge_modelrgrokz openrouter/)rrapi_baser claude-opus claude-fablez anthropic/)rrrNzsimple-shuffle) model_listrouting_strategy num_retriestimeout retry_after)rrrrrzQLiteLLM Router initialized: %d deployments (%d Gemini keys, OpenAI=%s slot=%s/%d)u없음)(r#rrgemini_api_keygemini_text_modelgemini_flash_modelgemini_lite_model enumeraterqrrregister_switch_hookractive_slot_and_keyrGr% openai_modelr!openrouter_api_keyopenrouter_base_urlanthropic_api_keyanthropic_judge_modelanthropic_fable_modelrrr llm_max_retriesllm_timeout_textrrr_ALIAS_PHYSICALclear setdefaultr r7r8r3r$r)rr gemini_keys gemini_modelsaliasmodel_idir9r openai_slot openai_key _OPENAI_DROP_EFF_EFF_AUX _EFF_JUDGE alt_model alt_alias_eff _grok_model_alias_mdl_litellm_ds rrr/s)J$%K 822../  x112 445 223 X001 M)x ,FAs   #&xj1"# $wd1#%67  -)"%$$%78*==?K&t, #C H7 B Nh%PQ& H;U C Lu)NO)# H=v F +  "8#8#8"9:%   " " "K :  " "J 9  " "J 9  2 & ^R 0  " "J ;+ &Iy$   '&yk2)### # + D8%7<BIIKK""{ &{m4#66$88 $   $!! H:: ; X;; < LFD   $)$0'99$( #    &H),,)) G;w?H"" < !3r*:';'?'?'H'NB#O Q KK  J[)4 +;x!7!7!9  Nrprompt_translationuT2I 프롬프트 번역r image_sublabeldefaultcategory scene_t2i_genuT2I 이미지 생성z gemini-imagescene_t2i_validationu이미지 검증rprompt_sanitizeu프롬프트 안전화angle_recommendu 앵글 추천fal_angle_applyufal.ai 앵글 적용zfal-ai final_selectu 최종 선택t2i_translationuT2I 편집 번역grounding_classifyu고증 후보 분류analysisscene_detail_owned_judgeuowned 객체 redraw 검사 analysis_subscene_detail_owned_repairuowned 객체 redraw 수정background_plate_orderu야외 plate 생성 순서entity_extractu요소 추출 (3턴) entity_styleu"요소 추출 — 스타일+이름entity_detail_batchu요소 추출 — 상세 webbook_genu웹북 패키지 생성 auxiliary style_rulesu스타일 규칙 생성u아웃룩 병합uLocation 외형 고정r) outlook_mergelocation_consistency_PIPELINE_STEP_EXTENSIONScBddlm}i}|jD]>\}}|jd||jdd|jddd||<@tjD].\}}||vrt j d |!t|||<0|S) udSTEP_MANIFEST + extension 을 합쳐 ``PIPELINE_STEPS`` view 를 build. manifest 의 ``default_model`` / ``provider`` / ``category`` / ``label`` 을 꺼내 기존 PIPELINE_STEPS schema (``label`` / ``default`` / ``category``) 로 변환. 동일 step 이 양쪽에 있으면 manifest 우선 (problems.md #5: manifest is single source). r) STEP_MANIFESTrI default_modelrrKrTrHu{_PIPELINE_STEP_EXTENSIONS overlap with STEP_MANIFEST: %s — manifest wins (extension entry is dead and should be removed).)app.core.step_manifestrcrkr rar7rr2)rcoutsidr8s r_build_pipeline_stepsrh(s5%'C"((* TXXgs+xx>Z8 C+/446 T #: NNQ  :C7 JrzGPT-6 Astra (medium)openai)r5rIproviderrzGPT-6 Astra (low)rzGemini 3.8 FlashgeminirzGemini 3.1 ProrrrzGPT-4.1rz GPT-4.1 Minirz Claude Opus 5 anthropicrzClaude Fable 5rzGrok 4.6xai_UNKNOWN_STEP_WARNEDproject_configc@|r=||vr9||jdtj|ijddStj|}|3|tvr+tj|tj d||xsijddS)uE단계 + 프로젝트 설정 → LiteLLM Router 모델 별칭 반환. PIPELINE_STEPS (manifest+extension) 에 없는 step 은 ``gemini-pro`` 로 silent fallback. typo 등을 surface 하기 위해 process 당 1회 logger.warning emit (review I2). project_config 가 명시한 step 은 fallback 대상 아님. rrJru_resolve_model: unknown step '%s' — falling back to 'gemini-pro'. If intentional, register in STEP_MANIFEST or _PIPELINE_STEP_EXTENSIONS.)r PIPELINE_STEPSrnaddr7r)r>ror8s r_resolve_modelrshs$.0d#''1C1CD"1M1Q1QR[]i1jkk   d #D |$88  & V  JB  I| 44r> rrrrrrrrrrrcV|tvr|jddt|}|-|jd}||nt t |||d<|t vrMd|vrH|jd}|jd}||nt t |t ||d<yyy)u모델별로 전달 불가 파라미터를 in-place 제거. drop_params 글로벌/deployment 설정이 일관되게 적용되지 않는 버전이 있어 명시 제거. temperatureN max_tokensmax_completion_tokens)_NO_TEMPERATURE_ALIASESrp_provider_max_outputr minr_OPENAI_ALIASES)rrcapwanthaves rrrs  '' =$' u %C zz,'&*lsCIs8K| LF$:zz,'zz12LDc#d)SY&? &' %;ri@MODEL_MAX_OUTPUT_TOKENSc|tvr t|S ddl}tj|}|sy|j|}|jd}|r t |SdS#t $rYywxYw)u그 alias 의 **물리 모델이 실제로 허용하는** 출력 상한. ★[2026-09-09] 왜 필요한가 — 전역 하나(`llm_max_output_tokens`)로 모든 모델을 재던 판에서 두 방향으로 틀렸다: gpt-6-astra 최대 128,000 인데 **65,536 만** 요청했다 (절반을 버렸다) gpt-4.1 최대 32,768 인데 65,536 을 요청했다 (넘겨서 보냈다) 그래서 모델 표에서 읽어 **모델마다 제 최대**를 쓴다. 손으로 적으면 모델을 갈아 끼울 때 또 어긋난다 — 값의 주인은 provider 다. ★`MODEL_MAX_OUTPUT_TOKENS` 의 명시 값이 있으면 **그쪽이 이긴다.** grok 8,000 처럼 우리가 비용 때문에 일부러 좁힌 것이 있다. rNmax_output_tokens)rrr0r get_model_inforr&)rrdepr8rws rryrysz ''&u-- !!%(%w%%c* HH( )s1v$$ sA!/A!A!! A-,A-r0>rrrrHARM_CATEGORY_HARASSMENT BLOCK_NONE)rK thresholdHARM_CATEGORY_HATE_SPEECHHARM_CATEGORY_SEXUALLY_EXPLICITHARM_CATEGORY_DANGEROUS_CONTENTc(|tvr t|d<yy)udGemini 모델 호출에 safety_settings BLOCK_NONE 강제 — 픽션 콘텐츠 분석 차단 회피.safety_settingsN)_GEMINI_ALIASES_GEMINI_SAFETY_SETTINGS_OFFrs r_apply_gemini_safetyrs $? ! r>rrrrr uniqueItemsnoder4c t|tr2|jDcic]\}}||vr |t||c}}St|tr|Dcgc]}t||c}S|Scc}}wcc}w)unode 트리의 모든 중첩 dict 에서 keys 를 제거한 deep copy 반환. 원본 node 는 mutate 하지 않는다 — dict/list 를 새로 재구성한다. )r1r2rk_strip_schema_keysr)rr4rvrws rrrs $  $1} !!T* *$  $59:T"1d+T:: K ;s A/A5ct|tr|jd}t|tr]|r[|jd}t|tr%t |t |j k7ry|jdduryt d|jDSt|trt d|DSy)upOpenAI strict 의 known object-contract 호환성 재귀 검사 (완전 판정 아님). 검사 범위는 이번에 실측된 object 계약(required=전 property 키 + additionalProperties:false)에 한정 — strict 의 전체 keyword subset 을 판정하지 않는다 (uniqueItems 는 별도 strip). properties={} 빈 object 검사는 후속 hardening 항목 (Codex 비차단 권고 2026-07-10). strict=True 는 모든 object 노드에 대해 ①`required` 가 properties 의 전 키를 포함하고 ②`additionalProperties: false` 명시를 요구한다. Gemini 시절 저작 팩 스키마(optional 필드 관용)는 이 규칙을 어겨 BadRequestError ("'required' is required to be supplied and to be an array including every key in properties") 가 난다 — GPT-5.6 이관 2회차 E2E shot_extract 30/30 실측 (2026-07-10). r0requiredFadditionalPropertiesc32K|]}t|ywrF_is_openai_strict_compatiblerHrws rrJz/_is_openai_strict_compatible..*sJMq/2MrKc32K|]}t|ywrFrrs rrJz/_is_openai_strict_compatible..,sADq/2DrKT)r1r2r rsetr4allr5)rr;reqs rrrs$& eT "u((:&Cc4(CHEJJL8I,Ixx./u<JDKKMJJJ$ADAAA r_STRICT_DOWNGRADE_LOGGEDdroppedc t|tri}|jD]h\}}|dk(rOt|tr?|r=t d|Ds+|j t |jddZt||||<j|St|tr|Dcgc]}t||c}S|Scc}w)u`enum` 값이 문자열이 아닌 노드에서 `enum` 만 걷은 deep copy. ★Gemini `response_schema` 의 `enum` 은 **문자열 배열**이다. 정수 enum 을 보내면 400 이 난다 (2026-08-28 실측, `gemini-3.1-pro-preview`): Invalid value at '…properties[0].value.enum[0]' (TYPE_STRING), 1 정수 enum 을 주입하는 자리는 **셋**이다(`app/` 전 트리 AST 로 셌다): · `beat_shot_steps.py:226` — `beat_extract` 의 `scene_index` · `beat_shot_steps.py:529` — `shot_extract` 의 `scene_index` · `scene_camera_flow_step.py:240` — `scene_camera_flow` 의 `shot_index` ★셋째 자리가 더 고약하다 — 그 스텝은 예외를 **빈 flow 로 삼켜서** 실패가 안 보이고 품질만 조용히 내려앉는다. 앞 둘은 스텝이 죽어 주행이 멎으니 오히려 드러난다. 08-24 주행에는 통했는데 이번엔 400 이라 **provider 쪽이 조인 것**으로 본다(표본 하나라 단정은 아니다). ★왜 문자열로 바꾸지 않고 **걷나**: Gemini 의 enum 은 `type: STRING` 전용 이라 정수를 문자열로 바꿔 보내면 모델이 문자열로 돌려줄 수 있고, 그러면 `set(returned_indices) != set(expected_indices)` 대조가 통째로 어긋난다. enum 은 **안내**이고 계약은 뒤에서 따로 지킨다 — 반환 인덱스를 기대값과 대조해 순서로 재매핑하고, 안 맞으면 재시도하고, 빠진 씬은 빈 beat 로 채운다(`beat_shot_steps.py:248-280`). 안내 하나를 잃고 스텝을 살린다. `type` 은 그대로 둔다 — 정수를 달라는 요구는 남는다. enumc3<K|]}t|tywrF)r1rG)rHxs rrJz)_drop_non_string_enums..Us>Aq 1c 2Astype?) r1r2rkrrrqrGr _drop_non_string_enums)rrrfrvrws rrr3s<$JJLDAqV 1d 3>A>>s488FC#89:+Aw7CF !  $<@ADq&q'2DAA KBs$B<_GEMINI_ENUM_DROP_LOGGEDc |jd}t|tsy|jd}t|trd|vry|tvrg}t |d||d<t |jdd}|r_|t vrWt j|tjd|djtt|t|y|tvryt|dt |d<|jd rdt#|dsUd |d <t |jdd}|t$vr,t$j|tjd |yyyy) uOpenAI 계열 model 호출 시 response_format schema 의 OpenAI 비호환 jsonschema keyword 를 제거 (FINDING 10 — provider-boundary fix). OpenAI strict structured output 은 `uniqueItems` 를 거부한다. Gemini 경로는 허용하므로 정상 동작하지만 GPT fallback 경로에서 BadRequestError 가 난다. `kwargs["response_format"]["json_schema"]["schema"]` 를 deep-copy + strip 한 새 객체로 교체한다 — caller 의 원본 response_schema 는 mutate 하지 않으므로 `_validate_local_schema` 의 local 검증은 원본 schema(uniqueItems 포함)로 그대로 수행된다. 비-OpenAI(Gemini 등) model 은 no-op. GPT-5.6 이관 (2026-07-10): strict 비호환 스키마(Gemini 팩 유래 — optional 필드/additionalProperties 미명시)는 strict=False 로 강등한다. 스키마 준수는 `_validate_local_schema` + call_structured retry 가 전 tier 에서 이미 보증(Gemini 경로와 동일한 enforcement 모델). strict 호환 스키마 (기존 gpt 스텝 팩)는 strict=True 그대로 — byte-identical. 팩 수정 없이 provider boundary 에서 해소 (프롬프트 팩 덮어쓰기 금지 준수). response_formatN json_schemar-nameruresponse_format '%s': Gemini 는 문자열 enum 만 받는다 — %s 형 enum %d개 걷음. 계약은 호출부 검증·재시도가 지킨다 (process 당 1회 로그),strictFuresponse_format '%s': OpenAI strict 비호환 스키마(Gemini 팩 유래) — strict=False 강등, 준수는 local validation+retry 가 보증 (process 당 1회 로그))r r1r2rrrGrrrr7r8rPsortedrr3r{r_OPENAI_UNSUPPORTED_SCHEMA_KEYSrr)rrrrrrs r#_sanitize_response_format_for_modelrbsh$jj!23O ot ,!%%m4K k4 (HK,G  6  !7!, H;??63/0 t#;; $ ( ( . KK,-1388F3w<Kx )E  !*# % H;??63/0 / / $ ( ( . KK348  0 *# r)rvsinkresponser5rvcT|y||d<|||d<t|dd}|r||d<t|dd}|?dD]:}t||d}|!t|tr|j|}|6|||<<t|dd}t|tr|jd } | | |d <yyy) uT토큰·비용·물리 모델을 호출자에게 돌려준다 — **주면 채우고 안 주면 안 한다.** ★왜 필요한가 (2026-08-27, #92). `call_structured` 는 payload 만 돌려줘 호출자가 **한 판정에 얼마를 썼는지 알 길이 없다.** 두 모델을 부르는 판에서는 모델별 비용을 나눠 적어야 하는데, 그러려면 응답이 들고 온 값을 그 자리에서 받아야 한다. ★**미보고를 0 으로 쓰지 않는다.** provider 가 usage 를 안 주면 키를 비워 둔다 — 0 으로 채우면 「안 썼다」로 읽힌다. 내가 그 함정을 이미 한 번 밟았다(`cost` 가 딕셔너리인데 스칼라로 읽어 0 이 나왔고 그것을 「기록이 없다」로 보고했다). Args: sink: 채울 딕셔너리. `None` 이면 아무것도 안 한다(기존과 동일). response: litellm 응답 객체. alias: Router alias (`grok`·`gemini-pro` …). max_tokens: 그 요청에 실제로 실린 상한 — 잘림을 나중에 가르려면 필요하다. Nr5max_tokens_sentrphysical_modelr) prompt_tokenscompletion_tokens total_tokens_hidden_params response_costestimated_cost_usdr) rrr5rvphysicalrr9rwhiddencosts r_fill_usage_sinkrs. |DM", x$/H!)  Hgt ,E ICsD)AyZt4IIcN}S JX/ 6F&$zz/*  )-D% &  rrsr|c|r t|ni}t|jdxsi}t|jdxsg} ddlm}t |ddrddlm}||sd|}||vr|j|||d<||d<|S#t$r }tjd |Yd }~Ed }~wwxYw) uOpik metadata에 fallback tag(sanitized/gpt_fallback)를 추가한 새 dict 반환. 원본 dict 변경 없음. opik.tags가 없으면 새로 만든다. ★v2 에서는 `status:` 축을 붙인다 (2026-08-24 Codex 재리뷰). 이 자리가 `_build_opik_metadata` 의 축 정규화 **뒤**라, 접두사 없이 붙이면 앞에서 판 축이 여기서 다시 섞인다 — 그리고 그 span 은 안전 sanitize·GPT fallback 이라 정작 훑을 값이 큰 쪽이다. 설정 OFF 면 맨 이름 그대로다. r`rarrrbF)rezstatus:u6_add_fallback_tag v2 축 부착 실패 (non-fatal): %sN) r2r rr#rr%rnrer&r7rrrq)rsr|new_metarZrarrerTs r_add_fallback_tagrs"*tH~rHX\\&)/R0I  f%+ ,D T, 84e < >s#uo $ CIf HV O T MsSSTs &B B=B88B=T)enable_fallbackvalidate_response usage_sinkrr system_prompt user_prompt str | listrurrrrrc   ddlm}mm}m} ddt dddt tdt dtt tff   f d }d tt tfd t dtt tff fd } ||||}||d S#t$r,}| r||stjd|Yd}~nd}~wwxYw||}||z} ||||d}||dS#t$r!}tjd|Yd}~nd}~wwxYw|r t|ni}ddi|<||||dS)u`Structured JSON output 호출 — LiteLLM Router 경유. ★``timeout`` — 이 호출만의 대기 상한(초). ``None`` 이면 Router 가 지어질 때 박힌 ``settings.llm_timeout_text`` 를 그대로 쓴다(기존 호출 불변). **전역을 올리지 않는다** — 긴 대본 한 자리 때문에 모든 글 스텝이 오래 기다리게 만들면 진짜로 걸린 호출도 그만큼 늦게 드러난다 (Codex 2026-09-09). 모든 provider에 대해 response_format으로 JSON schema 강제. LiteLLM이 provider별 변환 자동 처리. user_prompt: str 또는 multimodal content list (PDF/이미지 포함 시). 3-tier fallback (enable_fallback=True 시 자동, default): Tier 1: 기본 모델 (gemini-pro 등 step 기본). Tier 2: sanitize_for_safety + SAFETY_SYSTEM_SUFFIX prepend. Tier 3: GPT 강제 (project_config[step] = {"model": "gpt"}). enable_fallback=False (legacy 호환): 1차 호출만 수행, 실패 시 즉시 raise. `validate_response` (P2-3): Tier 1/2 응답이 valid JSON이지만 의미상 빈 결과 (예: 빈 list)일 때 caller가 fallback을 강제 트리거할 수 있는 callback. callback이 False 반환 → `EmptySemanticResponseError` raise → safety 분류 → Tier 2/3 진행. None이면 schema 검증만 통과해도 즉시 반환 (기본 동작). 이 callback 은 Tier 3에는 적용 안 함 (마지막 시도 보호). Local jsonschema 검증 (problems.md #13): ``_do_call`` 안에서 ``jsonschema. validate`` 가 **모든 tier 에서** 동작하여 provider strict mode 의 enforcement 약화를 보완한다. ``validate_response`` callback (의미적 빈 결과) 와 별개의 레이어 — Tier 3 도 schema 위반 시 ``SchemaValidationError`` 가 caller 까지 전파된다. ENV ``LLM_LOCAL_SCHEMA_VALIDATE=false`` 로 즉시 disable 가능. fallback 트리거 분류 (`is_safety_related_error`): - 콘텐츠 안전/모더레이션 신호 (PROHIBITED/content_filter/empty/...): 진행 - rate-limit/timeout/auth 등 명시적 transient: 즉시 raise (비용 보호) r)SAFETY_SYSTEM_SUFFIXEmptySemanticResponseErroris_safety_related_errorsanitize_for_safetysys_puser_prcfg suffix_tagrc  t}t|}t}|r t||n|}|d|dd|dgdddd|d}d d lm}   n | j |d <t|d <t|d <t||t||t||t|||} t| ||jd | jd j j"} | s,t%dd|dt'| jd ddt)t+j,| } t/| | S)NsystemrolecontentuserrTrr-rrr)rmessagesrrursrrrvrr)r5rvz%LLM returned empty response for step=, model=z, finish_reason= finish_reasonr>r?)rrsr}rr#rllm_max_output_tokensrfloatrrrrrr choicesrRrr r%r<jsonloadsrV)rrrrrr base_metadatarsrrrrr,rvrr^r=r?r>rurrs r_do_callz!call_structured.._do_call(s &'tS),T=A CM$]J?S`!e4F3 &'-"  ' " " --7-CzIgIg|  "$' $4F= !   %gF9 "5&1+E6:UF+wv6XU$*JJ|$< >""1%--55#7vXeWM!8++A.FIKL L ( 7(;_M _4[ rresult tier_labelc:|sdd|d|S)uUvalidate_response callback 적용. False 반환 시 EmptySemanticResponseError raise.z"validate_response failed for step=z tier=u — semantic empty resultr)rrrr>rs r_validate_or_raisez+call_structured.._validate_or_raiseis=  (1B61J,4TF& M()  rtier1z>call_structured[%s] Tier 1 failed (%s), trying sanitized inputN sanitizedrtier2zEcall_structured[%s] Tier 2 sanitized failed (%s), trying GPT fallbackrr gpt_fallbackr) rLrrrrrGr rrr&r7rr2)r>rrr=ror?r^rurvrrrrrrrrrrrexc_t1sanitized_user safe_systemexc_t2 gpt_configrs` ` ```` ```` @rcall_structuredrsnh ???d^? ? c3h ??B4S>stCQTH~  -nE!&'22  &=f&E  L &   )5N"66K +~~R]^!&'22   S &   *8n%RJ'Jt K WWs0 B C'"CC$C99 D#DD#)rc dddlm}m}m} ddtdtdt t dtdtf fd } | |||} | r| S|sytjd | |} ||z} | || |d } | r| Stjd|r t|ni}ddi|<| || |d} | stdd| S#t$r,} |r|| stjd | Yd } ~ d } ~ wwxYw#t$r!}tjd|Yd }~d }~wwxYw)u Free-text 호출 — LiteLLM Router 경유. 3-tier fallback (call_structured와 동일 정책)을 자동 적용한다. `enable_fallback=False` (legacy 호환): - Tier 1만 수행. 빈 응답은 `""` 반환 (raise 안 함) — pre-fallback 시기 동작 보존. - 그 외 예외는 그대로 raise. `enable_fallback=True` (default): - 빈 응답을 RuntimeError로 변환 → safety 분류 → Tier 2/3 진행. - rate-limit/timeout 등 transient는 즉시 raise (비용 보호). r)rrrrrrrrrc@t}t |}t }|r t||n|}ddlm}|d|dd|dg |j |d} t|| t|| t||| } | jdjjxsdS)u_완료된 응답 content 반환. 빈 응답이라도 raise 없이 그대로 (caller가 처리).rrrrr)rrrurvrsr) rrsr}rr#rrrrrrrRr)rrrrrrrrsr text_kwargsrr^r>rus rrzcall_text.._do_calls%'tS),T=A CM$]J?S`,!e4F3'"88  '  #5+6UK0w{;"**228b8rz;call_text[%s] Tier 1 returned empty, trying sanitized inputz8call_text[%s] Tier 1 raised (%s), trying sanitized inputNrrz8call_text[%s] Tier 2 returned empty, trying GPT fallbackz?call_text[%s] Tier 2 sanitized failed (%s), trying GPT fallbackrrrz*LLM returned empty text response for step=z after all 3 tiersr) rLrrrrGr rr7rr&r2r)r>rrror^rurrrrrrrrrrrs` `` r call_textrso, 99S9x~939X[90 =+~F N I  )5N"66K  ;S^_ N F  *8n%RJ'Jt{NJ>ZG 8>P Q   N]  &=f&E  F &   0   M &   s/ C 2 D D"C==D D/D**D/rc ddlm}m} m} ddtt t t fdtt dt dtffd } | ||S#t$r,} |r| | stjd | Yd } ~ nd } ~ wwxYw| |} | rkt| dtrX| djd d k(rAt| d}|jd d}t|t r||z|d <|g| dd z} | | |dS#t$r!}tjd|Yd }~nd }~wwxYw|r t|ni}ddi|<| | |dS)ub멀티턴 대화 호출 — entity_extractor Turn 0→1 등에 사용. messages: [{"role": "system", "content": ...}, {"role": "user", "content": ...}, ...] response_schema: 있으면 structured, 없으면 free text. 3-tier fallback (call_structured와 동일 정책)을 자동 적용한다. Tier 2/3에서 system 메시지에 SAFETY_SYSTEM_SUFFIX append + user/assistant content 일괄 sanitize. Tier 1 예외 분류 (`is_safety_related_error`): - 콘텐츠 안전 신호: Tier 2/3 진행 - 명시적 transient (timeout/rate-limit 등): 즉시 raise (비용 보호) r)rrsanitize_messagesrmsgsrrrct}t|}t }|r t||n|}|||d}t ||t || rd ddd|d<t ||t|||}|jdjjxsd} rC| std d |ttj|  } t|  | S| std d || S) N)rrrursrTrrrrrz/LLM returned empty multiturn response for step=rrz+LLM returned empty multiturn text for step=)rrsr}rrrrrrrRrrr<rrrV)rrrrrrrsrrrr,r^r=r?r>rus rrz call_multiturn.._do_calls:%'tS),T=A CM$]J?S`& "  #5&1UF+ %'-" )F$ % 0v >wv6""1%--55; "EdV8TYSZ[, 7#_6G "t N=dV8E7S rz=call_multiturn[%s] Tier 1 failed (%s), trying sanitized inputNrrrr/rrzDcall_multiturn[%s] Tier 2 sanitized failed (%s), trying GPT fallbackrrrr)rLrrrrrrGr rr&r7rr1r2r )r>rr=ror^r?rurrrrrr safe_messagesfirst sys_contentrrs` ` ``` rcall_multiturnrs|0 ,tDcN+,(4.,c,[^,,\ .11  &=f&E  K &   &h/MM!$4d; a@P@T@TU[@\`h@h]1%&ii 2. k3 '*-AAE) -"33   ~+NN   R &   *8n%RJ'Jt M:. IIs0A B !"BB  D D;D66D;rF)rN)rr)NrN皙?N)NNr)NNNrr)Trrloggingr threadingpathlibrtypingrrrrrr rMrr getLoggerr r7rr r$r( frozensetr6rGr<rVlocalrYr[r]r}rrRLockrrrrrrrrrrrrrrrrrrrarhrqAVAILABLE_MODELSrrnrsrxrrryr0rrrr{rrrrrrrrrrrrrrrrr s&   BB   8 $|42 DE3S#X3(" #s(^"#s(^"  "  "  "J ! #8D>#T# 5x~5DsD8D>DTDP59 LC L&tCy1 L=A L"Y__  = tCH~@;X|!<!&  Z(&*(> ")49&T)T#TtCH~Tn P6QQsQ$tvtP.8&?jkvw.8&<^juv.8&8Ujuv .8 &>PUmxy .8 oEitu .8&\jtu[.84T#s(^ 34.btCc3h$78>'( '=8T':8T':8T'98T':8T'78T'98T'98Ty8T~8T;W'7;Wz5Q/6"%c#h&55htn55:$%AcA4S>AdAP,24.c3h8 >#%c3h$ UV,N,N2N2N @@T#s(^@@)*#,]O"< S  c  st:&)U#c(*))tCy)S)X&)U#c(*8s8DcN8t8~#'-. 4S> "-..1-. -.-. -.`S#XST#s(^F&*!$( $cX!DH+/!%#cX cXcXcX#s(^ cX TN cX  cXD>cXcX cXcX $sCx.)94)? @AcXc3h(cX#cXe_cX  #s(^!cXT&*$( d!d dddTN d D> d  dd dT15%)$(!iJ!iJ iJ4S>"iJd38n-iJTN iJ D> iJ  iJiJiJ iJr