DIS (Data Ingestion — veriyi ham alır), DRS (Data Refinement — çoklu kaynağı
çapraz-kontrol + birleştir, refined), DDS (Data Distribution — dışarı sunar).
Veritabanı şemaları: dis (raw), drs (refined). Temel akış: RAW → REFINED.
dis · geldiği gibi, çözülmemiş (ham)drs · çapraz-kontrollü, tek canonical1 alert / bar kapanışında 1 kez tetik. TEK kaynak, AYNI veri — aşağıda iki farklı alış şekline dağılır.
webhook (HTTP POST) · hızlı · anlık. Bar kapanınca POST eder.
email (IMAP polling 60s) · dayanıklı yedek · bağımsız denetim. Aynı payload e-postada birikir.
dis.tv_webhook_ohlc canlıÇakışma: DO NOTHING (ilk-gelen kalır = bar kapanış anlık görüntüsü).
dis.tv_email_ohlc canlıÇakışma: DO UPDATE (son-gelen = TradingView düzeltmesini yakalar).
provider_symbol (ham, çözülmemiş) · tip soneki _ohlc (ileride _tick)İki kanalı (ve ileride iki sunucuyu) çapraz-kontrol + dedup + gap-fill + FIMS çöz (provider_symbol → listing_id) + birleştir. webhook-dedi vs email-dedi farkı burada karara bağlanır.
drs.ohlc_<tf> planlananTek canonical temiz seri · kimlik = listing_id (FIMS) · per-timeframe (DESEN 2). Güvenilir, otoriter.
ACS: sembol seçiminde veri kaynağı seçilebilir (raw | refined) — bir sembolün raw verisi varsa o da çizilebilir. Backtest/AI: refined katmanından.
dis.*_ohlc tablolarına yazıyor; market_data emekliye ayrıldı (DROP); ACS ham veriyi provider_symbol ile çiziyor.
Kalan: DRS sistemi (drs.ohlc_<tf> refined katman + drs-* uygulamaları) + ACS kaynak-seçimi (raw | refined).
provider = veriyi bize veren (tradingview) · venue = fiyatın oluştuğu borsa (FOREXCOM/IBKR, provider_symbol içinde) · channel = taşıma (webhook/email). Aggregator üzerinden gelince venue, provider olmaz.
Gelen veri secret taşıyorsa = biz gönderdik → hepsi raw tablolarına girer. Ayrı karantina tablosu yok; çözülemeyen kayıt raw içinde fims-unlinked durumuyla durur. Secret taşımayan kötü niyetli post reddedilir; kalan hatalar email–webhook çapraz-kontrolü ile refine aşamasında düzelir.
webhook = DO NOTHING (ilk gerçek snapshot) · email = DO UPDATE (düzeltmeyi yakalar). Bilerek farklı → DRS karşılaştırması iki bağımsız görüşten beslenir.
Kanal: webhook + email (aynı veri, 2 yol). Sunucu: aynı kanallar vps11 + vps12 sunucusuna paralel (faz-ileri). Biri düşse veri akışı sürer.