Тесты и бенчмарки

Locust, 50 параллельных пользователей × 60 с: 506 запросов, p50 = 14 ms, p99 = 280 ms, worst-entity p99 = 330 ms, 0 ошибок. Release-gate p99 < 500 ms пройден с запасом.

доказывает: latency entity-API под нагрузкой · не покрывает: качество данных в самом DWH

Ручной grounded-oracle на 29 кейсах: citation_accuracy = 0.99, recall@5 = 1.00, escalation_accuracy = 1.00 (0 ошибок маршрутизации). Пайплайн: classify → hybrid retrieval → rerank → generate → verify.

доказывает: дисциплину цитирования и отказа · не покрывает: live-качество LLM (отдельный бенчмарк)

Не калькулятор sample-size, а research-design слой до платформы экспериментов. Детерминированные проверки: SRM (χ²), group-sequential O'Brien-Fleming (peeking-safe), CUPED (снижение дисперсии), Bayesian промежуточный взгляд, guardrail-метрики + Bonferroni при >2 вариантах.

верификация: 350+ backend-тестов, coverage 89 %+, Playwright E2E, 7 локалей · сам sample-size = пример-выход, зависит от входа

Один BI-агностичный DashboardSpec детерминированно собирается и в Apache Superset, и в Yandex DataLens — обе стороны live-проверены контракт-сьютами на реальном DWH ~15M строк (ClickHouse); Greenplum — интроспекция + feasibility advisor.

eval: 40 golden + 15 advisor кейсов · доказывает: переносимость spec, не вкус дашборда

BIRD Mini-Dev SQLite (n = 200, set-equality scoring, audit-rescore 0/200): 94.0 % EA — выше human-expert baseline (92.96 %) и #1 платной системы AskData+GPT-4o (81.95 %), без fine-tuning, $0 внешних расходов.

честно: ~88 % — переносимый инжиниринг (RAG / fewshot / voting), +6 pp — точечные BIRD-патчи · Chinook 100 % = smoke-проверка

35 симулированных кейсов (8 категорий) поверх живых gracekelly.core-модулей: unstable-claim detection = 1.00, agreement_cluster_purity = 1.00, abstention_quality = 1.00. False-consensus floor = 0.50 — известный предел unanimity-консенсуса, заявлен честно.

доказывает: механику дискриминации claim'ов · не покрывает: продакшен-эффект на живом трафике