Chunking Lab

Compara las estrategias de chunking de la Sesión 07 sobre el corpus de 17 presupuestos históricos. Las estadísticas salen del servicio IA (POST /embeddings/compare); cada run se guarda para revisitarlo sin re-pagar las estrategias LLM.

Estrategias

Structural Un componente del presupuesto = un chunk, con cabecera de contexto. Fixed size Ventanas fijas de 512 tokens con solape — el baseline degenerado. Recursive Separadores jerárquicos (párrafo → línea → frase) — el default razonable. Sentence window Frases individuales con ventana ±2 en metadata. Hierarchical Dos niveles indexados: padres (presupuesto) e hijos (componentes). Semantic $ openai_key Cortes donde cae la similitud entre frases (embeddings en ingesta). Propositional $ · lento openai_key Un LLM descompone cada componente en proposiciones atómicas. Contextual retrieval $ · lento anthropic_key Claude enriquece cada chunk con contexto del documento padre (~$0.14, ~3 min).

Selección actual: estrategias gratuitas — el run tarda segundos.

Consultas (playground)

Opcional: sin consultas el run devuelve solo estadísticas. Cada consulta se embebe una vez y se busca el top-k por similitud coseno en cada estrategia.

top_k chunks por consulta y estrategia (1–10)