Claimstone

Come funziona

Da un elenco di domande a un profilo di evidenza.

Claimstone è fatto di sei fasi che comunicano tramite file append-only, e di una persona che firma alla fine.

Come funziona

Dalle tue domande a una risposta che puoi controllare, in sei passi.

Tu dai gli argomenti e le domande. Claimstone fa il resto, un passo alla volta, e a ogni passo lascia un file che puoi aprire e controllare.

Tu dai gli argomenti, un elenco fisso di domande numerate e i tipi di fonte che accetti. Sono tre file semplici.

  1. 1discover

    Trova

    Cerca gli articoli sui tuoi argomenti in due modi indipendenti: per parole chiave e seguendo le citazioni. Ottieni l’elenco dei candidati, ciascuno con il tipo di fonte, per esempio articolo con revisione tra pari o post di blog.

    scrive · candidates.jsonl
  2. 2acquire

    Ottiene

    Procura la migliore copia legale di ogni articolo, preferendo quelle ad accesso aperto, e non passa mai da biblioteche pirata. Registra ogni tentativo e perché è fallito, così sai quanta parte ha potuto davvero leggere.

    Gli articoli dietro paywall non si possono scaricare. Puoi aggiungere una copia procurata da te, dalla biblioteca o a pagamento. Passa per gli stessi controlli di identità e di testo completo e compare in una riga a parte, così non gonfia in silenzio la quota di articoli letti.

    scrive · acquisitions.jsonl · raw/
  3. 3normalize

    Prepara

    Trasforma PDF e pagine web in testo pulito e lo divide in passaggi, così ogni citazione si può ricondurre a un punto preciso.

    scrive · documents.jsonl · chunks.jsonl
  4. 4extract

    Estrae

    Un modello propone le affermazioni che trova in ogni articolo. Poi il codice controlla ogni affermazione contro la sua citazione. Quelle che non superano il controllo sono scartate e messe in elenco.

    scrive · claims.jsonl · rejections.jsonl
  5. 5review

    Ricontrolla

    Un secondo modello, diverso dal primo, rilegge ogni affermazione nel suo passaggio completo, per verificare che regga anche nel contesto.

    scrive · reviews.jsonl
  6. 6synthesize

    Riassume

    Per ogni domanda compone un profilo di evidenza con ciò che è stato accettato: i risultati, quante fonti vanno in una direzione e quante nell’altra, cosa è stato scartato e quanto è stato letto. In questo passo non usa modelli, rete o statistica: ordina e conta.

    scrive · profiles.jsonl

Tu ricevi un profilo di evidenza per ogni domanda. Una persona lo legge, decide e firma.

Le risposte

Non solo sì o no: cinque risposte possibili.

Una domanda posta agli studi non sempre ha un sì o un no. Ogni verdetto dice che cosa le prove permettono di affermare, e non di più. Lo registra una persona dopo aver letto il profilo di evidenza.

Le prove indicano una direzione

SUPPORTED

Le prove dicono di sì.

Il profilo convince, e chi firma scrive perché.

CONTRADICTED

Le prove dicono il contrario.

Il profilo convince nell’altra direzione.

Le prove non decidono, e può succedere in tre modi

CONTESTED_IN_LITERATURE

Gli studi non sono d’accordo.

Gli studi parlano e si contraddicono in modo che non si riesce a ricomporre.

UNANSWERED_IN_LITERATURE

Gli studi non risolvono la questione.

Sono stati letti, e non bastano per decidere.

NEVER_ASKED

Nessuno l’ha studiata.

Una persona ha verificato che non sia solo un vuoto della ricerca.

Questi tre sembrano uguali da fuori, e non lo sono. Trattare «gli studi non sono d’accordo» come «non si è trovato nulla» è l’errore che Claimstone esiste per evitare.

La firma è legata alle prove che la persona ha visto: se le prove cambiano dopo, il verdetto risulta obsoleto. Le domande sono numerate e congelate, e cambiare l’elenco è un cambio di versione datato.

Nessun verdetto è stato ancora firmato. Questi sono gli stati che il progetto riconosce.

Regole che il motore non piega

  • Nessuna affermazione senza citazione verificata

    La citazione deve essere una sottostringa esatta del suo chunk, e ogni numero e disuguaglianza dell’affermazione deve comparirvi. Ciò che fallisce va nel registro dei rifiuti.

  • Cinque stati di verdetto

    Nessuno si fonde in un altro. Una domanda di tipo operational non riceve alcun verdetto, invece di un sesto stato.

  • La soglia di acquisizione governa i verdetti

    Un round che ha ottenuto meno della sua soglia di ciò che ha trovato è INSUFFICIENT_ACQUISITION. Non c’è alcun override.

  • Il motore non contiene conoscenza di dominio

    Argomenti, domande e classi di fonti sono dati in ingresso sotto projects/.

  • Cambiare una domanda è un salto datato

    Un digest di id, testi e tipi fa rifiutare l’esecuzione a un cambiamento silenzioso.

  • La classe della fonte viaggia con ogni elemento

    Un post di blog e un articolo con revisione non condividono mai un insieme senza che sia registrato quale è quale.

  • Contare i voti non è sintesi

    La fase 6 emette un profilo di evidenza e nessun verdetto. Non c’è pooling.

Leggi la guida completa