Open source · Apache-2.0
Legge gli studi scientifici e non dice più di quanto c’è scritto.
Gli dai degli argomenti e un elenco fisso di domande. Claimstone cerca le pubblicazioni, ottiene legalmente quelle che può e le legge una per una. Per ogni domanda ti restituisce le prove, ciascuna con la citazione esatta dal testo, e ti dice quanto di ciò che ha trovato è riuscito a leggere.
- ogni affermazione ha la sua citazione
- nessuna media tra gli studi
- il verdetto lo firma una persona
- la citazione è una sottostringa esatta del chunk
- ogni numero e disuguaglianza compare nella citazione
- “1.2” non compare nella citazione
Esempio illustrativo, non il risultato di una fonte reale.
A cosa serve
Interroga gli studi. Controlla la risposta.
Quando si leggono gli studi su un argomento ci sono due errori da evitare: affermare più di quanto dicono le fonti, e concludere che un effetto non esiste solo perché non si sono trovate prove. Claimstone serve quando non puoi permetterti né l’uno né l’altro.
Sul tuo argomento ci sono centinaia di articoli e non hai il tempo di leggerli.
Trova i candidati per due strade indipendenti, ricerca per parole chiave e citazioni, ottiene la copia legale di ogni articolo che può e li legge uno per uno.
I riassunti fatti con l’IA sembrano sicuri di sé, ma non sai cosa dice davvero l’articolo.
Ogni affermazione porta una citazione copiata parola per parola dall’articolo. Il codice verifica che la citazione ci sia davvero e che ogni numero dell’affermazione vi compaia. Ciò che non supera il controllo è scartato, e l’elenco degli scarti resta visibile.
«Non ho trovato nulla» può voler dire che non c’è nulla, oppure che gli articoli non si sono potuti ottenere.
Misura quanta parte di ciò che ha trovato è riuscito a ottenere, rispetto a una soglia dichiarata in anticipo. Sotto la soglia si ferma e non trae conclusioni. E tiene separati tre casi che si confondono facilmente: le fonti non rispondono, le fonti dicono il contrario, le fonti sono in disaccordo tra loro.
Ti serve una risposta che puoi difendere, non una scatola nera.
Per ogni domanda prepara un profilo di evidenza: ogni risultato, quante fonti vanno in una direzione e quante nell’altra, cosa è stato scartato e quanto è stato letto. Una persona lo legge e firma. Ogni passaggio scrive file di testo semplici che puoi aprire e interrogare.
E non è legato a un settore. Argomenti, domande e tipi di fonti sono file di input: nel motore non c’è nulla di specifico della finanza o della biologia.
Come funziona
Dalle tue domande a una risposta che puoi controllare, in sei passi.
Tu dai gli argomenti e le domande. Claimstone fa il resto, un passo alla volta, e a ogni passo lascia un file che puoi aprire e controllare.
Tu dai gli argomenti, un elenco fisso di domande numerate e i tipi di fonte che accetti. Sono tre file semplici.
- 1discover
Trova
Cerca gli articoli sui tuoi argomenti in due modi indipendenti: per parole chiave e seguendo le citazioni. Ottieni l’elenco dei candidati, ciascuno con il tipo di fonte, per esempio articolo con revisione tra pari o post di blog.
scrive · candidates.jsonl - 2acquire
Ottiene
Procura la migliore copia legale di ogni articolo, preferendo quelle ad accesso aperto, e non passa mai da biblioteche pirata. Registra ogni tentativo e perché è fallito, così sai quanta parte ha potuto davvero leggere.
Gli articoli dietro paywall non si possono scaricare. Puoi aggiungere una copia procurata da te, dalla biblioteca o a pagamento. Passa per gli stessi controlli di identità e di testo completo e compare in una riga a parte, così non gonfia in silenzio la quota di articoli letti.
scrive · acquisitions.jsonl · raw/ - 3normalize
Prepara
Trasforma PDF e pagine web in testo pulito e lo divide in passaggi, così ogni citazione si può ricondurre a un punto preciso.
scrive · documents.jsonl · chunks.jsonl - 4extract
Estrae
Un modello propone le affermazioni che trova in ogni articolo. Poi il codice controlla ogni affermazione contro la sua citazione. Quelle che non superano il controllo sono scartate e messe in elenco.
scrive · claims.jsonl · rejections.jsonl - 5review
Ricontrolla
Un secondo modello, diverso dal primo, rilegge ogni affermazione nel suo passaggio completo, per verificare che regga anche nel contesto.
scrive · reviews.jsonl - 6synthesize
Riassume
Per ogni domanda compone un profilo di evidenza con ciò che è stato accettato: i risultati, quante fonti vanno in una direzione e quante nell’altra, cosa è stato scartato e quanto è stato letto. In questo passo non usa modelli, rete o statistica: ordina e conta.
scrive · profiles.jsonl
Tu ricevi un profilo di evidenza per ogni domanda. Una persona lo legge, decide e firma.
Le risposte
Non solo sì o no: cinque risposte possibili.
Una domanda posta agli studi non sempre ha un sì o un no. Ogni verdetto dice che cosa le prove permettono di affermare, e non di più. Lo registra una persona dopo aver letto il profilo di evidenza.
Le prove indicano una direzione
SUPPORTEDLe prove dicono di sì.
Il profilo convince, e chi firma scrive perché.
CONTRADICTEDLe prove dicono il contrario.
Il profilo convince nell’altra direzione.
Le prove non decidono, e può succedere in tre modi
CONTESTED_IN_LITERATUREGli studi non sono d’accordo.
Gli studi parlano e si contraddicono in modo che non si riesce a ricomporre.
UNANSWERED_IN_LITERATUREGli studi non risolvono la questione.
Sono stati letti, e non bastano per decidere.
NEVER_ASKEDNessuno l’ha studiata.
Una persona ha verificato che non sia solo un vuoto della ricerca.
Questi tre sembrano uguali da fuori, e non lo sono. Trattare «gli studi non sono d’accordo» come «non si è trovato nulla» è l’errore che Claimstone esiste per evitare.
La firma è legata alle prove che la persona ha visto: se le prove cambiano dopo, il verdetto risulta obsoleto. Le domande sono numerate e congelate, e cambiare l’elenco è un cambio di versione datato.
Nessun verdetto è stato ancora firmato. Questi sono gli stati che il progetto riconosce.
A che punto siamo
Siamo all’inizio, e lo diciamo apertamente.
Claimstone funziona dall’inizio alla fine, ma è giovane. Ecco cosa è stato fatto e cosa no.
Funziona già
Tutti e sei i passi funzionano, dalla ricerca al profilo di evidenza. Un round completo è stato eseguito su articoli ad accesso aperto di PubMed Central sul tempo di schermo: 37 dei 40 articoli trovati sono stati ottenuti, sopra la soglia dell’80% fissata in anticipo. Ha prodotto 1.721 annotazioni accettate e 271 rifiutate, tutte in elenco.
Non ancora
Nessun verdetto è stato firmato. Il primo profilo è pronto per essere letto da una persona; gli altri sette sono provvisori. Altre due raccolte di articoli sono rimaste sotto la soglia, quindi Claimstone non ha prodotto nulla, come deve. Il portale per seguire il lavoro per ora è in sola lettura.
Dove serve aiuto
Segnalazioni, misure e nuovi campi sono tutti utili. I modi di partecipare sono qui sotto.
Partecipa
Tre modi di partecipare, da dieci minuti a un progetto intero.
Non serve conoscere il motore per dare una mano. Scegli la misura adatta al tuo tempo.
Segnala cosa non torna
Leggi come il progetto si descrive e dicci dove dice più di quanto può dimostrare, o dove un controllo lascia passare qualcosa. Basta una issue con la pagina e la frase.
Apri una issue →Metti alla prova una decisione
Ogni decisione di progetto è registrata con la misura che l’ha risolta. Scegline una, ripeti la misura o portane una migliore, e raccontaci cosa trovi.
Leggi le decisioni →Usalo sul tuo campo
Scrivi i tre file di input per un argomento che conosci, da articoli pubblici, e fallo girare. Quello che i controlli rifiutano sul tuo campo è la segnalazione più utile che possiamo ricevere.
Segui la guida →Una regola non è negoziabile: nessuna affermazione entra senza citazione verificata. Il resto si discute. Leggi la regola