25-07-2023 Una-Her-Doc bureaucracy

Novità

Sito (https://opencitations.net/download)

Ho aggiunto i record di tutte le versioni di Meta. Ogni record include le informazioni su:
- Qual è stata la modifica principale
- Le statistiche
- Link alla versione del dump corrispondente su Figshare

JWS

Ho implementato l’uso di PostgreSQL per salvare su disco le modifiche su cui basare la creazione degli snapshot e diminuire in questo modo il carico sulla RAM
- Tempi drasticamente aumentati
  - Tentativo 1: multiprocessing e multithreading → collo di bottiglia. Dove? Non lo so
  - Tentativo 2: richieste in batch a PostGreSQL, 1,000,000 di entità alla volta. Problema risolto
- Qualche statistica:
  - Versione 1-2: 34 minuti
Le query di update vengono generate direttamente dalla stringa delle triple aggiunte e rimosse, senza passare da rdflib, che da solo rallenta enormemente il processo.

Una-Her-DOC

Da questo calendario sembrerebbe che io debba partecipare a un workshop in presenza a novembre
Marco Polo

California

Tu vuo far el phdino

25-07-2023 Una-Her-Doc bureaucracy

https://arcangelo7.github.io/p/47f83299ba814c198fea19cdcb579515/

Author

Arcangelo Massari

Posted on

July 24, 2023

Licensed under