2023-07-25 Una-Her-Doc bureaucracy

Novità

Sito (https://opencitations.net/download)

Ho aggiunto i record di tutte le versioni di Meta. Ogni record include le informazioni su:
- Qual è stata la modifica principale
- Le statistiche
- Link alla versione del dump corrispondente su Figshare

JWS

Ho implementato l’uso di PostgreSQL per salvare su disco le modifiche su cui basare la creazione degli snapshot e diminuire in questo modo il carico sulla RAM
- Tempi drasticamente aumentati
  - Tentativo 1: multiprocessing e multithreading → collo di bottiglia. Dove? Non lo so
  - Tentativo 2: richieste in batch a PostGreSQL, 1,000,000 di entità alla volta. Problema risolto
- Qualche statistica:
  - Versione 1-2: 34 minuti
Le query di update vengono generate direttamente dalla stringa delle triple aggiunte e rimosse, senza passare da rdflib, che da solo rallenta enormemente il processo.

Una-Her-DOC

attachments/679a78cb19cf40eb83c82f016c6ae5aa.png

Da questo calendario sembrerebbe che io debba partecipare a un workshop in presenza a novembre
Marco Polo

California