PING - SACER PREINGEST
Il modulo software PING (PreINGest) gestisce il processo di preacquisizione nel caso di versamento di Oggetti da trasformare in SIP.
Introduzione
Questo manuale descrive il processo di conservazione utilizzato nel contesto applicativo Pre Ingest. Il processo di conservazione è suddiviso in diverse fasi, ognuna delle quali è fondamentale per garantire la precisione e l'efficacia del sistema.
Fase di Pre Ingest
Il modulo software PING (PreINGest) gestisce il processo di preacquisizione nel caso di versamento di Oggetti da trasformare in SIP.
La trasmissione dei pacchetti, solitamente compressi, avviene tramite interfaccia utente o protocollo FTPS; l’FTP server provvede a memorizzare i file ricevuti sullo storage dedicato allo spazio FTP di input.
Una volta ricevuti gli Oggetti, un job schedulato provvede alla loro elaborazione per la produzione dei SIP da versare. Un ulteriore job schedulato si occupa di effettuare il versamento a SacER, che avviene utilizzando un apposito servizio di versamento. Tale servizio accetta in chiamata due file XML, uno con l’Indice del SIP e un altro con le Informazioni sull’impacchettamento, relative alla posizione dei file del SIP memorizzati sullo spazio FTP di input.
SacER utilizza le Informazioni sull’impacchettamento per recuperare i file dal file system di PING e depositarli nel proprio per le successive elaborazioni.
Le successive elaborazioni vengono eseguite da PING direttamente, nel caso in cui la normalizzazione possa basarsi su regole precodificate (come p.e. nel caso delle immagini diagnostiche in formato Dicom), oppure utilizzando un motore ETL di esecuzione delle trasformazioni nel caso in cui si debbano applicare regole di trasformazioni specifiche dell’oggetto in questione. In questo caso le regole vengono definite durante la fase di avvio del servizio, tramite uno strumento visuale ed eventuali integrazioni di codice sviluppato ad hoc.
PING traccia e memorizza nel proprio Data Base gli esiti dei versamenti a SacER e può essere interrogato da un operatore tramite interfaccia web o dal sistema versante tramite opportuno Web Service, per conoscere a quale punto del processo è giunto il SIP.
PING mette inoltre a disposizione del Produttore un client di versamento di Oggetti da trasformare, sia on line, sia tramite l’utilizzo di un client FTP installato sulla postazione di lavoro dell’utente o su un server della rete del Produttore.
Processo ETL
Il processo di Pre Ingest utilizza una procedura ETL (Extract, Transform, Load) per trasformare e caricare i dati. Questo processo è essenziale per convertire i dati in un formato adatto per la conservazione.
- Extract (Estrazione): I dati vengono estratti dai documenti e dai metadati forniti.
- Transform (Trasformazione): I dati estratti vengono trasformati secondo le logiche definite.
- Load (Caricamento): I dati trasformati vengono caricati nel sistema di conservazione come pacchetti di versamento.
Configurazione delle Trasformazioni
Le trasformazioni vengono configurate all'interno del contesto applicativo Pre Ingest. Questo include la definizione delle logiche di trasformazione e la configurazione dei parametri necessari.
Esempio di Trasformazione
Un esempio pratico di trasformazione riguarda gli ordinativi informatici. In questo caso, i dati vengono definiti utilizzando un foglio Excel, dove le colonne rappresentano i dati dell'indice SIP e le righe rappresentano le tipologie documentarie.
- Definizione dei Parametri: I parametri di versamento vengono definiti nel foglio Excel.
- Valorizzazione dei Tag: I tag vengono valorizzati con i dati estratti dai documenti.
- Creazione dei Collegamenti: I collegamenti vengono creati sulla base delle informazioni definite.