CatalisWiki

Esta página es de solo lectura. Puedes ver la fuente pero no puedes cambiarla. Pregunta a tu administrador si crees que esto es incorrecto.
====== Procedimiento para actualizar el OPAC ======

Durante un tiempo (aprox. 2006-2008), el proceso de actualización se realizó ejecutando tres scripts en mi PC:

  ./download-db.sh bibima
  ./update-db.sh bibima
  ./upload-db.sh bibima

Luego de los cambios realizados a OpacMarc alrededor de octubre de 2008, la situación se despelotó y se interrumpieron las actualizaciones.

Ya es hora de volver a la normalidad.

Pero para eso hay que clarificar la situación: cuáles son los pasos y los scripts involucrados, qué hay que hacer manualmente y debería ser automatizado, etc.


===== Descarga de las bases =====

Todo empieza con la obtención de los datos originales:

  * la base bibliográfica propia (base **bibima**)
  * la base bibliográfica con nuestros registros de seriadas (base **serial**), extraidos de la base colectiva de publicaciones seriadas (base **carpc**) 
  * el archivo con las existencias asociadas a nuestras publicaciones seriadas (archivo **EMA.001**)

La base ''serial'' fue generada en el servidor mediante un script ''serial.sh'', que simplemente hace esto:

  QUERY="-CREADO_POR=FG or -CREADO_POR=LG or -CREADO_POR=ESA or -CREADO_POR=AES"
  mx $BASE_CARPC "$QUERY" "proc='d1106'" create=$BASE_SERIAL now -all

FIXME Es una incomodidad tener que correr este script manualmente cada vez que vamos a hacer una actualización del OPAC. --- Pero no hay que correrlo manualmente, podemos ejecutar comandos en forma remota con **ssh**.

Descargamos las bases del servidor de esta manera:

  $ cd ~/dev/opacmarc/local-testdata/bin
  $ ./download-db.sh bibima

El script ''download-db.sh'' hace esto:

  * descarga ''bibima/biblio.{mst,xrf}''
  * descarga ''bibima/serial.{mst,xrf}''  <= acerca del origen de esta base, ver arriba
  * hace backup local de ambas bases (formato ''.id.gz'')
  * crea una base temporal de holdings, a partir de ''EMA.001'' (ver abajo), y envía al diccionario el identificador del registro bibliográfico
  * agrega los holdings en un campo 866 a los registros de serial
  * une (append) las bases serial y biblio
  * elimina la base temporal

Este es el contenido del directorio local que aloja las bases (''~/dev/opacmarc/local-testdata/bases/bibima/db/original''):

<code>
~/dev/opacmarc/local-testdata$ ll -tr  bases/bibima/db/original/
-rw-r--r-- 1 fernando fernando  133269 2006-10-18 20:31 bibima-secstitle-20061018.zip
-rw-r--r-- 1 fernando fernando   16896 2006-12-14 15:56 biblio-clean.xrf
-rw-r--r-- 1 fernando fernando 3290624 2006-12-14 15:56 biblio-clean.mst
-rw-r--r-- 1 fernando fernando   42938 2007-06-12 17:19 EMA.001-20070612
-rw-r--r-- 1 fernando fernando   89254 2007-06-12 21:19 secs20070612.zip
-rw-r--r-- 1 fernando fernando  139599 2007-06-12 21:30 bibima-secstitle-20070612.zip
-rw-rw-rw- 1 fernando fernando  328696 2007-08-10 17:56 title-20070810.id
-rw-r--r-- 1 fernando fernando    2560 2007-08-10 17:57 secstitle-20070810.xrf
-rw-r--r-- 1 fernando fernando  315904 2007-08-10 17:57 secstitle-20070810.mst
-rw-r--r-- 1 fernando fernando  328674 2007-08-10 17:57 secstitle.id.20070612
-rw-rw-rw- 1 fernando fernando   42317 2007-08-10 18:02 EMA.001-20070810
-rw-r--r-- 1 fernando fernando    2560 2008-04-17 15:26 secstitle-20080417.xrf
-rw-r--r-- 1 fernando fernando  333312 2008-04-17 15:26 secstitle-20080417.mst
-rw-r--r-- 1 fernando fernando  149004 2008-04-17 16:13 bibima-secstitle-20080417.zip
-rw-r--r-- 1 fernando fernando  149344 2008-05-02 15:38 secs-20080502.zip
-rw-rw-rw- 1 fernando fernando    3072 2008-06-03 15:59 secstitle.xrf
-rw-rw-rw- 1 fernando fernando  349184 2008-06-03 15:59 secstitle.mst
-rwxrwxrwx 1 fernando fernando   45191 2008-09-30 16:13 EMA.001-20080417
-rwxrwxrwx 1 fernando fernando  154680 2008-09-30 16:13 bibima-secstitle-20080603.zip
drwxr-xr-x 2 fernando fernando    4096 2008-09-30 16:13 webcheck
-rw-r--r-- 1 fernando fernando  527551 2008-10-01 15:58 serial.iso
lrwxrwxrwx 1 fernando fernando      16 2008-10-16 18:41 EMA.001 -> EMA.001-20080417
lrwxrwxrwx 1 fernando fernando      29 2008-10-16 18:41 bibima-secstitle.zip -> bibima-secstitle-20080603.zip
-rw-r--r-- 1 fernando fernando   16896 2009-05-07 18:35 serial.xrf
-rw-r--r-- 1 fernando fernando  873984 2009-05-07 18:35 serial.mst
-rw-r--r-- 1 fernando fernando   24064 2009-05-07 18:35 biblio.xrf
-rw-r--r-- 1 fernando fernando 7792128 2009-05-07 18:35 biblio.mst
</code>

FIXME Habría que limpiar un poco esa carpeta.


El archivo ''EMA.001'' (holdings) es generado desde SeCS en la PC de Leticia. Dos cuestiones para automatizar, una vez que este archivo llega a mi PC:
  * Aplicar ''dos2unix'' (en Ubuntu, instalar ''tofrodos'')
  * ''EMA.001'' debe ser un link simbólico al más reciente de los archivos ''EMA.001-<fecha>''



===== La base en mi OPAC local =====

Para ejecutar la actualización en mi instalación local, necesito "crear" la base ''bibima'' en dicha instalación:

  $ cd ~/dev/opacmarc/test-install/app/bin
  $ python add_db.py bibima

Creo links simbólicos al archivo maestro que tengo en ''local-testdata'':

  $ cd ~/dev/opacmarc/test-install/local-data/bases/bibima/db/original
  $ ln -s /home/fernando/dev/opacmarc/local-testdata/bases/bibima/db/original/biblio.mst .
  $ ln -s /home/fernando/dev/opacmarc/local-testdata/bases/bibima/db/original/biblio.xrf .

ATENCION: si modificamos el código del OPAC, hay que volver a ejecutar ''test.sh'', y crear la base local bibima.

Conectar esta parte con la documentación en [[:entorno_de_desarrollo_para_opacmarc]].

===== La actualización =====

Ejecutamos la actualización:

  $ cd ~/dev/opacmarc/test-install/app/bin
  $ python update_db.py bibima

Para acceder a la actualización abrimos esta página:

  http://192.168.242.60:8081/cgi-bin/wxis?IsisScript=xis/opac.xis&db=bibima&showForm=simple


Nota: 192.168.242.60 es el IP de mi PC; 8081 el puerto asociado a la instalación de OpacMarc (esos números podrían variar). Si pruebo directamente sobre mi PC, puedo entrar a:

  http://127.0.0.1:8081/cgi-bin/wxis?IsisScript=xis/opac.xis&db=bibima&showForm=simple

===== Subida de datos al servidor =====

  ~/dev/opacmarc/local-testdata/bin/upload-db.sh bibima

El script ''upload-db.sh'' hace esto:
  * Copia los archivos generados
  * Copia los archivos ''msc2000/msc.{mst,xrf}''

Las **imágenes** (tapas de libros) las veníamos subiendo manualmente, usando ''mc''. Sólo subíamos las más recientes.


===== Pruebas =====

El 18/05/2009 hice la primera actualización usando este esquema de trabajo. (La anterior había sido el 16/09/2008.) Hubo un error al subir la base msc:

  /home/fernando/dev/opacmarc/test-install/local-data/bases/bibima/db/public/msc2000/msc.mst: No such file or directory
  /home/fernando/dev/opacmarc/test-install/local-data/bases/bibima/db/public/msc2000/msc.xrf: No such file or directory


Repasemos lo que sucede con la base msc (o msc2000).

En el código svn de opacmarc, carpeta ''bin/install/data/'', tenemos el archivo **msc2000.id** (un archivo de texto con los datos "puros").

En el script de instalación, ''install.py'', tenemos la función **setup_msc()**, que realiza lo siguiente:
  * a partir de ''msc2000.id'' crea la base isis ''app/util/msc2000/msc2000''
  * genera el archivo invertido de esa base, usando ''msc.fst''
  * AGREGAR: genera diccionario para agrep

ATENCION: esta función es invocada en forma condicional, dependiendo de cómo fue llamado el script ''install.py'':

  python install.py     => no crea la base
  python install.py msc => crea la base

Creo que no es un buen método; podríamos crear la base en forma incondicional, y usarla sólo cuando se la necesite.

El script de actualización, ''update_db.py'', se mete con la base msc en dos ocasiones:

  * función build_agrep_dictionaries(), ejecutada sólo cuando DB_NAME == 'bibima' OJO: ya no necesita generar el dict (lo hizo install.py), basta con copiarlo
  * función build_aux_files(): Actualiza los postings para cada código MSC, en base a lo que encuentre en la base biblio; también sólo cuando DB_NAME == "bibima". Esta función modifica "in place" la base msc. OJO: ahora no altera la base msc, crea una copia con los postings.

Este script encuentra la base msc mediante el archivo cipar. FIXME terminar la explicación.

<del>Propuesta: el diccionario para agrep (archivo de texto) puede generarse por única vez desde ''install.py'', luego de crear la base msc y generar su archivo invertido. Luego en ''update_db.py'' build_aux_files() debería **crear** una base nueva que contenga los postings, pero dejando inalterada la base msc "pura"; es decir, en vez de ''mx ... copy'', usaríamos ''mx ... create''.</del> Propuesta semi-implementada; testearla!!



===== Imágenes =====

El 23-jun-2009 veo que no aparecen las imágenes de los libros. FIXME