source: client/shared/scripts/updateCache

qndtest
Last change on this file was bbef39b, checked in by Irina Gómez <irinagomez@…>, 5 years ago

#909 updateCache: Fixs log message for multicast.
  • Property mode set to 100755
File size: 12.6 KB
Line 
1#!/bin/bash
2#/**
3#         updateCache
4#@brief   Actualiza la cache del cliente con imagen o fichero iso.
5#@param 1 REPO          Origen del fichero. -accesible por nfs-samba-
6#@param 2 str_fichero   nombre del fichero a actualizar.
7#@param 3 str_protoco.  TORRENT | MULTICAST    | UNICAST.
8#@param 4 str_opcionesprotocolo
9#@param 4 str_opcionesupdatecache
10#@ejemplo: oneRemoteFromMaster 172.17.36.11 CACHE /imagen1 9000:full-duplex:239.194.17.36:70M:50:100 1 1 partclone lzop
11#@return 
12#@exception OG_ERR_FORMAT       formato incorrecto.
13#@exception OG_ERR_NOTCACHE     No existe cache -15-
14#@exception $OG_ERR_CACHESIZE   Tamaño de la paticion menor al archivo a descargar -16-
15#@exception $OG_ERR_MCASTRECEIVERFILE  Error en la recepción Multicast de un fichero -57-
16#@exception $OG_ERR_PROTOCOLJOINMASTER Error en la conexión de una sesión Unicast|Multicast con el Master -60-
17#@note   
18#@todo:
19#@version 0.9.1 - integracion EAC
20#@author  Antonio J. Doblas Viso. Universidad de Malaga.
21#@date    2008/03/17
22#@version 0.9.2 - integracion OpenGnsys
23#@author  Antonio J. Doblas Viso. Universidad de Malaga.
24#@date    2010/07/27
25#@version 1.0.1 - Control de espacio requerido
26#@author  Antonio J.Doblas Viso
27#@date   2011-05-10
28#@version 2.0.1 - Imagenes sincronizadas
29#@date    2013-02-20
30#@version 1.0.5 - uso de md5 full para las transferencias torrent, en la llamada => ogUpdateCacheIsNecesary
31#@date    2014-07-09
32#@version 1.1 - Cambio de repositorio para el recurso remoto images si es necesario
33#@author  Irina Gomez, ETSII Universidad de Sevilla
34#@date    2015-06-16
35#@version 1.1 - Control de errores en transferencia multicast (ticket #781)
36#@author  Irina Gomez, ETSII Universidad de Sevilla
37#@date    2017/04/20
38#*/ ##
39
40PROG="$(basename $0)"
41if [ $# -lt 3 ]; then
42    ogRaiseError session $OG_ERR_FORMAT "$MSG_FORMAT: $PROG str_REPO _str_Relative_Path_OGIMG_with_/ PROTOCOLO OPCIONES_PROTOCOLO OPCIONES_UPDATECACHE"
43    exit $?
44fi
45
46#Carga del configurador del engine
47[ -z $OGENGINECONFIGURATE ] && source /opt/opengnsys/etc/engine.cfg
48
49# Clear temporary file used as log track by httpdlog
50# Limpia los ficheros temporales usados como log de seguimiento para httpdlog
51echo " " > $OGLOGCOMMAND
52
53if ! [ "$(ogGetCaller)" == "deployImage" -o "$(ogGetCaller)" == "restoreBaseImage" -o "$(ogGetCaller)" == "restoreDiffImage" ]; then
54    echo -n "" > $OGLOGSESSION;
55
56    # Registro de inicio de ejecución
57    ogEcho log session "[1] $MSG_SCRIPTS_START $0 $*"
58fi
59
60REPOSITORIO="${1^^}"
61PROTOCOLO="${3^^}"
62OPTPROTOCOLO="$4"
63# Si MCASTWAIT menos que tiempo de espera del servidor lo aumento
64if [ "${PROTOCOLO%-*}" == "MULTICAST" ] && [[ ${OPTPROTOCOLO##*:} =~ ^-?[0-9]+$  ]]; then
65    [ ${MCASTWAIT:0} -lt ${OPTPROTOCOLO##*:} ] && let MCASTWAIT=${OPTPROTOCOLO##*:}+5
66fi
67
68# Unidad organizativa.
69[ "$ogunit" != "" ] && OGUNIT="$ogunit/"
70
71# Si es una ip y es distinta a la del recurso samba cambiamos de REPO.
72ogCheckIpAddress $REPOSITORIO
73if [ $? == 0 -o $REPOSITORIO == "REPO" ] ; then
74        # Si falla el cambio -> salimos con error repositorio no valido
75        ogChangeRepo $REPOSITORIO $OGUNIT || exit $(ogRaiseError $OG_ERR_NOTFOUND $REPOSITORIO; echo $?)
76        REPOSITORIO="REPO"
77fi
78REPOIP=$(ogGetRepoIp)
79ogEcho log session  $REPOSITORIO $REPOIP $PROTOCOLO $OPTPROTOCOLO
80
81# Si el repositorio local CACHE no existe error 15.
82if ! $(ogFindCache >/dev/null); then
83        ogRaiseError session $OG_ERR_NOTCACHE "CACHE"
84        exit $?
85fi
86
87# comprobar si la imagen existe (.img, .img.diff o directorio)
88REPOFILE=$(ogGetPath "REPO" "/$2")
89[ -n "$REPOFILE" ] || exit $(ogRaiseError session $OG_ERR_NOTFOUND "REPO /$2"; echo $?) 
90
91ogEcho log session "$MSG_SCRIPTS_UPDATECACHE_DOUPDATE"
92# Distingo si es monolitica o sincronizable
93file "$REPOFILE" | grep -i -e " BTRFS Filesystem " -e " ext4 filesystem " -e " directory" 2>&1 > /dev/null
94if [ $? == 0 ]; then
95        IMGSYNC=TRUE
96        # Para imagen sincronizada, si hay imagen en cache siempre protocolo = rsync.
97        CACHEFILE="$(ogGetPath "CACHE" "/$2")"
98        [ -n "$CACHEFILE" ] && PROTOCOLO="RSYNC"
99        # Si es sincronizada tipo directorio  siempre protocolo = rsync.
100        [ -d $REPOFILE ] && PROTOCOLO="RSYNC" && IMGTYPE="dir"
101
102        # Si es imagen sincronizada siempre da distinto md5. No podemos comprobar -> actualizamos.
103        RETVAL=0
104else
105        # Si la imagen es monolitica y ha elegido protocolo = RSYNC salimos con error.
106        [ $PROTOCOLO == "RSYNC" ] && exit $(ogRaiseError session $OG_ERR_DONTSYNC_IMAGE "REPO $2"; echo $?)
107        IMGSYNC=FALSE
108        ogUpdateCacheIsNecesary "$REPOSITORIO" "$2" "$PROTOCOLO"
109        RETVAL=$?
110fi
111# si RETVAL=0 => actualizamos  si RETVAL=1 no actaulizasmo-exit 0  || si RETVAL>2 exit 1
112[ "$RETVAL" == "1" ] && exit 0
113[ "$RETVAL" -gt  "1" ] && exit $OG_ERR_UPDATECACHE
114
115ogEcho log session  "$MSG_SCRIPTS_UPDATECACHE_CHECKSIZECACHE" 
116CACHESIZE=$(ogGetCacheSize)
117CACHESIZEFREE=$(ogGetFreeSize `ogFindCache`)
118FILESIZE=$(ls -sk $(ogGetPath $REPOSITORIO "$2") | cut -f1 -d" ")
119if [ "$IMGTYPE" == "dir" ]; then
120        ogEcho log session "   * $MSG_SCRIPTS_UPDATECACHE_CHECKSIZEDIR"
121        ogEcho log session "     du -sk $REPOFILE"
122        REALFILESIZE=$(du -sk "$REPOFILE"|awk '{print $1}')
123else
124        REALFILESIZE=$(ls -l --block-size=1024 $REPOFILE | cut -f5 -d" ")
125fi
126
127# La sincronizada, si existe la imagen en cache el espacio necesario
128#        es la nueva menos lo que ocupa la que ya hay.
129if [ "$PROTOCOLO" == "RSYNC" ]; then
130        if [ "$CACHEFILE" == "" ]; then
131                CACHEFILESIZE=0
132        else
133           if [ "$IMGTYPE" == "dir" ]; then
134                ogEcho log session "   * $MSG_SCRIPTS_UPDATECACHE_CHECKSIZEDIR $CACHEFILESIZE"
135                ogEcho log session "     du -sk $CACHEFILE"
136                CACHEFILESIZE=$(du -sk $CACHEFILE |awk '{print $1}')
137           else
138                CACHEFILESIZE=$(ls -l --block-size=1024 "$CACHEFILE" | cut -f5 -d" ")
139           fi
140        fi
141        let SIZEREQUIRED=$REALFILESIZE-$CACHEFILESIZE
142        [ $SIZEREQUIRED -lt 0 ] && SIZEREQUIRED=0
143else
144        SIZEREQUIRED=$FILESIZE
145fi
146
147#ERROR CACHESIZE 16 (tamanyo de la CACHE insuficiente)
148if [ "$SIZEREQUIRED" -ge "$CACHESIZE" ] 
149then
150        ogEcho log session "$MSG_WARNING: $MSG_ERR_CACHESIZE:  $2 = $SIZEREQUIRED > CACHE = $CACHESIZE"
151        ogRaiseError session $OG_ERR_CACHESIZE "CACHE"
152        exit $?
153fi
154
155
156#ERROR CACHESIZE 16 (Espacio libre en CACHE insuficiente)
157if [ "$SIZEREQUIRED" -ge "$CACHESIZEFREE" ] 
158then
159    ogEcho log session "$MSG_SCRIPTS_UPDATECACHE_IFNOTCACHEDO: ACTIONCACHEFULL=$ACTIONCACHEFULL"
160        case "$ACTIONCACHEFULL" in
161        NONE)
162                ogEcho log session "$MSG_WARNING: $MSG_ERR_CACHESIZE:  $2 = $SIZEREQUIRED > FREE SPACE CACHE = $CACHESIZEFREE"
163                ogRaiseError session $OG_ERR_CACHESIZE "CACHE FULL, NO SPACE FREE"
164                exit $?
165        ;;
166        FORMAT)
167            ogEcho log session  "[51] $MSG_HELP_ogFormatCache "
168            ogUnmountCache
169            ogFormatCache
170            ogMountCache
171            NEXTOPERATION=REPEAT
172        ;;
173        DELETE)
174            ogEcho log session "[51] #MSG_HELP_ogDeleteTree $OGCAC$OGIMG/* "
175            rm -fr  $OGCAC$OGIMG/*
176            NEXOPERATION=REPEAT
177        ;;
178        *)
179                ogEcho log session "$MSG_WARNING: $MSG_ERR_CACHESIZE:  $2 = $FILESIZE > CACHE = $CACHESIZEFREE"
180                ogRaiseError session $OG_ERR_CACHESIZE "CACHE"
181                exit $?
182        ;;
183        esac   
184fi
185
186# Comprobamos que imagen cache igual a la del repo. Si sincronizada no podemos comprobar.
187[ "$IMGSYNC" == "TRUE" ] || ogUpdateCacheIsNecesary $REPOSITORIO "$2" "$PROTOCOLO"
188RETVAL=$?
189# si RETVAL=0 => actualizamos  si RETVAL=1 no actaulizasmo-exit 0  || si RETVAL>2 exit 1
190[ "$RETVAL" == "1" ] && exit 0
191[ "$RETVAL" -gt  "1" ] && exit $OG_ERR_UPDATECACHE
192
193ogMountCache >/dev/null
194
195## Si no existe, crear subdirectorio para el fichero en la cache.
196IMGDIR=$(ogGetParentPath CACHE "/$2")
197if [ $? != 0 ]; then
198    ogEcho log session "[5] $MSG_HELP_ogMakeDir  \"$2 $(dirname "$2")."
199    ogMakeDir CACHE $(dirname "/$2")
200    IMGDIR=$(ogGetParentPath CACHE "/$2") || exit $?
201fi
202
203TIME1=$SECONDS
204
205case "$PROTOCOLO" in
206        TORRENT)
207                ogEcho log session "ogCopyFile $REPOSITORIO $2.torrent absolute $OGCAC/$OGIMG"
208                # tiempos
209                timewait=$(expr $(printf '%d\n' 0x$(ogGetMacAddress | awk -F: '{print $5$6}')) \* 120 / 65535)                         
210                ogExecAndLog command ogCopyFile $REPOSITORIO "$2.torrent" "$IMGDIR" || exit $?
211                #TODO: comprobar que el tracker definido en el fichero es correcto.
212                #TODO comprobar que el fichero torrent está en cache
213                # retardamos el inicio -aleatorio de 0 a 120 segundos- al tracker para gestionar mas de +-40 equipos
214                P2PWAIT=$[ ( $RANDOM % 120 )  + 1 ]
215                ogEcho log session "   [ ] $MSG_SCRIPTS_TASK_SLEEP :  $P2PWAIT seconds"
216                sleep $P2PWAIT
217                ogEcho log session "   [  ] $MSG_SCRIPTS_TASK_START:  ogTorrentStart CACHE $2.torrent $4"
218                ogExecAndLog command ogTorrentStart CACHE "$2.torrent" $4
219                RESUMEUPDATECACHE=$(grep -m 1 -B1 "Download" $OGLOGCOMMAND) 
220                RESUMEUPDATECACHEbf=$(grep -m 1 "Download" $OGLOGCOMMAND) 
221                if [ "$RESUMEUPDATECACHEbf" == "Download complete." ]; then
222                        rm -f $IMGDIR$2".torrent.bf"
223                fi
224        ;;
225        MULTICAST)
226                ogEcho log session "$MSG_SCRIPTS_UPDATECACHE_CHECKMCASTSESSION: $REPOIP:${OPTPROTOCOLO%%:*}"
227                #TODO: ticket 379
228                NUMBER=$[ ( $RANDOM % 30 )  + 1 ]
229                sleep $NUMBER
230                #FIN TODO
231                ogEcho log session ogMcastRequest "$2" $OPTPROTOCOLO
232                ogExecAndLog command ogMcastRequest "$2" $OPTPROTOCOLO || exit $?
233                ogEcho log session ogMcastReceiverFile ${OPTPROTOCOLO%%:*} CACHE "$2"
234                ogExecAndLog command ogMcastReceiverFile ${OPTPROTOCOLO%%:*} CACHE "$2" || exit $?
235                RESUMEUPDATECACHE=$(grep -m 1  -B1 "Transfer complete" $OGLOGCOMMAND.tmp)
236        ;;
237        UNICAST)
238                #ogEcho log session "unicast"
239                ogExecAndLog command ogCopyFile $REPOSITORIO "$2" "$IMGDIR"
240                sleep 5
241                RESUMEUPDATECACHE=$(grep -m 1  "100%" $OGLOGCOMMAND.tmp)
242        ;;
243        RSYNC)
244           # Si parametro de protocolo no era rsync, mensaje de cambio protocolo
245           [ "${3^^}" == "RSYNC" ] || ogEcho log session "$MSG_SCRIPTS_UPDATECACHE_RSYNCPROTOCOLCHANGE"
246           # Opciones de rsync
247           USERRSYNC="opengnsys"
248           PASSWORD=" --password-file=/scripts/passrsync "
249           OPTRSYNC=" --delete --progress "
250           [ "$ogrsyncz" ==  "true" ] && OPTRSYNC="z $OPTRSYNC"
251           [ "$ogrsyncw" ==  "true" ] && OPTRSYNC="w$OPTRSYNC"
252
253           if [ -d $REPOFILE ]; then
254                # Si es sincronizada tipo directorio.
255                [ -d "$OGCAC$OGIMG/$2" ] || mkdir "$OGCAC$OGIMG/$2"
256                ogEcho log session "rsync -aHAX$OPTRSYNC  $USERRSYNC@$REPOIP::ogimages/$OGUNIT$2/ $OGCAC$OGIMG/$2"
257                rsync -aHAX$OPTRSYNC  $PASSWORD "$USERRSYNC@$REPOIP::ogimages/$OGUNIT$2/" "$OGCAC$OGIMG/$2" 2>> $OGLOGCOMMAND  | egrep "^sent|^sending|^total%" >>  $OGLOGCOMMAND
258           else
259                # Si es sincronizada tipo archivo.
260                [ "${2##*.}" == "img" ] && IMGTYPE="img" ||  IMGTYPE="diff"
261                IMGNAME="${2%.img*}"
262
263                DIRMOUNT=$(ogGetMountImageDir "$IMGNAME" $IMGTYPE)
264                DIRLOCAL="/tmp/$DIRMOUNT"
265                mkdir "$DIRLOCAL" 2>/dev/null
266                ogEcho log session "$MSG_SCRIPTS_UPDATECACHE_CHECKSIZEIMG"
267
268                # Si la imagen no existe la creo
269                # Si la imagen del repositorio es mayor, redimensiono la imagen de cache
270                if [ "$CACHEFILE" == "" -o  $CACHEFILESIZE -lt $REALFILESIZE ]; then
271                        ogEcho log session "$MSG_HELP_ogCreateFileImage"
272                        ogCreateFileImage CACHE "$IMGNAME" $IMGTYPE $REALFILESIZE 
273                        TIMEAUX3=$[SECONDS-TIMEAUX3]
274                        ogEcho log session "      $MSG_SCRIPTS_TASK_END, $MSG_SCRIPTS_TIME_PARTIAL: $[TIMEAUX3/60]m $[TIMEAUX3%60]s"
275                fi
276                # Montamos las imagenes para sincronizarlas. Quitamos / inicial.
277                ogMountImage CACHE  "${IMGNAME#\/}" $IMGTYPE || exit $?
278                ogMountImage REPO  "${IMGNAME#\/}" $IMGTYPE 
279                # Esperamos que se monte la imagen en el servidor
280                ogWaitSyncImage  REPO  "$IMGNAME" $IMGTYPE "mounted" || exit $?
281                ogEcho log session "      rsync -aHAX$OPTRSYNC  $USERRSYNC@$REPOIP::ogimages/$DIRMOUNT/ $DIRLOCAL"
282                rsync -aHAX$OPTRSYNC  $PASSWORD "$USERRSYNC@$REPOIP::ogimages/$DIRMOUNT/" "$DIRLOCAL" 2>>$OGLOGCOMMAND  | egrep "^sent|^sending|^total|%" >>   $OGLOGCOMMAND
283                # RETVAL="1" -> OK  RETVAL="2" -> error  # valores igual que ogUpdateCacheIsNecesary
284                [ ${PIPESTATUS[0]} -eq 0 ] && RETVAL="1"|| RETVAL="2"
285                # Desmonto las imagenes
286                ogUnmountImage CACHE  "$IMGNAME" $IMGTYPE
287                ogUnmountImage REPO  "$IMGNAME" $IMGTYPE
288                ogUnlockImage CACHE "$2"
289           fi
290        ;;
291esac
292
293TIME1=$[SECONDS-TIME1]
294
295ogEcho log session "   [ ] $RESUMEUPDATECACHE "
296ogEcho log session "   [ ] $MSG_SCRIPTS_TIME_PARTIAL updateCache $[TIME1/60]m $[TIME1%60]s"
297ogEcho log session "   [ ] $MSG_SCRIPTS_TASK_START $MSG_HELP_ogCalculateChecksum "
298TIME2=$SECONDS
299# Si es imagen sincronizada siempre da distinto md5. No podemos comprobar
300if [ "$IMGSYNC" == "TRUE" ]; then 
301        # RETVAL="1" -> OK  RETVAL="2" -> error  # valores igual que ogUpdateCacheIsNecesary
302        [ $PROTOCOLO == "RSYNC" ] || RETVAL=1
303else
304        ogUpdateCacheIsNecesary $REPOSITORIO "$2" "$PROTOCOLO"
305        RETVAL=$?
306fi
307if [ "$(ogGetCaller)" != "deployImage" ]; then
308        TIME2=$[SECONDS-TIME2]
309        ogEcho log session "   [ ] $MSG_SCRIPTS_TIME_PARTIAL $MSG_HELP_ogCalculateChecksum $[TIME2/60]m $[TIME2%60]s"
310fi
311# si RETVAL=0 => actualizamos  si RETVAL=1 no actaulizamos-exit 0  || si RETVAL>2 exit 1
312[ "$RETVAL" == "0" ] && exit $OG_ERR_UPDATECACHE
313[ "$RETVAL" == "1" ] && exit 0
314[ "$RETVAL" -gt  "1" ] && exit $OG_ERR_UPDATECACHE
315
Note: See TracBrowser for help on using the repository browser.