more specific package locating and not readding the same packages

Chizi123

2020-10-15 d4b7a7e9735356e7b44e45b606e054191ca46452

 main.sh

@@ -4,8 +4,6 @@

source $(dirname "$(realpath $0)")/vars.sh

ERRORS=""

#Helper for finding newest and oldest files
#Sourced from stack overflow
# Usage: newold_matching_file [n/o] [filename]
@@ -42,7 +40,7 @@
}

#Build latest version of a package
# Usage: build_pkg [package name] [new?] [-f force]
# Usage: build_pkg [package name] [-f force]
function build_pkg {
   #check if PKGBUILD has updated, don't rebuild if hasn't changed
   if [[ ! -z $(git pull | grep "Already up to date.") && -z $(echo $1 | grep git) && -z $2 ]]; then
@@ -50,49 +48,92 @@
   fi

   #remove old versions before build
   rm *$1*.pkg.tar.xz*
   rm *$1*.pkg.tar.*

   #make and force rebuild if is git package
   makepkg -s --noconfirm $([ $CLEAN == "Y" ] && echo "-c") $([ $SIGN == "Y" ] && echo "--sign --key $KEY") $([ "$2" == "-f" ] && echo -f)
   if [ $? != 0 ]; then
   # Mictosoft fonts have problems with checksums and need a seperate argument
   if [[ "$1" == "ttf-ms-win10" ||
      "$1" == "ttf-office-2007-fonts" ||
      "$1" == "ttf-ms-win8" ||
      "$1" == "ttf-win7-fonts" ]]; then
      makepkg -s --noconfirm $([[ $CLEAN == "Y" ]] && echo "-c") $([[ $SIGN == "Y" ]] && echo "--sign --key $KEY") $([[ "$2" == "-f" ]] && echo -f) --skipchecksums
   else
      makepkg -s --noconfirm $([[ $CLEAN == "Y" ]] && echo "-c") $([[ $SIGN == "Y" ]] && echo "--sign --key $KEY") $([[ "$2" == "-f" ]] && echo -f) 2>&1
   fi
   if [[ $? != 0 ]]; then
      #Register error
      echo $1 >> $REPODIR/.errors
      return 1
   fi

   rm $REPODIR/*$1*.pkg.tar.xz*
   cp *$1*.pkg.tar.xz $REPODIR/
   [ "$SIGN" == "Y" ] && cp *$1*.pkg.tar.xz.sig $REPODIR
   while [ 1 ]; do
      if [ $(cat $REPODIR/.waitlist.lck) == 1 ]; then
   #Get build artifact names
   source PKGBUILD
   pkgs=()
   for i in ${pkgname[@]}; do
      #pkgs+=("$i-$pkgver-$pkgrel")
      pkgs+=("$(find . -mindepth 1 -maxdepth 1 -type f -name "$1*.pkg.tar.*" -not -name "*.sig" | sed 's/^\.\///')")
   done

   #Move package to repodir and add to repo db
   #Dont change the database if rebuilt the same package at same release and version
   for i in ${pkgs[@]}; do
      if [[ -f $REPODIR/$i ]]; then
         pkgs=${pkgs[@]/$i}
      else
         rm $REPODIR/*$1*.pkg.tar.*
         cp $i $REPODIR/
         [[ "$SIGN" == "Y" ]] && cp $i.sig $REPODIR/
      fi
   done

   # Weird exceptions
   if [[ "$1" == "zoom" ]]; then
      rm zoom*_orig*.pkg.tar.xz
   fi

   # Add package to waiting list to be added to repo db
   while true; do
      if [[ $(cat $REPODIR/.waitlist.lck) == 1 ]]; then
         sleep 1
      else 
      else
         echo 1 > $REPODIR/.waitlist.lck
         echo $1 >> $REPODIR/.waitlist
         echo 0 > $REPODIR/.waitlist.lck
         break
         fi
   done
   while [ 1 ]; do
      if [ "$(head -n1 $REPODIR/.waitlist)" == "$1" ]; then
	
   repo-add $([ "$SIGN" == "Y" ] && echo "--sign --key $KEY") $REPODIR/$REPONAME.db.tar.xz $REPODIR/*$1*.pkg.tar.xz
         while [ 1 ]; do
            if [ $(cat $REPODIR/.waitlist.lck) == 1 ]; then
   while true; do
      # Wait until package is at the top of the queue and add to db
      if [[ "$(head -n1 $REPODIR/.waitlist)" == "$1" ]]; then
         for i in ${pkgs[@]}; do
            repo-add $([[ "$SIGN" == "Y" ]] && echo "--sign --key $KEY") $REPODIR/$REPONAME.db.tar.xz $REPODIR/$i
         done
         while true; do
            if [[ $(cat $REPODIR/.waitlist.lck) == 1 ]]; then
               sleep 1
            else 
            else
               # Remove self from top of queue
               echo 1 > $REPODIR/.waitlist.lck
               tail -n +2 $REPODIR/.waitlist > $REPODIR/.waitlist.tmp
               cat $REPODIR/.waitlist.tmp > $REPODIR/.waitlist
               rm $REPODIR/.waitlist.tmp
               mv $REPODIR/.waitlist.tmp $REPODIR/.waitlist
               echo 0 > $REPODIR/.waitlist.lck
               break
            fi
         done
         break
      else
         if [[ -z "$(grep $1 $REPODIR/.waitlist)" ]]; then
            # Not on waitlist for some reason, need to readd
            if [[ $(cat $REPODIR/.waitlist.lck) == 1 ]]; then
               sleep 1
            else
               echo 1 > $REPODIR/.waitlist.lck
               echo $1 >> $REPODIR/.waitlist
               echo 0 > $REPODIR/.waitlist.lck
            fi
         fi
         sleep 10
      fi	
      fi
   done

   #Remove old versions of packages
@@ -110,15 +151,21 @@
# Usage: build_all [-f force]
function build_all {
   #system update
   if [ $UPDATE == "Y" ]; then
   if [[ $UPDATE == "Y" ]]; then
      sudo pacman -Syu --noconfirm
   fi

   #Remove waitlist and errors from old builds
   rm -f $REPODIR/{.waitlist,.errors}
   #update every package currently stored
   for d in $(find $BUILDDIR -maxdepth 1 -mindepth 1 -type d)
   do
      cd $d
      build_pkg $(echo $d | rev | cut -d'/' -f1 | rev) $1 > /dev/null &
      if [[ "$PARALLEL" == "Y" ]]; then
         build_pkg $(echo $d | rev | cut -d'/' -f1 | rev) $1 &> $([[ "$QUIET" == "Y" ]] && echo "/dev/null" || echo "/dev/tty")  &
      else
         build_pkg $(echo $d | rev | cut -d'/' -f1 | rev) $1 &> $([[ "$QUIET" == "Y" ]] && echo "/dev/null" || echo "/dev/tty")
      fi
   done
   wait

@@ -129,44 +176,52 @@
#There is no name checking so be sure to put in the name correctly
# Usage: add [package name]
function add {
   cd $BUILDDIR
   git clone https://aur.archlinux.org/$1.git
   cd $1
   build_pkg $1 new -f
   for i in $@; do
      cd $BUILDDIR
      git clone https://aur.archlinux.org/$i.git
      cd $i
      build_pkg $i -f
   done
   return 0
}

#Remove a package from the build list and repository
# Usage remove [package name]
function remove {
   rm -rf $BUILDDIR/$1*
   repo-remove $REPODIR/$REPONAME.db.tar.xz $1
   rm $REPODIR/$1*
   for i in $@; do
      rm -rf $BUILDDIR/$i*
      repo-remove $REPODIR/$REPONAME.db.tar.xz $i
      rm $REPODIR/$i*
   done
}

#Check config and create build folders
#Set variables before usage
# Usage: init
function init {
   if [[ $uid != 1 ]]; then
      echo "This must be run as root"
   fi

   #check for configuration here
   [ -z $REPODIR ] && echo "Enter REPODIR" && return 1
   [ -z $BUILDDIR ] && echo "Enter BUILDDIR" && return 2
   [ -z $REPONAME ] && echo "Enter REPONAME" && return 3
   [[ -z $REPODIR ]] && echo "Enter REPODIR" && return 1
   [[ -z $BUILDDIR ]] && echo "Enter BUILDDIR" && return 2
   [[ -z $REPONAME ]] && echo "Enter REPONAME" && return 3

   #make build directories
   [ ! -d $REPODIR ] && mkdir -p $REPODIR
   [ ! -d $BUILDDIR ] && mkdir -p $BUILDDIR
   [[ ! -d $REPODIR ]] && mkdir -p $REPODIR
   [[ ! -d $BUILDDIR ]] && mkdir -p $BUILDDIR

   #packages required to build others
   sudo pacman -S --noconfirm base-devel git
   pacman -S --noconfirm base-devel git

   #add repo to pacman.conf so can install own packages
   if [ -z $(grep "$REPONAME" /etc/pacman.conf) ]; then
   if [[ -z $(grep "$REPONAME" /etc/pacman.conf) ]]; then
      printf "[$REPONAME]\nSigLevel = Optional TrustAll\nServer = file://$REPODIR\n" >> /etc/pacman.conf
   fi

   #create GPG key for package signing
   if [ "$SIGN" == "Y" && "$KEY" == "" ]; then
   if [[ "$SIGN" == "Y" && "$KEY" == "" ]]; then
      (
         echo "Key-Type: RSA"
         echo "Key-Length: 2048"
@@ -193,7 +248,7 @@
   echo "To: $EMAIL"
   echo "Subject: Build errors"
   echo "There were build errors for the build of $REPONAME at $(date), please address them soon."
   echo "The errors were: $1"
   echo "The errors were: $@"
   ) | sendmail -t
}

@@ -201,22 +256,24 @@
   "init")
      init;;
   "add")
      add $2;;
      add ${@:2};;
   "build-all")
      build_all $([ "$2" == "-f" ] && echo "-f")
      if [ -f $REPODIR/.errors ]; then
         ERRORS=$(cat $REPODIR/.errors | tr '\n' ' ')
         rm $REPODIR/.errors
         echo "Errors in packages: $ERRORS"
         if [ "$EMAIL" != "" ]; then
            send_email $ERRORS
         fi
      else
         echo "All packages built successfully"
      fi
      ;;
      build_all $([[ "$2" == "-f" ]] && echo "-f");;
   "remove")
      remove $2;;
      remove ${@:2};;
   *)
      printf "Invalid usage\nUsage: $0 init|add|build-all\n";;
esac

# Error reporting, send email only for build-all as assuming an batch job for that
if [[ -f $REPODIR/.errors ]]; then
   ERRORS=$(cat $REPODIR/.errors | tr '\n' ' ')
   rm $REPODIR/.errors
   echo "Errors in packages: $ERRORS"
   if [[ "$EMAIL" != "" && "$1" == "build-all" ]]; then
      send_email $ERRORS
   fi
else
   echo "All packages built successfully"
fi