Update indeksator.cmd

indeksator.cmd

@@ -1,21 +1,22 @@
-:; # Indeksator Prosty RAG v0.2 - Jerzy Głowacki na licencji Apache 2.0
+:; # Indeksator Prosty RAG v0.3 - Jerzy Głowacki na licencji Apache 2.0
 :; # *NIX:
 :; OS=$(uname -s | sed -e 's/^Linux$/linux/' -e 's/^Darwin$/mac/')
 :; embedfile="bge-m3.embedfile"
 :; inputDir="baza"
-:; chunksFile="chunks.txt"
+:; chunksFile="chunks.tmp"
 :; dbFile="prosty-rag.db"
 :; chunkWords=200
-:; overlapWords=10
+:; overlapWords=20
 :; > $chunksFile
 :; # Instalacja
 :; [ ! -d $inputDir ] && echo Pobieranie przykładowego pliku $inputDir/wikipedia.txt... && curl --create-dirs -Lo $inputDir/wikipedia.txt https://huggingface.co/jglowa/prosty-rag/resolve/main/baza/wikipedia.txt?download=true && echo Gotowe!
 :; [ ! -f $embedfile ] && echo Pobieranie $embedfile... && curl -Lo $embedfile https://huggingface.co/asg017/embedfile/resolve/refs%2Fpr%2F2/bge-m3.embedfile?download=true && chmod +x $embedfile && echo Gotowe!
 :; [ ! -f pdftotext ] && echo Pobieranie pdftotext... && curl -LO https://dl.xpdfreader.com/xpdf-tools-$OS-4.05.tar.gz && tar --strip-components 2 -xzf xpdf-tools-$OS-4.05.tar.gz xpdf-tools-$OS-4.05/bin64/pdftotext && rm xpdf-tools-$OS-4.05.tar.gz && echo Gotowe!
 :; # Uruchamianie
-:; echo "Indeksowanie plików PDF/TXT/MD w folderze $inputDir..."
+:; echo "Indeksowanie plików PDF/TXT/MD/CSV w folderze $inputDir..."
 :; shopt -s nullglob
-:; for pdf in $inputDir/*.pdf; do echo "Konwertowanie $(basename "$pdf")..." && pdftotext -nopgbrk -enc UTF-8 "$pdf"; done
+:; for pdf in $inputDir/*.pdf; do [ ! -f "${pdf%.pdf}.txt" ] && echo "Konwertowanie $(basename "$pdf")..." && pdftotext -nopgbrk -enc UTF-8 "$pdf"; done
+:; for csv in $inputDir/*.csv; do [ ! -f "${csv%.csv}.txt" ] && echo "Konwertowanie $(basename "$csv")..." && awk -F, -vFPAT='([^,]*)|("([^"]|"")+")' 'NR==1{for(i=1;i<=NF;i++) h[i]=$i; next} {for(i=1;i<=NF;i++) printf "%s: %s%s", h[i], $i, (i<NF? ", ":".\n")}' "$csv" > "${csv%.csv}.txt"; done
 :; for file in $inputDir/*.txt $inputDir/*.md; do
 :;   filename=$(basename "$file")
 :;   echo "Przetwarzanie $filename..."
@@ -34,22 +35,24 @@
 :; rm $chunksFile; exit $?
 :; # Windows:
 @echo off
+chcp 65001 >nul
 setlocal enabledelayedexpansion
 set embedfile=bge-m3.embedfile
 set inputDir=baza
-set chunksFile=chunks.txt
+set chunksFile=chunks.tmp
 set dbFile=prosty-rag.db
 set chunkWords=200
-set overlapWords=10
+set overlapWords=20
 for /l %%i in (1,1,%overlapWords%) do set buf[%%i]=
 break>%chunksFile%
 :; # Instalacja
-if not exist %inputDir% echo Pobieranie przykładowego pliku %inputDir%\wikipedia.txt... && curl --create-dirs -Lo %inputDir%\wikipedia.txt https://huggingface.co/jglowa/prosty-rag/resolve/main/baza/wikipedia.txt?download=true  && echo Gotowe^!
-if not exist %embedfile% echo Pobieranie %embedfile%... && curl -Lo %embedfile% https://huggingface.co/asg017/embedfile/resolve/refs%%2Fpr%%2F2/bge-m3.embedfile?download=true && echo Gotowe^!
-if not exist pdftotext.exe echo Pobieranie pdftotext.exe... && curl -LO https://dl.xpdfreader.com/xpdf-tools-win-4.05.zip && tar --strip-components 2 -xf xpdf-tools-win-4.05.zip xpdf-tools-win-4.05/bin64/pdftotext.exe && del xpdf-tools-win-4.05.zip && echo Gotowe^!
+if not exist %inputDir% echo Pobieranie przykładowego pliku %inputDir%\wikipedia.txt... && curl --create-dirs -Lo %inputDir%\wikipedia.txt https://huggingface.co/jglowa/prosty-rag/resolve/main/baza/wikipedia.txt?download=true  && echo Gotowe^^!
+if not exist %embedfile% echo Pobieranie %embedfile%... && curl -Lo %embedfile% https://huggingface.co/asg017/embedfile/resolve/refs%%2Fpr%%2F2/bge-m3.embedfile?download=true && echo Gotowe^^!
+if not exist pdftotext.exe echo Pobieranie pdftotext.exe... && curl -LO https://dl.xpdfreader.com/xpdf-tools-win-4.05.zip && tar --strip-components 2 -xf xpdf-tools-win-4.05.zip xpdf-tools-win-4.05/bin64/pdftotext.exe && del xpdf-tools-win-4.05.zip && echo Gotowe^^!
 :; # Uruchamianie
-echo Indeksowanie plików PDF/TXT/MD w folderze %inputDir%...
+echo Indeksowanie plików PDF/TXT/MD/CSV w folderze %inputDir%...
 for %%F in ("%inputDir%\*.pdf") do if not exist "%%~dpnF.txt" echo Konwertowanie %%~nxF... && pdftotext -nopgbrk -enc UTF-8 "%%~F"
+for %%F in ("%inputDir%\*.csv") do if not exist "%%~dpnF.txt" echo Konwertowanie %%~nxF... && powershell -Command "Import-Csv '%%~F' | %% { (($_.PSObject.Properties | %% { \"$($_.Name): $($_.Value)\" }) -join ', ') + '.'} | Out-File '%%~dpnF.txt' -Encoding utf8"
 for %%F in ("%inputDir%\*.txt" "%inputDir%\*.md") do (
   echo Przetwarzanie %%~nxF...
   (
@@ -78,7 +81,7 @@ for %%F in ("%inputDir%\*.txt" "%inputDir%\*.md") do (
 )
 echo Osadzanie plików...
 if exist %dbFile% del %dbFile%
-%embedfile% import %chunksFile% %dbFile% && echo Gotowe^! Po każdej zmianie w folderze %inputDir% należy uruchomić ponownie indeksator.
+%embedfile% import %chunksFile% %dbFile% && echo Gotowe^^! Po każdej zmianie w folderze %inputDir% należy uruchomić ponownie indeksator.
 del %chunksFile%
 endlocal
 pause