Для удаления файла из git-репозитория без его физического удаления:

git rm --cached logfile.log

Для удаления папки (рекурсивно) можно сделать так:

git rm -r --cached MyfolderName

А для того, чтобы ситуация не повторялась, необходимо добавить файл или папку в .gitignore.