граббер веб страниц с многопоточностью
граббер веб страниц с многопоточностью

Последовательно обновлять и парсить страницу, записывая цитату, отбрасывать дубликаты.

Останавливаться не только по команде, но и по достижению определенного числа “повторов”, например 500.
Так как это, скорее всего, займет некоторое время: необходимо уметь продолжить “с места на котором остановились” после закрытия.
Ну и раз уж все-таки это надолго – пусть делает дело в несколько потоков. Хорошо-бы в целых 4 потока (или даже 5).
И отчитывается об успехах в консоль каждые, скажем, 10 секунд.
А все эти параметры пускай принимает из аргументов командной строки.
x32net/golang