В папочке создаем входные данные с именами 01, 02 и т.д. Правильные ответы к ним называем 01.a, 02.a, ... . Скомпилированное решение кладем в ту же папку. Там же создаем два файлика:
1) называем doall.bat (для тех, кто не умеет пользоваться far - в блокноте сменить тип файла с .txt на "все файлы" и назвать уже с расширением). Содержимое его такое:
del log.txt
for %%i in (??) do call test.bat %%i
2) там же создаем файл test.bat со следующим содержимым (solution - название решения):
solution < %1 > %1.b
fc %1.a %1.b >> log.txt

Когда хотим запустить тестирование - просто клацаем на doall.bat. Потом читаем log.txt. Если написаны закорючки - это значит все хорошо (в dos-кодировке "Различия не найдены"). Если кроме закорючек написаны осмысленные буковки и циферки - значит какие-то тесты не сошлись с эталоном. Это вывод стандартной побайтовой сравнивалки fc. При этом вывод вашей программы лежит в файлах вида 01.b, 02.b, ... .

Чтобы запускать питоновские решения надо в первой строке файла test.bat заменить solution на python solution.py. Может быть запустится не тот питон, тогда слово python надо заменить на c:/python32/python.

Среди тестов должны быть тесты из условия, маленькие рукописные тесты для общего случая (я советую сделать руками 2-5 до написания решения, чтобы вникнуть в задачу), крайние случаи и, если будет время и силы - макс. тест с очевидным ответом. Ну или с неочевидным ответом - тогда хоть будет понятно что решение покрешилось.