На Кавказ куда именно?
В Абхазию достаточно российского паспорта.
В Грузию надо загран. Визу, кажется, покупают на месте... Или это только разговоры такие шли.
Насчет Армении и Азербайджана не знаю.