1865年にカフカス軍管区が創設される以前、カフカスにおけるロシア軍は、時期によって様々な名称の複数の部隊に編成されていた。
1777年、キズリャルおよびテレク川の国境線沿いに駐屯していたロシア軍は、アストラハン総督の指揮下にある部隊に編成された。この部隊には、キズリャル駐屯地のカルバディア猟兵大隊とゴルスキー猟兵大隊、そしてモズドク駐屯地の1個大隊が編入された。
1779年、セレゲ、トムスク、ラドガの歩兵連隊がアストラハンに到着したことで、この部隊は強化された。
1782年の秋、この部隊はその後さらに強化され、ノヴォリネイヌイ軍団と命名され、間もなくコーカサス軍団と改称された。当時、この軍団は歩兵大隊22個、竜騎兵中隊20個、砲兵大隊4個(大砲30門)で構成されていた。
1796年初頭、ペルシャへの宣戦布告を決意したエカチェリーナ2世は、歩兵連隊4個、レグココンヌイ連隊3個、コサック連隊1個を追加して軍団を強化するよう命じた。
1796年のペルシア遠征に参加するために選ばれた部隊は、ズボフ伯爵の指揮下でカスピ海軍団に編成された。この軍団は、擲弾兵6個大隊、マスケット銃兵12個大隊、猟兵7個大隊、騎兵45個中隊で構成されていた。エカチェリーナ2世の死後、後継者のパーヴェル1世はペルシアに対する軍事作戦を中止し、カスピ海沿岸とグルジアに駐屯していた全軍をロシアに撤退させた。
1796年11月、皇帝の命令により全連隊の再編成が決定された。部隊は12個師団に編成され、間もなく監察部隊と改称された。カフカスに駐屯していた部隊は第10カフカス師団となった。カスピ海軍団は解散され、その部隊はロシア内陸部に撤退していた部隊に再配置された。
1801年、アレクサンドル1世が皇帝に即位した当時、カフカス監察局の部隊は、歩兵大隊15個、竜騎兵中隊20個、砲兵隊5個で構成されていた。
1815年12月21日、皇帝の命令により、コーカサス国境、グルジア、およびトランスコーカサス地域全般に駐屯していた第19師団と第20師団の部隊が、独立したグルジア軍団として編成された。
1819年初頭、グルジア駐屯軍司令官エルモロフ将軍は、同地域の兵力増強を要請した。アレクサンドル1世は恒久的な増強は不可能だと考えたが、4月19日に一時的な増援として10個連隊を派遣した。
1820年8月、グルジア軍団の一部の部隊を独立したコーカサス軍団に編成するよう命じる皇帝令が発布された。
1857年12月6日、カフカス軍団はカフカス軍に改称され、カフカス軍参謀長の職が新設された。
1865年8月、カフカス軍管区が創設され、カフカス軍の参謀本部が廃止されたが、軍自体が正式に廃止されたのは1881年になってからだった。