ソビエト連邦には、時代を経て様々な秘密警察機関が存在した。オフラナは1917年の第一次革命後に臨時政府によって廃止され、1917年12月20日にウラジーミル・レーニンの布告によって創設された、十月革命後初の秘密警察は「チェーカー」(ЧК)と呼ばれた。職員は「チェーカー」と呼ばれ、この名称はソビエト連邦崩壊後のロシアにおけるKGBの後継機関であるロシア連邦保安庁の職員に対して、現在でも非公式に用いられている。
ここに挙げたほとんどの機関にとって、秘密警察活動はその機能の一部に過ぎなかった。例えば、KGBは秘密警察であると同時に情報機関でもあった。
1922年2月6日:チェーカーはロシア・ソビエト連邦社会主義共和国のNKVD(内務人民委員部)の一部門であるGPU(国家政治保安局)へと改組される。
1923年11月15日:GPUはNKVDから分離し、ソ連人民委員会議の直接管理下にある全連邦OGPUとなる。
1934年7月10日:ロシア・ソビエト連邦社会主義共和国のNKVDは消滅し、ソ連全連邦NKVDに改組される。OGPUは全連邦NKVD内のGUGB (「国家保安総局」)となる。
1941年2月3日:NKVDのGUGBは一時的にNKGBに分離され、その後再び統合され、1943年4月14日に再び分離された。
1946年3月18日:すべての人民委員部は省庁に改称された。
東ドイツの秘密警察であるシュタージは、この組織からその名を取った。
1947年5月30日:公式決定。「各種情報機関の連携を強化し、主要な方向性に注力する」ことを明確な目的として掲げた。1948年夏、KIの軍人はソ連軍に復帰し、対外軍事情報機関(GRU )を再編成した。KIのうち、東側諸国やソ連亡命者を担当していた部署は、1948年末にMGBに復帰した。1951年、KIはMGBに復帰した。
1953年3月5日:ラヴレンティ・ベリヤにより、MVDとMGBが統合され、MVDとなった。

1954年3月13日:ベリアが粛清され、内務省(MVD)が再び秘密警察の機能を放棄したことで、新たに独立した組織がKGBとなった。名称変更や混乱を経て、KGBは1991年まで安定した状態を維持した。
1991年のソ連クーデター未遂事件の後、国家非常事態委員会がゴルバチョフを打倒することに失敗し、エリツィンが政権を掌握した際、ヴァディム・バカチン将軍はKGBを解散するよう指示を受けた。
今日のロシアでは、KGBの機能は対外情報庁(SVR)、後に1995年にロシア連邦保安庁(FSB)となった連邦防諜庁、および連邦警護庁(FSO)によって担われている。GRUも引き続き活動している。