隠遁文学として知られる文学様式の起源は、紀元前3世紀または4世紀に遡ると言われる中国の道教運動に根ざしている。日本の隠遁者と同様に、荘子や老子といった道教の哲学者たちは、社会や政府の束縛を断ち切り、義務や都市生活のプレッシャーから解放された生活を送ることを提唱した。最初の日本の隠遁者は西行法師と考えられており、彼は22歳まで鳥羽上皇の護衛を務めた後、理由は不明ながら出家し、長期間にわたって孤独な生活を送った。平安時代(現在の京都)から東京の南南西50kmに位置する鎌倉へ都が移転した後、浄土宗の影響を主な要因として、多くの宮廷貴族は政務や日常生活の規範や慣習に幻滅し、文明の辺境で隠遁生活を送ることを選んだ。宮廷生活を終えた後に剃髪(出家)するという慣習は日本にとって全く新しいものではなかったが、都の周辺に数多く存在する仏教寺院とは対照的に、世俗生活から完全に身を引いて自然の中に身を置くという概念は、こうした幻滅した知識人にとって斬新な選択肢とみなされた。隠遁生活を送る中で、隠遁者は詩作や随筆などの芸術を通して自己省察に励むのが一般的であった。
こうした幻滅した知識人たちの究極の目標は社会の束縛から解放されることであったが、都会に残った親しい友人たちとの繋がりを保ち、時折他の人々と時間を過ごすことも珍しくなかった。有名な隠遁者で『怠惰論』の著者である吉田健光は、足利幕府の人物たちと非常に親密な関係を保ち、都にいる彼らを訪ねるために時折隠遁生活を中断していたことで知られている。鴨長明は、その随筆『わが小屋記』の中で、隠遁生活中に幼い子供と過ごしたことを記している。こうした隠遁者たちが必ずしも完全に人との接触を断って生活することを意図していたわけではないが、彼らの隠遁生活は実際には完全なものではなかったという点は重要である。