1998年5月、Benümbは初のフルアルバム『Soul of the Martyr』をリリースした。このアルバムは怒りと激しさに満ちており、過去のスプリット盤やライブパフォーマンスから19曲のボーナストラックが収録されている。[ 3 ]『Soul of the Martyr』は好評を博し、バンドはアメリカ国内で数回のミニツアーを行い、リリースを宣伝した。Benümbはその後2年間、1998年と1999年のミルウォーキー・メタルフェストや1998年と1999年のマーチ・メタル・メルトダウンなど、アメリカの主要なヘヴィミュージックフェスティバルにもすべて出演した。
2000年、Benümbはアルバム『Withering Strands of Hope』をリリースした。このアルバムは、オークランドのHouse Of FaithでBart Thurber(Spazz、Exhumed)によってプロデュースされた。ギタリストのRobb Koperskiは、個人的な問題により2001年初頭にバンドを脱退した。2002年春、BenümbはレーベルメイトのPig Destroyerとのスプリット3インチCDをリリースした。このスプリットでは、Paul Ponitkoffがギターで復帰し、バンドのサウンドに進化が見られた。
Benümbは2003年にRelapse RecordsからBy Means of Upheavalをリリースし、2005年にはPremonitions of Warとのスプリット盤をリリースした。By Means of Upheavalは、バンドの怒りに満ちたパンク寄りのグラインドコアサウンド、政治的な歌詞、短い曲を継承している。[ 4 ]