1974年10月9日前身のカンザスシティ・スカウツとしてミズーリ州カンザスシティにデビューしたこのチームは、トロント・メープルリーフスに6対2で敗れる。その僅か2年後、チームの不振と財政上の理由により今度はコロラド州デンバーに本拠地を移転する。

デンバーではコロラド・ロッキーズ（同名の野球チームの設立前）を名乗るもファン層の拡大には至らず、成績の方も6年間でたった1度だけプレーオフ進出を果しただけであった。ロッキーズは1979年に失地回復のため人気者で派手な行動で知られるドン・チェリーをコーチとして雇い入れるも成績不振で1シーズンで解任、また1982年には当時のオーナーのジョン・マクマレン (John McMullen) がニュージャージー州イーストラザフォードのメドウランズ・コンプレックスに本拠地移転を行い、チーム名をニュージャージー・デビルスに変更した。この名称は、ニュージャージー南部のパインバレンズ (Pine Barrens) に生息するとされる不吉なUMA、ジャージー・デビルの伝説に由来する。1980年代のチームは、ウェールズカンファレンスの決勝に進出した1988年（ボストン・ブルーインズに敗退）を除き、依然として低空飛行を続けた。

1990年から1993年の間、デビルスは毎年プレーオフに出場したがすべて第1ラウンドで敗退。ところが、1994年からNHL内でしだいに重きをなすようになっていく。ディフェンスにスコット・スティーブンス (Scott Stevens)、スコット・ニーダマイヤー （Scott Niedermayer）、オフェンスにクロード・ルミュー （Claude Lemieux）、ボビー・ホリック（Bobby Holik）、ヴァレリ・ゼレプキン（Valeri Zelepukin）、ステファン・リシェ（Stephane Richer）及びジョン・マクレーン（John MacLean）、ゴーリーにはマーティン・ブロデューア （Martin Brodeur）、クリス・テレリ（Chris Terreri）を擁してレギュラーシーズンで他チームを圧倒、東部カンファランス決勝でニューヨーク・レンジャースに惜敗した（レンジャーズはこの年スタンレー・カップ優勝）。

前年の敗北のダメージは、翌年にはすっかり癒えていた。1995年はロックアウトでシーズンが短縮された年であるが、見事デトロイト・レッドウィングスを第4試合で破ってスタンレー・カップ初優勝を遂げる。1996年はプレーオフ進出ならず、1990年代残りはファンの期待に答えられず再び低迷する。

しかし、1999 - 2000 シーズンでは、再び王座に返り咲く。スティーブンス、ホリック、ルミュー、ニーダマイヤー、ブロデューアら1995年の優勝メンバーに加え、過去5年間の低迷期に獲得した新戦力、パトリック・エリアシュ（Patrick Elias）、ペトル・シーコラ（Petr Sykora）、ジェイソン・アーノット（Jason Arnott）、ブライアン・ラフォルスキー（Brian Rafalski）、アレクサンダー・モギルニー（Alexander Mogilny）、新人のスコット・ゴメス（Scott Gomez）及びジョン・マッデン（John Madden） らの活躍により2度目のスタンレー・カップ優勝に輝いた。

2001年はコロラド・アバランチに第7戦で敗れカップ3度目の優勝を逸した。2002年は優勝を狙えるとの前評判であったが、第1ラウンドでカロライナ・ハリケーンズに敗退。しかし、2003年スタンレーカップではマイティーダックス・オブ・アナハイムを第7戦で下して3度目の優勝を果す。ブロデューア、スティーブンス、ニーダマイヤー、ケン・ダネコ（Ken Daneyko）及び セルゲイ・ブリリン（Sergei Brylin） らの選手にとっては3度目のカップ、またジェフ・フリーゼン （Jeff Friesen）、ジェイミー・ランゲンブラナー（Jamie Langenbrunner）、マッデン及びラフォルスキーも優勝に大きく貢献した。

2005年2月、デビルスは総工費3億1000ドルをかけて新ホッケースタジアムをニュージャージー州ニューアークに建設すると発表した。コンチネンタル・エアラインズ・アリーナに代わるこの新アリーナ・プルデンシャル・センターは、2007-2008シーズンから使用が開始された。

またニュージャージー州議員のクレイグ・スタンリー（バプティスト派の助祭でもある。）は、宗教的な問題から「デビルス」の名称の変更を求める決議案の提出を計画しているとの声明を発表した。これに対し、CEOのルー・ラモリエロ （Lou Lamoriello） らデビルス首脳は、変更する考えのない旨を明らかにしている。ロゴやマスコットについてはチームがキリスト教における悪魔の描写をモデルとしたことをほのめかしつつも、「デビルス」なる名称は伝説のジャージー・デビルに由来するからとされている。