Après le split de Grotesque, les anciens membres, Tomas Lindberg le chanteur, Anders Björier un guitariste, Jonas Björier le bassiste, Andrian Erlandsson le batteur et Alf Svensson l'autre guitariste, décident de créer At The Gates. Le groupe sort très vite l'EP Gardens Of Grief et montre la volonté de rompre avec certains clichés Death Metal en abordant des sujets comme l'aliénation sociale, les conflits sociopolitiques ou encore l'absurdité de l'existence moderne dans un monde ou l'humain passe après la production.
Le groupe sort son premier album en juillet 1992, The Red In The Sky Is Ours, puis moins d'un an après c'est With Fear I Kiss The Burning Darkness qui fait son apparition dans les bacs en mai 1993.
Après l'enregistrement du second opus, Alf Svensson quitte le groupe pour créer son propre groupe, Oxiplegatz. Il sera remplacé par Martin Larsson.
Ce changement de line up ne perturbe pas le groupe, car en juillet 1994, At The Gates sort son troisième album Terminal Spirit Disease.
L'apogée du groupe est atteinte l'année suivante avec Slaughter Of The Soul qui est, selon les critiques, l'album le plus abouti artistiquement.
Malheureusement le groupe split en 1996, trois des membres, Andrian Erlandsson, Jonas Björier et Anders Björier fondent The Haunted alors que Tomas Lindberg crée The Great Deceiver un groupe de Hardcore, de Metal et d'indus et le groupe Disfear qui propose du Crust.
En 2001, une compilation du groupe sort sous le nom de Suicidal Einal Art.
En 2008, le groupe se reforme le temps de quelques festivals comme le Wacken, le Hellfest et le Graspop.