Die Unterburg ist gänzlich verschwunden. Zu erkennen sind noch Ansätze des Berings, der mit der Unterburg und der Stadtmauer Ulmens verbunden war, eine zwei Stockwerke aufragende Außenwand des Palas, sowie eine Zisterne und ein paar Grundmauern weiterer Gebäude. Der alte Teil der Burg in Ulmen wurde ca. 1.074 n. Chr. erbaut und ruht sehr wahrscheinlich auf Resten einer römischen Siedlung. Im Mittelalter wurde die Burg in Ulmen weiter ausgebaut und in die Oberburg, deren Mauerreste noch vorhanden sind und die Niederburg, die sich bis ans Maarufer erstreckte, unterteilt. Zwei Rittergeschlechte bewohnten die Burg, von der man ausgeht, dass sie bis 1673 aufgrund ihrer Größe nie angegriffen oder zerstört wurde. Erst die Truppen des Sonnenkönigs schafften dies. Sie wurde wieder aufgebaut, um 1689 erneut im Erbfolgekrieg zu fallen. Doch auch dieses Mal wurde die Ulmener Burg neu errichtet, nur die Stadtmauer wurde aufgegeben. Der Einfall der Soldaten Napoleons ließ auch Ulmen französisch werden und später preußisch. Die leerstehende Burg, deren letzter Nachkomme 1801 verstarb, ging bei einer Versteigerung an einen Cochemer Kaufmann, der sie als Steinbruch vermarktete. Als im 19. Jahrhundert ein verheerendes Feuer Ulmen niederbrannte bauten die Ulmener ihre Häuser mit Steinen der Burg wieder auf. Deshalb kann man noch heute an manchem Stall ein Wappen sehen. Erst Anfang des zwanzigsten Jahrhunderts wurde Die Ulmener Burg unter Denkmalschutz gestellt und kam in den Besitz der Ortsgemeinde Ulmen. Die Burg ist jederzeit frei zugänglich.