Im 14. Jahrhundert gehörte Drackenstein denen von Westernach, im 15. Jahrhundert kam es an die von Westerstetten, welche sich deshalb zugleich Herren von „Trackenstein“ schrieben. Es war im Jahre 1589 als Eitel Fritz von Westerstetten Gut und Schloss Trackenstein samt beiden Weilern und dem Hof zu Hohenstadt, Mördlins Hof genannt, an den Freiherrn Kaspar Bernhard von Rechberg verkaufte. Noch im selben Jahr verkaufte es dieser weiter an den Grafen Rudolf von Helfenstein, der 1601 verstarb. Das Schloss, welches auf einem kleinen Gebirgs-Vorsprung hinter dem Dörfchen Unterdrackenstein stand, wurde wegen Baufälligkeit im Jahre 1679 abgebrochen. Die Stelle ist noch heute erkennbar.

Vom 17. Jahrhundert an teilte der Ort das Schicksal der Herrschaft Wiesensteig, und wurde unter anderem im Jahre 1752 an Bayern verkauft.

In älteren Zeiten war Gosbach nach Drackenstein eingepfarrt. Neben der Pfarrstelle bestand in Drackenstein eine Kaplanei, welche aufgehoben und deren Einkommen teils der Pfarrei Drackenstein und teils der Pfarrei Baisingen zugewiesen wurde. Drackenstein gehörte zu den wenigen katholischen Pfarreien, wozu Altwürttemberg den Pfarrsatz hatte. Von 1787 bis 1790 war hier der bekannte Beda Pracher als Pfarrer tätig, ein Benediktiner aus Neresheim, welcher am 25. Juli 1819 als General-Vikariatsrat starb.