Markelsheim hieß früher Mac(h)olfesheim und war altes Reichslehen In der 2. Hälfte des 11. Jahrhunderts kam es über Graf Emehard von Rothenburg, 1088-1104 Bischof zu Würzburg, an das Würzburger Stift Neumünster.

Würzburg belehnte die Herren von Hohenlohe-Brauneck mit der Vogtei. Nach deren Aussterben kam Markelsheim mit dem Amt Neuhaus über die Grafen von Schwarzburg an den Deutschorden (1411), während Stift Neumünster seinen Fronhof und einige sonstige Rechte behauptete.

Der Deutschorden richtet hier Anfang des 15. Jahrhunderts ein Centgericht ein, das König Ferdinand I. 1540 bestätigte. 1096 und 1219-1383 erscheint Ortsadel.

Von 1350-1408 bestand bei der spätgotischen Margaretenkapelle, der zweiten Kirche des Orts (die Hauptkirche ist die 1690 neuerbaute Kilianskirche) ein Beginenkloster. Vom 16. Jahrhundert an waren hier Juden ansässig.

1972 wurde Markelsheim nach Bad Mergentheim eingemeindet.