Montmartre a fost mult timp un sat din afara Parisului. La baza acestui nume stă fără îndoială Mons Martis (muntele lui Marte), pe colină găsindu-se în perioada romană un templu dedicat lui Marte, zeul razboiului. Un al doilea templu, dedicat lui Mercur, se afla de asemenea aici.
O a doua etimologie posibilă a numelui este: muntele martirului (cuvantul martir provenind din grecescul martus), întrucât această colină a reprezentat, conform legendei, un important pasaj pentru Saint Denis, prim episcop al Parisului, care ar fi supraviețuit executării sale. Unea din străzile istorice care duce la Montmartre se numește la rue des Martyrs (Strada Martirilor).