В галло-римскую эпоху на холме возвышались два храма в честь богов Марс и Меркурий. Благодаря месторождению гипса Монмартр стал одним из самых богатых районов в округе. В это время там были построены множество вилл и храмов. Позже каменоломни, где добывали гипс, послужили убежищем для первых христиан.
Примерно в 272 году здесь были обезглавлены за проповедь христианства первый епископ Парижа св. Дионисий, пресвитер Рустик и диакон Елевферий. Согласно легенде, после обезглавливания Дионисий взял отрубленную голову в руки, омыл её в источнике и прошёл примерно 6 километров. На месте, где он упал замертво, основали место, которое впоследствии стали называть Сен-Дени.В Средние века Монмартр был местом паломничества верующих.