Территория, где расположен город, была заселена человеком ещё во времена неолита. По данным некоторых румынских историков (напр. Хашдеу), Тыргу-Нямц был основан Тевтонским орденом в XIII веке для защиты Трансильвании от набегов половцев-куманов, обосновавшихся на территории нынешней Молдавии. По другим данным, город создали саксонские переселенцы, перешедшие через Карпаты из района Бистрицы и организовавшие здесь торговый центр. На германское происхождение основателей города указывает также в названии города добавление Нямц, что на румынском языке означает немец, немецкий. Однако ряд румынских учёных оспаривают теорию немецкого происхождения города.