Строительство города и замка началось в первой половине XIII века, около брода через Влтаву, через который пролегал важный торговый путь в Богемии. Город расположен на обоих берегах Влтавы, образующей в этом месте крутую излучину. Первое документальное упоминание о замке Крумлов датируется 1240 годом. Первоначально городом владел феодальный род Витковичей из Крумлова, а затем родственный ему род Витковичей из Рожмберка (Розенберги). Розенберги (по-чешски — Rožmberkové, Рожмберки) владели Крумловом с 1302 года около 300 лет. Красная роза с фамильного герба этого рода до настоящего времени является частью городского герба Чески-Крумлова.