Il paese, circondato da boschi e foreste, è disposto su diversi piani alla base dell'omonimo Monte, da cui riceve protezione dai rigori invernali e frescura nei periodi estivi. Nel centro del paese si trova la Piazza dei Conti con il grandioso Palazzo Carpegna, giunto intatto fino ai nostri giorni dopo oltre trecento anni di vita. La storia di Carpegna ruota interamente attorno alla famiglia dei Conti di Carpegna, fra le più blasonate d'Italia, dalla quale derivarono molte delle nobili famiglie dei passati periodi, tra le quali Malatesta e Montefeltro.