Pierwsze wiadomości źródłowe o Karlinie zawarte są w informacji z 1159 r., mówiącej o istniejącej na rzece Parsęcie komorze celnej przy której znajduje się karczma. Pobierano tu cło, przede wszystkim z drewna transportowanego do kołobrzeskich warzelni soli. Pierwsza pisana wzmianka o miejscowości pochodzi z 1299 r., w określeniu jednego z mieszkańców jako obywatela Karlina Horn Civitas In Corlin. Okolice Karlina należały do biskupów kamieńskich od około 1280 r. W 1370 r. przeniesiono siedzibę biskupią z Kamienia do Karlina W czasie pontyfikatu biskupa Filipa von Rehberga podjęto decyzję o budowie obronnego zamku. Główny budynek mieszkalny miał plan prostokąta, a budowę ukończono do 1385 r., wtedy też osadzie przyzamkowej nadane zostały prawa miejskie. Kolejni biskupi stworzyli w zamku piękną rezydencję. W 1761 r., podczas wojny siedmioletniej, zespół zamkowy popadł w ruinę i uległ spaleniu. Ruiny zostały rozebrane do przyziemia, tak że ocalała tylko najniższa kondygnacja skrzydła głównego zamku, z zachowanymi sklepieniami gwiaździstym.