台東平原原為卑南、阿美兩族遊耕的領域，荷據及清初時期，與後山其他地方泛稱為卑南。當時已有漢人來往貿易，荷蘭人為了採金曾與利嘉、泰安兩社的卑南族人發生戰爭，目前第一公墓萬姓祠內，還有荷蘭士兵的遺骸。

「寶桑庄」是漢人當時的第一個聚落，原為阿美族的一個社，位在卑南溪南岸的出海處。清朝道光年間，西拉雅人曾在此駐留七年，後來因為卑南族人逼迫而北遷。

咸豐初年，枋寮閩南人「鄭尚」因此處近海便於通航，曾在此建立據點，並與原住民交易往來，逐漸形成漢人聚落，同治末年，計有漢人28戶定居。是和平埔族人漸次移居到此地，並且教導原住民農耕技術。

一直到光緒年間，才設置卑南廳，並由後來的臺灣巡撫劉銘傳更名為－台東州。光緒二十年日本佔據台灣之前，商民移往臺東者越來越多，台東市才有了市街的型態，稱為－南鄉新街。

台灣光復後，廢街設鎮，正名為－台東鎮，民國65年元旦，升格為縣轄－台東市。