在堪薩斯城民主黨政治集團首腦湯姆·彭德格斯特的幫助下,杜魯門于1922年當選為密蘇里州杰克遜縣法院的法官。這個職位的性質和縣首長相近,都是具行政性質,而不負責審理案件。其后,杜魯門雖然在1924年競選連任失敗,可是他在1926年重新當選,并且在1930年連任。在任期間,他十分勤奮,其中幾項大型的公共建設項目,更為他獲得不少贊譽,這些建設包括擴建道路以配合日益增長的交通量和興建新的縣法院大樓。此外,他還籌劃建造了十二座“小徑圣母像”(Madonna of the Trail),以表彰對國家作出杰出貢獻的婦女。
1922年,杜魯門向一位朋友繳納了10美元的3K黨入會費,但是這筆款項在不久以后又退還給杜魯門,因此杜魯門從來沒有入會,從來沒有出席3K黨任何活動,亦從來不是3K黨的會員。盡管杜魯門曾經在日記里對猶太人表示過憎恨,但他的朋友兼生意伙伴雅各布森,卻正是猶太人,而且杜魯門在日后還成為以色列立國的一大推動者。