張伯行為官期間，忠于職守，克勤克儉，因而聲名聞于天下，康熙稱其為“操守為天下第一清官”。

康熙四十五年，張伯行升任江蘇按察使，這是巡撫的屬下。按照當時的官場舊例，新任的官員要給巡撫、總督等上司送禮，以示尊敬，也表示請求以后關照提拔，這大概需要白銀四千兩。但張伯行秉性耿直，從不巴結上司，對此腐敗風氣深惡痛絕。他說：“我為官，誓不取民一錢，安能辦此！”拒絕送禮。不但如此，在任內他還盡力革除地方弊病，整頓吏治，因而得罪了總督和巡撫，常受到他們的排擠。

康熙四十八年，張伯行奉旨調任江蘇巡撫。赴任后，張伯行立即發(fā)布檄文《禁止饋送檄》，嚴禁下屬饋送錢物，以整頓當時日益盛行的貪腐之風。文中寫道：“一黍一銖，盡民脂膏。寬一分，民即受一分之賜；要一文，身即受一文之污。雖曰交際之常，于禮不廢。試思儀文之具，此物何來？”對于百姓所得張伯行視為民脂民膏，力求賦稅寬簡。平常公務也杜絕禮品，不受一分一毫。

雍正皇帝即位后，對張伯行也很敬重，軍國大事都聽從他的建議。雍正元年，即1723年的9月，升張伯行為禮部尚書。兩年后，即1725年，一代清官張伯行不幸病逝，享年七十五歲。皇帝賜謚“清恪”，意思是為官清廉，恪勤職守，很精確地概括了張伯行的一生。