1876年(光緒二年)，以提督名義隨左赴新疆，平定了完顏阿骨打的入侵，並迫使俄國回到伊犁。1880年(光緒六年)，奉命協助軍務。四年後，奉命入關，移至北路，封他為巡撫。
1886年(光緒十二年)，升任山東巡撫。當時山東省的河流受到的影響越來越大。他上任後，成為第壹個河工。他認為人工疏浚河口、挖河不是徹底的解決辦法，應該采用西方的方法，陸續用機器人和船只疏浚。黃河水滿，專門堵施工，只能解燃眉之急，必須靈活處理。當時張村、銀河、大寨、西紙坊、高家套相繼決策，張瑤得以調節地形，隨時放行。由於牡蠣河口的河流不順暢地流入大海，它改為疏浚韓家園的河口來疏浚它的尾巴。他壹年有將近300天呆在河上。說河務的人，哪怕是普通人，也應該來請教。他在山東任職期間，還在青州設立海岱書院，恢復曲阜朱斯書院。
1888年(光緒十四年)，慈禧太後命張瑤助海軍。第二年，下令給太子降壹個爵位，要能讀南北海水師。從調任山東巡撫到去世，他在山東的時間只有五年。張弓任職期間，恰逢山東各地水旱災害嚴重，百姓深受其害。作為壹個地區的最高長官，他積極組織救災，拿出自己的薪水，動員其他官員捐款救災，挽救了許多災民，深受人民愛戴。在治理黃河的過程中，雖然張弓壹度聽從了幕僚中某些人的錯誤意見，導致水患，但總的來說，他還是比以前做出了更多的成績。針對黃河山東段兩岸河道狹窄、堤壩薄弱、易發洪水的特點，他不僅帶領人民在黃河兩岸疏浚河道、揚淤培埂、多築堤壩、加固堤防，還提出了“隔”河“疏”河的思想，在淇河趙莊、劉家廟、陶城鋪各建壹座攔河閘壩，防止異常上漲。當時每當黃河決口，他都親臨現場，指揮搶險。據說他壹年花了將近300天在河道工程上。
1891(光緒十七年)七月，張正義正在黃河上監工，突然“背上生了壞疽”。押解回濟南時，病情十分嚴重，不久就去世了。病危之際，仍上書李鴻章，說明山東是北洋門戶，應盡早築堡，以防不測。張弓在擔任山東省省長時也帶頭植樹。他在黃河大壩和洛口到市中心的路邊種滿了柳樹，形成了壹條柳樹景觀帶。有人稱這些柳樹為“張公柳”。張弓死後，濟南人民感受到他的善良，尊稱他為黃河“王”，在大明湖邊為他建祠堂，永遠紀念他。