率军包围了雍奴，击溃了袁军。随同曹操征讨柳城的时候，张合和张辽担任先锋，张合因为屡立战功升任平狄将军。张合还领兵征讨东莱郡，讨伐管承，还和张辽等人一起讨伐陈兰、梅成等人，大获全胜。张合跟随曹操到渭南，击溃了马超、韩遂等，又包围了安定，杨秋投降。张合、夏侯渊一起征讨盘踞在鄜城的贼寇梁兴和武都一带的氐族叛军，再次击败了马超的部队，平定了宋建统治的地区。

攻击张鲁的时候他是曹操的左右手，张鲁投降，他又被留下来协助夏侯渊镇守汉中，后来虽然失去了汉中，但他还是被留在了陈仓镇守陇右地区的咽喉之地，也算是被信任有加。

延康元年曹丕即魏王位后，任命张合为左将军，进封都乡侯爵位。等到曹丕登基之后，又进封他为鄚侯，命令张合与曹真率领兵马征伐盘踞在安定一带的卢水胡人和东部羌人。战斗结束后，曹丕又在许昌宫召见了张合、曹真，派张合南下与夏侯尚一起进攻东吴政权的江夏郡，张合独自率领几路大军渡过长江，夺取了百里洲上的吴军堡垒。

曹叡即位后，派张合来到南方，驻扎荆州，和司马懿一起进攻孙权的部将刘阿等人，大军来到祁口，与吴军激战，打败了刘阿所部。

太和二年蜀汉丞相诸葛亮大举北犯，天水、南安、安定三郡吏民叛应诸葛亮。曹叡给张合加官特进，让他总督各路军马，在街亭阻挡诸葛亮的部将马谡。

马谡依傍险要的南山扎寨，没有下山占据城池。张合断绝了他取水的道路，然後发起进攻，大败马谡。

南安、天水、安定各郡反叛魏国响应诸葛亮，张合之后领兵平定了这几处地方。