咸宁五年（279年），刘豹去世21

，武帝命刘渊接任左部帅。刘渊得以摆脱任质生涯，回到了并州。他在辖区施展政治才能，“明刑法，禁奸邪，轻财好施，推诚接物”，使得匈奴“五部俊杰无不至者”，甚至吸引了远在幽冀一带的名儒俊杰前来。这为他以后成为匈奴族的主要首领打下了坚实的基础。