张辽字文远，雁门马邑人也。本是聂壹之后人，为了避乖辟怨，遂改张姓。张辽少年时便已举郡吏。汉季之期，并州刺史丁原以张辽武力过人，召其为从事，命辽带兵往赴京都。何进又遣张辽往河北募兵，共得千馀人。辽募兵尚未还，而京中何进已因剿宦失败而死，因此张辽所领兵尽归董卓所有。董卓死时，张辽统兵归属于吕布，迁任骑都尉（相当于骑兵队长，地位略低于将军）。
后来，吕布为李傕所击败，张辽跟从吕布往东奔至兖州，为曹操所败后至徐州。献帝建安二年(公元197年)领鲁相，时年二十八岁。建安三年(公元198年)吕布遣张辽与高顺等攻破刘备，但其后曹操破吕布于下邳，张辽部领吕布军馀众归降，被拜为中郎将，赐爵关内侯。
建安五年(公元200年)曹操命张辽与关羽同为解白马围的前锋，击破袁绍军。数有战功，累迁裨将军。及曹操击败袁绍时，别遣张辽镇治鲁国诸县。