吕乂的父亲吕常，送原先的将军刘焉入蜀，因官道堵塞，于是不能返回中原。吕乂自小失去父亲，喜好读书弹琴。当初，刘备平定益州，设置盐府校尉一职，管理盐铁的财政收益，后来校尉王连请吕乂与南阳人杜祺、南乡人刘干等共为典曹都尉。吕乂后被升任为新都、绵竹
