乐广，字彦辅，南阳淯阳（今河南南阳）人。乐广的父亲乐方是夏侯玄的参军。当时乐广只有八岁，夏侯玄叫他过来说了会儿话，觉得这孩子不一般。后来他对乐方说：你家儿子以后一定会成为名士。;
乐方很早就去世了，乐广寄居在山阳，过着贫寒的生活。虽然没有人注意到他，可是他依然刻苦读书。他的个性也十分谦和，与人无争；而且说话很有分寸，知道的就说，不知道的就保持沉默，不会乱说话。
王衍曾经说：我和别人说话时已经觉得自己说话很简练了，但是遇到乐广，还是觉得自己啰唆！;乐广评价别人时，一定先说对方的优点，而这个人的缺点很自然地也被显现出来了。如果别人有过失，他一定会先宽恕他，而善恶也自然见分晓。
裴楷曾经请乐广与他一起清谈，二人从早上讨论到晚上，彼此都很钦佩对方的才学。裴楷甚至还叹息地说：我被你比下去了。;王戎任荆州刺史时，听说夏侯玄曾经赞赏过乐广，就推举他为秀才。裴楷又把乐广推荐给贾充，乐广因而做了太子舍人。卫瓘曾与夏侯玄等人一起清谈，见到乐广后也认为他是奇才，说：我以为自正始名士以后再也听不到如此微言大义了，可是现在竟又从您这里听到了这样的话。;于是把几个儿子叫到身边，说：乐广这个人就像是水一样的镜子，见到他便能感到他身上如玉石的光彩，像是云雾散开看见了青天一样。你们几个都跟着好好学学。;
乐广在做地方官时，并没听说他有什么卓著的政绩，但是同样的地方换成别人治理，人们就会想念他在任时的日子。虽然他与王衍一起被推举为名士领袖，但对于一些名士放诞的行为他并不认可。比如王衍的弟弟王澄放诞不拘、随心所欲，有时甚至会赤身裸体。乐广很不以为然，说：名教（古时定名分的一种理论）里自然就有快乐的地方，何必非要那样呢？;
乐广在河南尹的任上，出了一件怪事。他刚报到，衙门里的幕僚就用十分奇怪的眼光看他。乐广觉得奇怪，就问他们是怎么回事。幕僚说：大人，您最好不要在大堂上办公。;
为什么呢？;乐广问。
您初来乍到不知道，;幕僚说：咱们这儿的大堂闹鬼。您的前几任大人都被吓病过，后来都不敢在大堂办公了。;
我知道了。;乐广说，我不怕鬼。;
幕僚摇着头走了，乐广就在大堂里办公。这时，不知什么原因，大堂的门突然就关上了，左右的僚佐吓得够呛，乐广却泰然自若。不久，他发现身后的墙上有一个小洞，就让人把墙掘开，发现里面住着一只狸猫。乐广命人把它杀了，后来大堂中再也没发生过奇怪的事。
乐广曾经有一个很要好的朋友，但是到他家来过一次之后就再也不来了。乐广很奇怪，就问朋友是怎么回事。朋友回答说：我在你家喝酒的时候，看见杯中有一条蛇，心里十分害怕。喝了那杯酒后，就得了重病。;当时，河南听事堂的墙壁上挂着一张角弓，用漆在弓上画了蛇。乐广猜想杯中的蛇就是角弓的影子。于是他在原来的地方再次请那位朋友饮酒，问朋友：你看看杯里还有蛇吗？;有，有！不信你来看！;朋友满头冷汗地说。乐广一笑，让人拿走了墙上的弓，又问朋友：你看看还有吗？;没有了！;朋友感到很奇怪，问道：这究竟是怎么回事？;乐广于是将原因解释了一遍。
永康元年（300年），贾南风命人把废掉的太子送去金墉城（位于洛阳城西北角，是专门为后妃们准备的监禁场所。凡有罪需反省或被废者，统统关进这里，后来改称永昌宫）关押，并下令不许百官送他。可是太子的旧臣同情他的遭遇，全都抗命相送，当时负责刑狱的司隶校尉满奋就把这些人全抓了起来关进监狱。其中被押送到河南监狱的人，乐广下令全都放走。贾谧听说这事后本来想严惩乐广，后来听了都官佥事孙琰的劝说才作罢。
成都王司马颖是乐广的女婿。太安二年（303年），司马颖进攻在洛阳的长沙王司马乂，司马乂怀疑乐广会叛变，乐广慢慢回答：我怎么会用我五个儿子的性命换一个女儿？;司马乂还是不放心。永安元年（304年），乐广因忧郁而去世。