Az Anubisz-páviánokra éppúgy jellemző a nemi dimorfizmus, mint a többi páviánfajra. A hímek itt is jóval nagyobbak a nőstényeknél (átlagos testtömegük 24-25 kilogramm, testhosszuk 70-76 centiméter, míg a nőstények tömege 14 kilogramm, testhossza 60 centiméter). A hímek emellett terebélyes sörénnyel rendelkeznek testük elülső felén, és rendkívül hosszú és hegyes tépőfogaik vannak, míg a nőstények szőrzete mindenhol azonos hosszúságú, tépőfogaik pedig jóval kisebbek. A hímek koponyáin a hosszú, egyenes orr mindkét oldalán masszív taréjok, szemeik felett pedig jól látható, gömbölyű dudor fut végig. Koponyataréjuk és sokszor nyaki taréjuk is van, a fej teteje azonban lapos, így jól elkülöníthető a sárgás babuinoktól. A 38-58 centiméteres farok mindkét nemnél körülbelül a negyedéig felfelé áll, ott viszont megtörik és lefelé lóg.

Az Anubisz-páviánok szőrzete jellegzetes sötét olajzöld, ami abból fakad, hogy a szőrszálakon 1-2 fekete és sárgásbarna gyűrű váltja egymást. Az újszülött páviánok szőrzete fekete, és csak hat hónapos korukra válik olajzölddé. A csupasz pofa és a far mindkét nemnél sötétbarna vagy fekete, a far csupasz bőrfelülete pedig jóval kisebb a galléros és guineai páviánokénál.