Jednou se Artemis za poledne vracela se svými nymfami do jeskyně v posvátném háji. V tuto dobu zde také zabloudila družina prince Aktaióna se smečkou psů. Zatímco lovci odpočívali, vydal se princ do háje a přiblížil se až k samé jeskyni. To se ovšem nemělo stát, a tak byl za tento přečin potrestán. Rozzlobená Artemis ho proměnila ve statného jelena. Aktaión v zoufalství pobíhal po lese, až ho nakonec vyslídili psi jeho vlastní družiny a uštvali ho k smrti. Lovci jen litovali, že se této štvanice nezúčastnil i jejich pán princ Aktaión. Na oblohu byl přenesen jeden pes z jeho smečky.
Jiná verze pověsti vypráví, že Malý pes byl jedním z loveckých psů samotné bohyně Artemidy, nebo pes ze smečky Orionovy. Staří Egypťané vídali na obloze svého boha Anubise jako tvora se psí hlavou, Arabové a Římané viděli štěňátko.
Souhvězdí Malého psa můžeme na obloze spatřit pod Blíženci, východně od Oriona. Nejjasnější jeho hvězda je Procyon, kterou najdeme snadno, protože tvoří se Síriem ve Velkém psu a Betelgeuze v Orionu téměř rovnostranný trojúhelník.
