衛青的母親在平陽公主家做丫環。因為她丈夫姓魏，所以叫她魏。
韋唯有壹子三女，即兒子常軍、大女兒君如、二女兒子女和三個女丈夫。
丈夫死後，她仍在平陽侯家做家務，與在平陽侯家工作的縣官季崢有染，並生下衛青。
衛小兒與平陽郡小官吏霍仲如有染，生下霍去病。