费重金去赎他，就会引起楚王的注意。如果楚王明白了百里奚是个千金难得的贤臣，恐怕就不会送他回秦国了。
于是秦穆公派人出使楚国，对楚成王说：“我夫人的陪嫁奴隶百里奚逃到了贵国，请允许我用五张黑公羊皮来赎他。”五张黑公羊皮是当时买卖奴隶比较正常的价格，楚国人不疑有他，便很大方地将百里奚送给了秦国，当时的百里奚已经七十多岁了。
为了蒙蔽楚国人，秦国的使者将百里奚像奴隶一样囚禁起来，待一行人抵达秦国，秦穆公亲自为他解开束缚并谈论国事。百里奚一生大起大落，暮年还沦为了奴隶，已经心灰意冷，便说：“臣是亡国之人，何足国君动问！”秦穆公坚定地说：“虞国国君不听您的建议，这才会亡国，虞国的灭亡并非您的过错。”然后再三以国事相询，百里奚见秦穆公十分诚恳，并没有轻视自己，便滔滔不绝地将胸中韬略一一相告。
君臣二人得遇知音，一起倾谈了足足三天，秦穆公认为百里奚提出的治国之策很适合秦国，于是便要将国家大政托付给他，并封他为大夫。由于百里奚是用五张黑公羊皮赎回来的，而黑公羊皮在当时被称为“羖”，因此百里奚在秦国就被称为“五羖大夫”。
百里奚对秦穆公说：“臣的才能不及臣的朋友蹇叔，蹇叔的贤能当世之人无人知晓。我当年在各国之间游历求官，在齐国时遭遇困境，只能乞讨而行，是蹇叔收留了我。因此我就想留在齐国做官，侍奉齐国的国君无知，蹇叔劝住了我，这才没有在后来被无知牵累。后来我又为周王子颓养牛，以此得到王子颓的信任，将要得到重用的时候，又是蹇叔阻止了我让我离开，我这才没有和王子颓一起被杀。”
“后来我到了虞国，蹇叔又劝我离开，我虽然知道虞国国君不听劝告，但仍然为了爵禄地位留了下来。我两次听了蹇叔的话，就得以幸免于难，而这一次没有听他的话，就遭了劫难，因此我知道蹇叔是个难得的贤人。”秦穆公听了百里奚的话，果然派人带上厚礼去迎接蹇叔，封他为上大夫。
据说百里奚年轻时为了周游列国求官，不得不与自己的妻子杜氏分开。百里奚受到秦穆公重用之后，有了自己的府第，常常与同僚们饮宴享乐。一次，百里奚府上又举行宴会，席间还有歌姬献唱，丝竹管弦之声传出很远。一曲终了，却见管家引着一名老妇上前，对百里奚说她擅长演唱，希望能为他献唱一曲。
百里奚越看越觉得那名老妇像自己的妻子，但是夫妻毕竟分别多年，不敢贸然相认，便同意让她演唱一曲。老
…。。