老莱子夫妻俩在蒙山南自耕自种，自给自足，生活非常简朴。后来楚王得知老莱子是贤士，先以美玉和重金聘请，后又亲自上门拜访。楚王很诚恳地说：“寡人愚昧，独自主政，希望先生能辅佐我。”老莱子推托不过，只得答应。等到妻子打柴回来，发现有人来过的迹象，就问老莱子说：“怎么来了那么多车马呢。”老莱子如实回答说：“楚王希望我出仕为官，辅佐朝政，我已答应了他。”妻子一听很不高兴，教训他说：“我听说接受酒肉的人，可以随意鞭笞；接受官禄的人，可以随意处罚。如今先生吃了别人的酒肉，接受了人家的官禄，势必被他人制约，怎么能免除祸患呢。我可不想被人挟持。”于是扔下东西就走了。老莱子听了妻子的话，有所醒悟，忙上前拦过妻子说：“你回来吧，我再考虑一下。”经过深思熟虑，两人决定立即离开这儿。夫妻二人一直走到江南才停下来。妻子说：“鸟兽的皮毛可以做成衣服穿，拾取它们吃剩下的食物，也足以果腹了。”

老莱子夫妻在江南安定下来。人们仰慕他们的义行，纷纷追随而来，不出三年，这里就形成了繁华的村落。