霞客学会父亲的游玩，也喜好上了游玩，但父亲理财的本领，徐霞客一样不会，也毫无兴趣。尽管罗氏是把当家的好手，但母亲太了解儿子了，仍旧不放心。母亲王氏与徐霞客生活在一起，帮助徐霞客当家理财。
成年的徐霞客依旧悉心读书，但读书又不去参加科考。除了读书，徐霞客依然不经营家业，没事就四处游荡，到处交友，成为乡邻眼里的“白相”——不务正业之徒。有一天，徐霞客竟然对母亲说：我要出趟远门玩玩。
王氏一听，兴奋地说：好啊！什么时候带我出去看看？
后来，年迈的王氏还真的与儿子一道，出了几趟远门，共同游山玩水。天启四年（1624年），年届八十的老母，跟随徐霞客游玩了常州荆溪、句曲（茅山）。
以现有的《徐霞客游记》梳理，徐霞客的旅行始于二十一岁，终于五十四岁去世前的一年，有明确出游记录的年份计达二十年。徐霞客的一生，超过三分之一的生命是在旅游的路上。实际时间，应该远不止这些。
饱学而不求功名，父亲赞同，母亲支持，这时的徐家，已经与大明传统的价值观彻底决裂了。
六、旅游纪念品
说走就走的旅行，徐霞客并没有跑得太远。而每到一个地方，徐霞客的习惯是把一天的见闻记录下来，少则几个字，多则数千字，这就不简单了。笔、墨、纸、砚这“文房四宝”一样不能少，外出旅行可不是在家里，旅行跑得很累，回来连个凳子都不一定有，还坚持把日记写下来，相当不容易。
写日记的动因在哪里？文章传世，应该替圣人立言。但徐霞客连功名都不在乎，更不会指望这类不入流的日记留名千古。徐霞客有个朋友叫陈继儒，跟徐霞客一样绝意仕进，也是每天写文章，但写的是修身处世格言，当下与身后，都会有庞大的读者群。
明知不可为，而刻意为之，原因同样很简单：老母亲健在，徐霞客要把自己的见闻与老母亲分享。
徐霞客是至孝之人，父亲去世了，夫妻关系很平淡，母亲是他最亲的人，他要让母亲跟着自己的足迹，将自己目睹的天下神奇载诸日记，使母亲足不出户卧游天下。
日记，是徐霞客归来送给母亲的第一份礼物。然后，就是“旅游纪念品”。这些珍稀的外地物产，有些得来就足够传奇，徐霞客同样会把它们记录下来，让母亲品尝意外的喜悦。
天启三年（1623年）三月，徐霞客去了趟太和山，即今武当山。太和山对徐霞客有什么特殊的吸引力？明代的太和山，被尊为“皇室家庙”。永乐三年（1405年），道士李素希发现山上的榔梅树竟然开花结果，太罕见了，极度兴奋的李道士，便以“祥瑞”之名进献给了明成祖朱棣。明成祖这皇位是从侄子手里夺的，名份的问题他一直在纠结。天降祥瑞，“君权神授”的事就坐实了，李道士的榔梅果及时扔到了明成祖的兴奋点上，朝廷很快派员捧敕御香太和山，以答神贶。李素希获封“榔梅真人”，榔梅果被专旨保护，成为国禁圣物。
榔梅“相传玄帝插梅寄榔成此异种”，也就是说这种植物是玄帝亲手嫁接培育出来的。玄帝即太和山供奉的真武大帝，民间传说他是盘古之子，炎黄二帝的父亲，榔梅果有着“治疾延寿”的特殊功效。榔梅果成为国禁圣物，平民就不可能再吃了，偷吃榔梅果可能就不再有吃饭的机会。
徐霞客是位饱学之士，榔梅果的传奇早已了然于胸，对朝廷的禁令也并不陌生。但越是神奇，徐霞客就越好奇。徐霞客这次上山，不仅是要一睹榔梅果的风采，而且是要弄到榔梅果。皇家能享用，平民怎么就不能品尝？母亲的寿辰马上要到了，国禁圣物给母亲祝寿，徐霞客觉得这很有意义。
真的上了太和山，徐霞客不免大失所望。榔梅果的神奇有无数传说，榔梅果的保护绝对不是传说。太和山上“榔梅数株，大皆合抱”，果树长得这么粗大，是皇家禁令在起作用，它们的枝干只可能老朽脱落，榔梅树上动刀是要挨刀的。至于榔梅果，远远看看倒可以，偷摘那是不可能的。
太和山上转了三天，三月十四日徐霞客找到看守的道士。徐霞客人长得器宇轩昂，一开口更是谈吐不凡，道士一下被他给镇住了。当徐霞客提出要几颗榔梅果时，道士吓得连话都不敢说了。被逼无奈，道士几乎央求徐霞客：这是禁物，我哪敢给您啊！从前有人带走了几颗，被株连的道士有好几个，他们全都被弄得倾家荡产！
徐霞客很善于分析判断：这个道士是个实诚人，透露私拿榔梅果的后果很严重，说明拿到榔梅果的可能性是有的。于是，徐霞客对这个道士穷追紧逼。
没有办法脱身，道士拿了几个榔梅果交给了徐霞客。但是，这几个榔梅果全都腐烂变质了。就是这样几个废品，道士还反复交待徐霞客：千万不要让人知道，否则我就死定了。
一个普通道士，想必权力有限，直接去找观主。观主有权，也阅人无数，得知徐霞客的来意后，两个字就将徐霞客给封煞了：没有。
“没有”，自然就不存在给不给榔梅果