立下云游四方的志向
徐霞客的山水之志，更主要和直接的来源是父亲的榜样、书籍的熏陶和母亲的支持。按照家族传统，徐霞客理当继续走先辈走过的路，努力攻读“四书五经”，求取功名，入朝为官，光宗耀祖。
但是，徐霞客受父亲的影响，同时也由于超脱的个性，从小不喜欢八股文和世俗功名。他对科举考试要求的经书不感兴趣，却特别喜欢看奇书异志，一心只想徜徉于山水之间探幽览胜。
徐霞客年少时曾经发出这样的感慨：丈夫当朝碧海而暮苍梧，乃以一隅自限耶？
大意是说，男子汉大丈夫应该遍游大好河山，怎么能够局限于一个小角落呢？他常说“余髫年蓄五岳志”，就是说“我幼年就怀有游历五岳的志向”。
徐霞客家正厅前面天井东侧有一棵高大的罗汉松，亭亭如盖，枝繁叶茂。这棵罗汉松年龄比徐霞客还大。据说，徐霞客的祖父曾于京城带回一个盆景罗汉松，直到徐霞客出生后才把盆里的罗汉松移栽到庭院里了。
随着徐霞客一天天长大，这棵被移栽到庭院的罗汉松，也得地气之盛，生机勃发，不断壮硕成长。于是，徐霞客就从这棵罗汉松身上获得了某种神奇的感悟与力量，他立定志向：不做盆中景，要做凌霄松。
说来也神奇，这棵并不算高的罗汉松，后来其树干粗到需要两个人才能合抱，而且上下几乎同粗细，通直而立，无枝无蔓，顶如绿云华盖，苍翠欲滴。人们说，它曾在某个电闪雷鸣的夜晚被拦腰劈断，遭受重创；然而，它却依然挺立着，并且后来从折断的创口处发出幼芽新枝，昂扬地宣示着它的生命力。
徐霞客从小就很聪明，最喜欢涉猎历史、地理和探险游记一类书籍。为了不被塾师发现，他常常在令人厌烦的经书的遮掩下偷偷阅读这类书，读到入神之处，不免眉飞色舞。
转眼间，徐霞客到了考秀才的年龄，他的地理、历史知识越来越丰富，而且兴趣越来越浓，但对经文、八股却越来越淡漠。
为了给父母一个交代，他在十五岁那年勉强参加了科举考试。
在考试前，徐霞客游览了君山（在今湖南岳阳市君山岛风景区），并登上了望江楼。望着滚滚东流的长江，他情不自禁地喊道：“多么雄奇壮观的景象啊！”
身后一位老人问道：“小伙子，你喜欢长江水吗？”
徐霞客连忙点点头。这位慈祥的老人给他讲了许多江岸景点的由来……老人的故事娓娓动听。徐霞客见老人知道这么多事情，就忙问：“老人家，听说长江水是从西蜀流出来的，是这样吗？”
“书上说它是从岷山西北发源的，可那个地方实在太远了，还没听说有谁到过那里呢！”老人平静地回答。
岷山西北真是长江的发源地吗？源头的景象一定更加令人神往吧！要是自己能到那里亲眼看看该有多好啊！徐霞客的心似乎已经飞向巍峨的山岭、奔流不息的江河。于是，他暗暗下定决心：“总有一天，我要去长江的源头，我要游遍天下的江河山川！”
考试结束了，徐霞客榜上无名。他回到家里后，虽然父亲仍然督促他继续读书，来年再考，可他对功名已没有兴趣了，便索性摒弃了“四书五经”等参加科考必备的书籍，开始一心钻研古代史籍、地理书籍、图经（附有图画、地图的书籍或地理志）和地方志等。他整天泡在父亲的藏书楼，遨游在书海中，如饥似渴，孜孜不倦。父亲见儿子确实是无意功名，也就不再勉强他，就鼓励他博览群书，做一个有学问的人。
徐氏自一世祖徐锢开始就广有典籍，日积月累，到太祖元献时，万卷楼已经修成，加之徐霞客的祖父徐衍芳分得的祖产就是“湖庄书屋”，徐霞客可以取用的书籍是非常多的。
这些藏书不仅为徐霞客开阔了眼界，帮助他确立了人生志向，更为他以后的考察工作提供了大量文献支撑。——这使得他，对于所要精研的舆图方志、所要考察的文物典章，均可随时取用，无须辗转得来。
徐霞客遍读了先祖的藏书，还不断添置新书；只要看到奇书，哪怕是不吃饭不穿衣也要买。他读书认真细致，且记忆力十分惊人，对别人所提的问题总能说得明明白白，因此被人称为“博雅君子”。
有一天，一位客人正和徐有勉谈论游览太湖包山的经过，还说到了山上的林屋洞，客人便向徐有勉求教道：“徐先生，听说书上记载，林屋洞很长，可以通向四方，不知是哪四方呢？”
徐有勉紧锁双眉，一时记不得了，这时徐霞客连忙对客人说道：“大叔，你说的是《郡国志》吧？上面记载说，林屋洞东通王屋，西达峨眉，南接罗浮，北连岱岳。”
徐有勉十分惊讶，他想不到儿子对地理知识如此熟悉，简直是倒背如流。看来，让儿子走仕途是白费心机了。
经过这件事后，徐有勉思量再三，把儿子叫到跟前，语重心长地说：“弘祖，你已经长大了，看得出你的心思不在功名上，父亲也不再勉强你。不过，你选择的是一条充满艰辛而又需要付出巨大代价的辛苦之路啊！”
徐霞客听完父亲的话，像见到了雨过天晴的太阳，高兴得跳了起来。他信心十足地对父亲承诺道：“只要能游历天下，再苦再累，孩儿也心甘情愿。”
从此，徐霞客告别了“四书五经”等书，在父亲的指导下刻苦钻研地理知识，这些知识为他日后游历山川河流打下了坚实的理论基础。
因为徐霞客的志趣异于常人，当时有人认为他言行怪诞，他也不管不顾，一心一意搜求逸事与奇书。有时遇到意趣相投的词人酒客、亲朋好友，他们就在一起觞咏流连，通宵达旦。
在对地理学书籍的阅读比对中，徐霞客发现了前人的很多不足之处，有的书言辞模糊、不知所云，有时不同的书对同一个地区的描述大有出入，大概是因为编书的人对书中所记内容没有进行实地考察验证，只是互相抄袭，以讹传讹，最终导致错误百出。于是，他暗下决心，日后一定要穷一己之力探究个明白。
江阴马镇南旸岐村前有条叫沈塘河的小河，河上有座石板桥，被称为胜水桥。石桥的两端，有用条石砌成的石级。石级承载着宽大平直的石板，连通两岸。
徐霞客时常与村里的小伙伴在沈塘河中戏水，在岸边的茫茫芦**里刨芦根、芦笋，或者捉迷藏。更多的时候，他喜欢独自一人站在胜水桥上，望着远去的船只，在心中驰骋他的美丽梦想。他知道，顺着沈塘河出去，可以到马镇，到古老的运河，到太湖和无锡，到很远的地方……他不禁说道：“什么时候我才能一览国家的山河之胜呢？”随后他扯了一根芦苇，轻轻地吹起了芦哨。
徐霞客的父母艰难创业，使得家道中兴。发家后，夫妇二人修筑田园，过着安静的隐居生活。徐有勉常常带着几个奴仆，有时乘船，有时坐轿，在苏杭之间观赏湖光山色，品评甘泉新茗，悠然自得。可以说，徐霞客对旅行产生兴趣，和父亲的影响有莫大的关系。
也许是有感于祖辈和父辈的科场遭遇，徐有勉拒绝入仕。
有一次，他与几位朋友在一起喝茶闲聊，其中一位朋友问他：“你家有田有钱，为何不花些银两谋个官职？”徐有勉看了看这位仁兄说道：“莫非尊驾不晓得我生性厌恶为官？何况捐个官职这种龌龊之事，仁兄竟说得如此轻巧！仁兄若还当我是朋友，还请今后再勿提及此等事情。”
徐有勉不仅不愿做官，而且讨厌与达官贵人打交道。有一天，他在庭院中修剪花木，仆人来报，说有两位官员要前来拜访，轿子就快进村了。他一听，忙丢下工具躲进了屋后的竹林里。再后来，一旦听说有官员造访，他就干脆到太湖游玩去。
父亲的这种秉性、气质和人生态度，给徐霞客带来了深深的影响。徐有勉曾对朋友说：“我的第二个儿子弘祖，眉宇之间有烟霞之气，读书好客，看来可以继承我的志趣，我倒不愿意强迫他去追逐功名富贵。”可见，他不仅自己绝意宦途，也不希望儿子走上这条道路。
如果说父亲影响了徐霞客的性格和爱好，那么母亲则给了他物质上的支持与精神上的鼓励。徐霞客的父亲不事稼穑；徐家得以复兴，主要得力于徐霞客的母亲。可以说，徐母支撑了徐家的大半家业。
徐母最初嫁入徐家时，为太翁泡茶，放了两颗桂圆，太翁不吃，并且不高兴地说：“农家怎么能享用如此贵重的东西？”听了太翁的话，徐母感到很惭愧，一直谨慎地收藏着这两颗果核，用来教育子孙时刻注意勤俭。受母亲数十年辛勤节俭的影响，徐霞客并未染上一般纨绔子弟的恶习。徐母不仅勤劳贤惠，而且乐善好施。在饥荒之年，徐母要儿子仿照先祖的事迹赈济灾民。
徐母一生酷爱种豆和织布，她每年都要在篱笆周围广植秋藤，抽条引蔓，使得绿荫满堂。每天一大早，她就带着婢女在藤蔓下面纺织，并让小孙子在旁边吟诵诗文。机声与书声相互应和，徐母在一旁怡然自得。——后来，徐母八十大寿时，徐霞客怀揣着对母亲的孝敬与感恩，请了一位画家为母亲绘制了《秋圃晨机图》，还请了许多文坛墨客为母亲著文题诗。其中有一首题诗这样写道：
豆花棚下鸣机杼，萱草堂中授简编。
正是描绘了徐母在豆棚绿荫下纺线织布的机杼声和子孙们的琅琅书声相应和的生动场景。
徐母种的豆荚果实累累，成筐地送给亲友；徐母织的布轻柔如蝉翼，被称为“徐家布”，在市场上能卖到丝绢一样的价格。
她还用织布的道理来教育子孙：“百姓的生计以勤劳为本，为人勤劳则日用不乏。如今织布的有无数人，而我们家织的布却能以精良闻名。做学问也是一样的道理啊！”
徐母对儿孙的言传身教，远近闻名，被传为佳话。而她理解、支持徐霞客“屐遍五岳，无负七尺男子”的壮举，更体现了她的胸怀。
徐母为人不仅勤勉达观，而且处乱不惊，具备男子一般的英武之气。在徐霞客十七岁那年，家中发生了一件大事。
有一天，徐父外出久久未归，家人四处打听，杳无音讯。第二天傍晚，一个陌生人送来一封信便匆匆离去。打开信一看，全家人惊呆了，原来徐父被强盗绑架了。绑匪在信中勒索银两，并威胁不许报官，否则便杀了徐有勉。
一家人顿时陷入恐慌。这时徐母镇定地对全家人说：“哭没有用，救人最重要。就是倾家**产，也要把人解救出来。”于是，她嘱咐徐霞客弟兄三人，不得将父亲被绑架的消息透露出去，免得节外生枝。
与此同时，徐母拿出平日里省吃俭用的全部积蓄，还将一些土地和房契作为抵押，勉强凑足银两。经多方营救，才将徐有勉平安接回家中。
徐父本来身体就很虚弱，经过绑架一事的惊吓，身心受到刺激，终因旧病复发，不久便故去了，时年六十岁。父亲的遭遇，使徐霞客加倍地看清了动**的晚明社会的黑暗。
父亲病逝前后，徐家不断地遭到地方豪强的欺辱，导致徐霞客更加厌弃现实社会，希望逃离世俗，寄情山水。他发誓绝不走仕途，而要走一条自己的道路。
徐父去世时，徐霞客只有十八岁，徐母将家产处置停当之后，一直与徐霞客住在一起。后来，徐霞客的长子徐屺，是他与第一任妻子许氏所生，由于许氏很早就去世了，所以长子一直由徐母抚养；此外，徐霞客常年外出，徐母在家支撑门户，将一切都处理得井井有条，为长期在外远游的徐霞客解除了后顾之忧，使他在外旅行时根本无须为生计而担忧。如果说，徐母的贤达明理、乐善好施、勤俭持家等属于传统劳动妇女的优良品德，那么，在对待霞客远游这件事上，徐母的见识就远远超出了当时一般妇女的认知水平。
父亲病逝三年之后，服丧期满，徐霞客就想出外游历，以实现自己从小的愿望。但是又惦念家有老母，心中很是踌躇。徐母是个很不寻常的妇人，她了解到儿子的心意后，就勉励他说：“身为男子，应该志在四方。至于说‘游必有方’的古训，也不过是说要计算好路途的远近、时间的短长，能够如期往返也就是了。怎么能够为了母亲的缘故羁留家园，好像是圈在篱笆里的小鸡、套在车辕上的小马呢？”
徐霞客听了母亲这番话，非常激动，更加坚定了游历四海的志向。徐母还亲手为儿子整理行装，并说：“儿去游览名山大川，施展才干，实现自我抱负才是。记得回来时，把出行的路线图拿给娘看，给娘讲讲旅途的山水风光、奇闻趣事、风土人情，让娘也长长见识，我就心满意足了！”
说着，母亲拿出一顶专门为了霞客出游而做的帽子，对霞客说道：“儿啊！娘也没什么物件能送给你，就为你缝制了这顶‘远游冠’，让它为你在路上遮阳挡雨吧。”
徐霞客双手接过“远游冠”，感动地跪在母亲面前，喊了声“慈母大人”，便泪流满面，不知道该说些什么了。他在心里暗暗地说：“娘啊，儿子决不辜负您老人家的期望！”
从此，徐霞客与母亲约定，每年在春草初萌时出游，在秋叶染霜时归来。二十年间，徐霞客的足迹几乎遍及天下，无不如期而返。霞客每次出游归来，总是采些奇花异果或名贵药材献给母亲。母亲一面听他兴致勃勃地讲述天地之大、风俗之异、山川之胜、文物之丰，一面烹制可口的饭菜，为他接风洗尘，使他备感家庭港湾的温暖。