白居易11歲那年，因避家鄉戰亂，隨母將家遷至父親白季庚任官所在地——徐州符離(今安徽 省宿縣境內)。之後在那裏與一個比他小4歲的鄰居女子相識，她的名字叫湘靈，長得活潑可愛，還懂點音律，於是兩人就成了朝夕不離、青梅竹馬的玩伴。到白居 易19歲、湘靈15歲時，情竇初開，兩人便開始了初戀。白居易有一首詩名爲《鄰女》，追敘了十五歲的湘靈，讚美湘靈的美麗和她悅耳的嗓音。
貞元十四年(798)，白居易27歲的時候，爲了家庭生活和自己的前程，他不得不離開符離去江南叔父處。一路上他寫了三首懷念湘靈的詩。分別是《寄湘 靈》、《寒閨夜》和《長相思》。由詩中可以清楚地看出，白居易與湘靈經過17年的相處和8年的相戀，感情已經很深了。離別後不但苦苦相思，而且已考慮過結 婚問題。但是湘靈擔心她家門第低，攀不上白居易。最後表示了願至天必成和步步比肩行的懇切願望。
貞元十六年初，白居易29歲考上了進士，回符 離住了近10個月，懇切向母親要求與湘靈結婚，但被封建觀念極重的母親拒絕了。白居易無奈，便懷着極其痛苦的心情離開了家。貞元二十年(公元804年) 秋，白居易在長安作了校書郎，需將家遷至長安，他回家再次苦求母親允許他和湘靈結婚，但門戶大於一切的母親，不但再次拒絕了他的要求，且在全家遷離時，不 讓他們見面。他們的婚姻無望了，但他們深厚的愛情並沒從此結束。白居易以不與他人結婚懲罰母親的錯誤，並三次寫了懷念湘靈的詩：《冬至夜懷湘靈》、《感秋 寄遠》和《寄遠》。在近8年裏，母親再沒讓白居易和湘靈見面，也不允許他提起湘靈。
白居易37歲時纔在母親以死相逼下，經人介紹與同僚楊汝士 的妹妹結了婚，但直到元和七年還寫詩思念湘靈。例如《夜雨》、《感鏡》等。後來白居易蒙冤被貶江州途中，和楊夫人一起遇見了正在漂泊的湘靈父女，白居易與 湘靈抱頭痛哭了一場，並寫下了題爲《逢舊》的詩。這時白居易已經44歲，湘靈也40歲了，但未結婚。這首詩裏白居易再次用了恨字，此恨與《長恨歌》的恨不 會毫無關係，所以說白居易親身經歷的這段悲劇般的愛情爲《長恨歌》打下了基礎。
直到白居易53歲的時候，他在杭州刺史任滿回洛京途中，看到變換舊村鄰而湘靈已不知去向的時候，這段長達35年之久的戀愛悲劇才劃上了離開的句號。
樊素小蠻
在杭州刺史位上，每當良辰美景，或雪朝月夕，他邀客來家，先拂酒罈，次開詩篋，後捧絲竹。 於是一面喝酒，一面吟詩，一面操琴。旁邊有家僮奏《霓裳羽衣》，小妓歌《楊柳枝》，真是不亦樂乎。直到大家酩酊大醉後才停止。白居易有時乘興到野外遊玩， 車中放一琴一枕，車兩邊的竹竿懸兩隻酒壺，抱琴引酌，興盡而返。 據《窮幽記》記載，白居易家裏有池塘，可泛舟。他宴請賓客，有時在船上，他命人在船旁吊百餘隻空囊，裏面裝有美酒佳餚，隨船而行，要吃喝時，就拉起，吃喝 完一隻再拉起一隻，直至吃喝完爲止。 方勺《泊宅編》捲上說：白樂天多樂詩，二千八百首中，飲酒者八百首。這個數字可不算小。 他喝酒時用酒來排遣，他是以一天酒醉來解除九天辛勞的。他說：“不要輕視一天的酒醉，這是爲消除九天的疲勞。
素口蠻腰，蓄妓(這裏的妓，相當 於中國歷史上的妾或家庭歌舞妓)玩樂，始自東晉，唐代比較普遍。爲了滌除人生煩惱，白居易以妓樂詩酒放縱自娛。他蓄妓與嗜酒無度，直到暮年。從他的詩中知 姓名之妓便有十幾個，最出名的是小蠻和樊素。唐孟棨《本事詩事感》中記載:“白尚書(居易)姬人樊素善歌，妓人小蠻善舞，嘗爲詩曰:櫻桃樊素口，楊柳小 蠻腰”。現代人形容美女說櫻桃嘴、小蠻腰或楊柳腰，就是從白居易那裏學過來的。
白居易後來老了，體弱多病，決定賣馬和放妓，他不希望他們跟着 自己吃苦。但是他心愛的馬居然反顧而鳴，不忍離去。樊素和小蠻等對白居易還是蠻有感情的，都不忍離去。樊素感傷落淚地說:“主乘此駱五年，銜橛之下，不驚 不逸。素事主十年，中擳之間，無違無失。今素貌雖陋，未至衰摧。駱力猶壯，又無虺憒。即駱之力，尚可以代主一步;素之歌，亦可以送主一杯。一旦雙去，有去 無回。故素將去，其辭也苦;駱將去，其鳴也哀。此人之情也，馬之情也，豈主君獨無情哉?”白居易也長嘆道:“駱駱爾勿嘶，素素爾勿啼;駱返廟，素返閨。吾 疾雖作，年雖頹，幸未及項籍之將死，何必一日之內棄騅兮而別虞姬!素兮素兮!爲我歌楊柳枝。我姑酌彼金缶，我與爾歸醉鄉去來。”
當然最後於白居易70歲樊素和小蠻還是走了。白居易思念中寫道:“兩枝楊柳小樓中，嫋娜多年伴醉翁，明日放歸歸去後，世間應不要春風。五年三月今朝盡，客散筵空掩獨扉;病與樂天相共住，春同樊素一時歸。”
他在67歲時，寫了一篇《醉吟先生傳》。這個醉吟先生，當然就是他自己。他在《傳》中說，有個叫醉吟先生的， 不知道姓名、籍貫、官職，只知道他做了30年官，退居到洛城。他的居處有個池塘、竹竿、喬木、臺榭、舟橋等。他愛好喝酒、吟詩、彈琴，與酒徒、詩友、琴侶 一起遊樂。事實也是如此，洛陽城內外的'寺廟、山丘、泉石，白居易都去漫遊過。
家釀名酒