“谪仙人”这一称呼源于贺知章，李白在《对酒忆贺监二首》的序中说：太子宾客贺公，于长安紫极宫一见余，呼余为“谪仙人”，因解金龟，换酒为乐。没后对酒，怅然有怀，而作是诗。关于贺知章呼其为“谪仙人”一事，孟棨在《本事诗》中的描述更为细致，“白自蜀至京师，舍于逆旅，贺监知章闻其名，首访之，请所为文。白出《蜀道难》以示之，读未竟，称叹者数四，号为谪仙，解金龟换酒，与倾尽醉。期不见日，由是称誉光赫。”经贺知章的赞誉之后，“谪仙人”的称号传闻天下。
杜甫《寄李十二白二十韵》：“昔年有狂客，号尔谪仙人。笔落惊风雨，诗成泣鬼神。声名从此大，汩没一朝伸。……乞归优诏许，遇我宿心亲……”李阳冰《草堂集序》云：“……又与贺知章，崔宗之等自为八仙之游，谓公谪仙人，朝列赋谪仙之歌凡数百首，多言公之不得意。”魏万《李翰林集序》：“故宾客贺公奇白风骨，呼为谪仙子，由是朝列作歌数百篇。”不仅别人称他为“谪仙”，他自己也以“谪仙”自许，“大隐金门是谪仙”、“青莲居士谪仙人”，由是，李白为“谪仙”遂为历代相传。
明代人称李白为“谪仙”，基于他传奇的身世和出众的才华，或兼而有之，如朱诚泳云：天上酒星终日醉，寒芒犹占长庚位。敢入蟾宫窃侍儿，酣迷不省身遭累。一朝天帝怒且嗔，自天谪降埋红尘。长安市上酒家卧，睨视四海如无人。莲峰为笔天为纸，天纵奇才厌余子。斗酒真成诗百篇，秀似芙蓉出秋水。醉来花下还一呷，遮莫清光照华发。海吸鲸吞未放乾，等闲字字皆英发。有时踏翻鹦鹉洲，有时捶碎黄鹤楼。偏师突出敌崔颢，肯让区区先一头？可惜仙才竟弃捐，江头弄月身翻然。骑鲸万里上天去，精灵料得归星躔。文章流落在人世，万丈虹霓烛天地。何当烈火鍊黄金，为铸斯人示吾契？
此诗述及了李白的出生、“谪仙”名号的由来以及李白离奇的逝世经历，朱诚泳认为李白的超世才华与其身世有莫大的关系。李阳冰《草堂集序》：“惊姜之夕，长庚入梦，故生而名白，以太白字之。世称太白之精，得之矣。”《诗经·小雅·大东》：“东有启明，西有长庚。”长庚其实就是“启明星”傍晚居于西方时候的称名。李客给李白取名为“白”，字“太白”，就是为了表明他的出生非同一般。而李白的离世更富有传奇性，王定保《唐摭言》：“李白著宫锦袍，游采石江中，傲然自得，旁若无人。因醉入水中捉月而死。”《侯鲭录》也称：“世传太白过采石，酒狂捉月。”
梅尧臣《采石月赠郭功甫》则在水中捉月之上又增加了骑鯨仙去一说，“采石月下闻谪仙，夜披锦袍坐钓船。醉中爱月江底悬，以手弄月身翻然。不应暴落饥蛟涎，便当骑鱼上九天。”出世为长庚星精下凡，离世骑鯨上天，李白的“仙”气，在此传说之中，味道更浓。但是，王守仁却说：“李太白，狂士也。其谪夜郎，放情诗酒，不戚戚于困穷，盖其性本自豪放，非若有道之士，真能无入而不自得也。然其才华意气，足盖一时，故既没而人怜之。骑鯨之说，亦后世好事者为之，极怪诞，明者所不待辨。”可见，明人之称李白为“谪仙”，实际是因为他超世的才华。
唐代是一个崇尚道教的时代，李白很多诗文中也表露出他汲汲于求仙的追求。但李白是否诚心诚意信仰神仙？孙昌武说：“唐时士大夫更相当普遍地‘羡慕’神仙生活、向往神仙世界。但这种对神仙的向往基本是出于当时已经大为‘世俗化’的神仙观念，并没有多少真挚的信仰为依据。”李白就是这样，生于大唐盛世，他的用世之心是很迫切的，并且在整个求仙访道的社会氛围当中，仕途进阶之道与其在社会中的声名有密切的关联。所以，李白投身道教，或者依靠求仙访道而声名大噪，有一半是为了跻身仕途。
其实关于李白的仙道思想，早在唐朝就已存在分歧。贞元间刘全白作《唐故翰林学士李君碣记》中就说：“（李白）志尚道术，谓神仙可致。”而元和年间范传正在《唐左拾遗翰林学士李公新墓碑》中则以为：“（李白）好神仙非慕其轻举，将不可求之事求之，欲耗壮心、遣余年也。”两者的差异如此之大，亦可见李白对仙道之矛盾心理，为后人解读设下了一道道难关。明代的诗话家对李白求仙访道的态度也抱着这两种态度，一种是以其为诚恳，一者则认为他不过是图快意而已。前者主要从李白的交友和家人亦对神仙持向往之情而言的，如李日华认为：
太白风归材运，固是南宫谪仙，不独所交贺季真、元丹邱、蓬池隐者，女冠褚妙素诸人，皆结霞外之契，即原配许夫人，亦慕仙道，往庐山寻仙女李腾空。太白作诗送之云：“多君相门女，学道慕神仙。素手匊青霭，罗衣曳紫烟。一往屏风叠，乘鸾著玉鞭。”其超逸可想见，乃知异人降世，自有上界眷属相从，断非凡眼孔所能测识者也。
贺季真即贺知章，为“四明狂客”之一，也是“饮中八仙”之一，他早年性情放旷，善言谈，有魏晋之风。晚年方入道，《新唐书》卷一百九十六：“天宝初，病，梦游帝居，数日寤，乃请为道士，还乡里，诏许之，以宅为千秋观而居。”元丹丘是李白在蜀中就认识的道士，受道于胡紫阳，胡紫阳受业于李含光，李含光承业于司马承祯。李白《汉东紫阳先生碑铭》云：“九岁出家，十二休粮，二十游衡山，云寻洞府，水涉冥壑。神王 召为威仪，及天下采经史。因遇诸真人，受赤丹阳精石景水母。故常吸飞根，吞日魂，密而修之……陶隐居传升元子，升元子传体元，体元传贞一先生，贞一先生传天师李含光，李含光合契乎紫阳……天宝初，威仪元丹丘，道门龙凤，厚礼致屈，传箓于嵩山。”
