皇帝议立太子时，李林甫与武惠妃勾结，互为表里，欲立惠妃子寿王李瑁为太子，未能成功，长子忠王得立，即为当今太子。李林甫因而与太子有过节，韦坚又是太子妃兄，也为李林甫所恶。

至此，韦坚李适之二人，一个失权，一个失恩，又都是受李林甫之害，愈发相亲密，结为一党，共与李林甫为难。

天宝五月正月，陇右节度使皇甫惟明因破吐蕃，入朝献捷，见李林甫把持朝政，意有不平，入宫见驾时，劝皇帝削减宰相权势。太子为忠王时，与皇甫惟明友善，韦坚李适之等趁机交结皇甫惟明，共排李林甫。

正月十五，元宵灯会，太子携太子妃同出游赏灯会，韦坚趁机同往。太子常年居住禁中，鲜少游这等民间集会，韦坚为他导引，太子游玩甚欢。

“韦卿，这盏灯好稀奇，四周图案旋转，但灯座似乎未动。”太子又看见一盏未曾见识过的灯，很是好奇。

韦坚回道：“此灯灯座与灯纱不连，内部以轮轴构造，摇柄可以自转，不必围绕一周便可见八方图案，因此名为‘走马灯’。”

太子定睛一看，果然见灯旁有一小童在摇手柄，每摇一周，灯可转三四圈，不由赞叹：“果然构造精密！”又见灯架雕刻精细，图案栩栩如生，心中喜爱，于是让仆人将此灯买下，递给韦妃，喜道：“爱妃，你看这灯，甚是精巧，你可喜欢？”

韦妃却兴致不高，看了一眼，敷衍道：“殿下好眼力。”一边举手按着额头，蛾眉轻蹙。

太子忙问：“爱妃为何怏怏不乐？可是玉体违和？”

韦妃答道：“或许是刚才吹了冷风，头有些疼，不想扰了殿下兴致。”说着起身欲拜，刚站起来，身子一晃，几欲跌到。太子连忙扶住韦妃：“爱妃说的哪里话，是我贪玩，竟忘了照顾爱妃身体。”一边就要随侍整队回宫。

韦妃制止道：“妾只是略感不适，车内休息片刻即可。时辰还早，殿下不必为妾而废行。”