香山饭店是贝聿铭１９７９年初接下的中国大陆的第一项工程。他为设计这座饭店花费了许多的心思。在他心目中，这座饭店厅堂最好的装饰莫过于壁画，而最合适的画家人选莫过于著名法籍华裔画家赵无极。

贝聿铭知道，应接不暇的展览令赵无极终年忙碌。因而，他为此做了一番动员：“无极，我只是希望能尽自己的微薄之力，报答生育我的那种文化，这种心情相信你能理解。世界各国差不多都有我们作品，惟独生育了我们的故国却没有……”“你不用多说，我和你的想法一样。这毕竟是我们的祖国，只要有需要当然会尽力的。”两个好朋友一拍即合。于是，赵无极随贝聿铭前来考察饭店，以求创作出与之相协调的画。

旅游局方面并不了解赵无极是何许人物，只把他的画视作贝聿铭设计中的一部分。这样一来，赵无极就成了贝聿铭的客人，与旅游局方面毫无任何干系，甚至住宾馆的费用都是由贝聿铭自掏腰包，更谈不上受到与身份相当的礼遇了。无极并没有理会这些，只是以最大的热情投入到创作中。因为饭店的设计基调是白色的，他便舍弃了自己最喜爱的色彩组合，精心创作了两幅黑白的山水壁画。贝聿铭看后不禁拍手叫绝：“太好了，简直是画龙点睛的效果！”

本是皆大欢喜的好事，始料不及的是却引发了一系列令人不悦的事情。赵无极的作品完成后送到荣宝斋去托裱，因为画面太大案子放不下，只能在地上进行操作。他偕夫人前去察看，发现辛辛苦苦画好的画就直接放在地上，连铺垫的废纸都没有一张，心中难免感到不快。赵无极什么也没说，只是让夫人帮忙将画卷起，自己从门后边找来一把笤帚，亲自动手把地打扫干净。夫人佛朗索瓦不明白丈夫的画何以会遭到这样的对待，更无法理解他本人为什么要默然忍受。见到贝聿铭时，她禁不住发了一通牢骚。

贝聿铭原本就为好朋友应自己之邀来帮忙却遭到如此冷遇而觉尴尬，听她这么一说更感过意不去。虽然赵无极一再表示不用介意，他还是找到有关方面的负责人进行交涉，讲明赵无极在国际艺坛拥有的声誉和地位，以及他在世界各国受到的礼遇。可惜，他的提议并没有得到应有的重视。当时，“文革”的影响还没有完全肃清，在一些官员的心目中，画家根本算不上什么人物。

贝聿铭无计可施，只好与赵无极商量：“都怪我，不该把你拉来，既然他们不领情，干脆我们把画撤回去算了。”赵无极感觉自己的人格受到侮辱，心中确实非常气恼。平心而论，自己对这块土地一直怀有一种难以名状的深情。自第一次回国以来，总是希望能为这个多灾多难的国家尽自己一份心力，没想到满腔热忱换来的却是如此的冷淡。尽管如此，他还是决定采取息事宁人的态度：“算了罢，聿铭，别去和他们计较，画都已经画了，又何必撤回去呢。我们的本意不是想在这里得到什么，只要任何时候想起来，对这个国家问心无愧也就行了，其他都无足轻重。”

金秋十月，赵无极再次抵达北京，出席香山饭店的揭幕仪式。活动搞得很热闹，但是在众人毫不觉察中，也出现了令人尴尬和不快的一幕：一位饭店经理，对绘画一窍不通，却喜欢很自负地发表议论。他不知深浅地对贝聿铭说：“赵无极这样的画，我也会画。”此刻，赵无极就站在贝聿铭的旁边，他却根本不认识。为避免尴尬，贝聿铭慌忙打断他的话：“不要乱讲！”赵无极没有做声，也不想有所表示。

赵无极在为香山饭店作画过程中感受到的种种不愉快，激怒了美术界一些敢于仗义执言的人。黄苗子、丁聪等人认为这事会伤害海外华人的爱国之心，并会对文化交流造成不良影响，便向政协打报告反映此事，希望能有所挽回。与此同时，赵无极的妹妹、在国际广播电台工作的赵无宣，看到哥哥满腔爱国热忱却遭到这样的对待，也感到愤愤不平，遂给中宣部写了一封反映问题的长信。

中宣部负责同志收到这封信很感意外，急忙找有关人员了解情况，随后又组织全国美协、文化部艺术局、旅游局和北京市文联召开“四方会议”，商量解决的办法。由于当时华君武没有在北京，郁风代表美协参加了这次会议。郁风详细地介绍了赵无极在国际画坛的地位和影响，然后说道：“赵无极和李政道、杨振宁一样，都是加入了外国国籍的中国人，在世界上为中国争得了荣誉。赵无极是艺术家，所以知道他的人更多，各国博物馆几乎都收藏有他的作品，他为中国带来的影响也更大。而且，他的画在国际上是‘天价’，不计报酬来为我们作画，却受到这样的待遇，实在说不过去。”

听了郁风的话，艺术局局长神情严肃地说：“周总理生前曾经教育过我们，外事活动中没有小事。这件事情上我们的确处理得不好，造成了很坏的影响，现在大家商量一下，看用什么办法可以补救。”一时间大家也拿不出什么好的意见来，他便转而向郁风问道：“你对赵无极比较了解，你认为怎么做能够挽回影响？”郁风略加思忖后回答：“我看首先应该向他正式地赔礼道歉，再送一件礼品表示心意，并且邀请他方便的时候回国来办一个画展。”

不久，赵无极就收到了由中华人民共和国文化部发出的邀请，请他在中国美术馆和浙江美术学院办个人画展。后者的前身就是他的母校——杭州艺专。