中華民国（現：中国広東省）の広州市で、銀行員で後に中国銀行の頭取を務めた父ツーイー・ペイと母リエン・クンの間の1男第2子として生まれた。ペイ家は蘇州で代々地主を務めてきた裕福な家柄であった。
1918年、イオ・ミンが生まれて間もない頃、孫文政権から父ツーイーの勤めていた銀行に資金援助の要請が来た。当時支店長であったツーイーはこれを断り、身元に危険が及んだ。このため、ツーイーは家族を連れ、当時イギリス領であった香港へ亡命した。
その後孫文政権に許され、家族は父の仕事の勤務地となった上海へと移った。家族は上海のフランス租界で暮らし、イオ・ミンも欧米の文化に親しみながら過ごした。一方で母の死後は祖父を通して中国の伝統文化にも親しんだ。このようにイオ・ミンは東洋と西洋の二つの文化の間で多感な少年時代を過ごした。
イオ・ミンは香港の名門セント・ポール・カレッジを卒業後、上海のセント・ジョンズ・スクールへ進学。1935年、17歳の時に渡米し、ペンシルベニア大学建築学科に入学したが、ボザール式の古典的な建築教育と人種差別に嫌気がさし、すぐに退学。マサチューセッツ工科大学に編入した。初めは建築学ではなく工学を専攻したが、彼の才能を見抜いた学部長の強い勧めで、再び建築を学ぶこととなった。在学中はル・コルビュジェとフランク・ロイド・ライトに強い影響を受けた。
1940年、マサチューセッツ工科大学を卒業。ヨーロッパ留学に向け奨学金を取得したが、当時のヨーロッパは第二次世界大戦の最中であったため、留学を断念。ストーン・アンド・ウェブスター社に製図工の職を得て働き始めた。1942年、中国人のアイリーン・ルーと結婚。アイリーンが在学していたハーバード大学大学院の教授の誘いで、イオ・ミンも同校の修士課程に入学したが、すぐに休学。戦時諜報機関の国防調査委員会に勤務した。
第二次世界大戦後の1945年、ハーバード大学大学院へ復学。ヴァルター・グロピウスとマルセル・ブロイヤーの下で学びモダニズム建築を実地で学んだ。同時期に学んだ建築家としてフィリップ・ジョンソン、ハリー・サイドラー、ポール・ルドルフらがいる。
1946年にハーバード大学にて建築学修士号を取得。グロピウスの設計事務所に勤務し、その後、同大学助教授を務めた。助教授を務めて2年程たった1948年、不動産開発業者の社長ウィリアム・ゼッケンドルフの招きにより、ウェッブ＆ナップ社（ニューヨーク）で企業内建築家として働き始める。これは不動産の知識を得ようともくろんでいたイオ・ミンには絶好の申し出であったと同時に、ハーバード大学での約束された地位を捨てるという1つの賭けでもあった。建築家として実作は少なく、実力も未知数であったが、いくつかのプロジェクトを経てその実力を示した。その後もウェッブ＆ナップ社建築部門の代表として多数の部下を抱え、多くの都市再開発を手がけた。1954年にアメリカ国籍を取得。1960年までウェッブ＆ナップ社で働いた後、1965年に自身の建築設計事務所「I.M.ペイ&パートナーズ」をニューヨークで設立する。
1983年にプリツカー賞受賞。1989年には事務所名を「ペイ・コブ・フリード＆パートナーズ」（Pei, Cobb, Free & Partners） に改称。事務所の代表からは退き、I.M.ペイ&パートナーズ時代には事務所の経営上手がけられなかった規模の小さな仕事など、自ら選りすぐった仕事に専念している。1994年、中国の同済大学より、名誉博士号を授与される。
石やコンクリート、ガラス、鉄などの抽象的な形、素材への依存から彼はヴァルター・グロピウスの弟子と思われたが、イオ・ミンはほとんどグロピウスの理論に関心を示さなかった。彼は建築は時代を反映されるべきではなく、商業的な力からは距離を置くべきだと考えていた。
イオ・ミンはハイ・テクの動向にゆるやかに関係付けられ、かつ洗練されたガラス加工の建造物を構築した。しかしながら、多くの作品はオリジナルのデザイン・コンセプトによっている。彼はしばしば大きなスケールの仕事をし、シャープで幾何学的なデザインで有名である。
作品の作風から「幾何学の魔術師」との異名を持つことが有名である。
アジア系出身の建築家では、世界的に最も名声を得た一人である。
