縱橫圖﹝Magic Squares﹞，又稱奇方或幻方，日本人稱為方陣，是把1至n的自然數排列成正方形，使它的縱橫均有n個數，而把每行、每列、有時還包括兩條主對角線的數加起來﹝或相乘﹞，它們的和﹝或積﹞都是相等的，他們的和等於1/2 n﹝n2 +1﹞。這種排列方式的縱橫圖稱為n階縱橫圖，或n階幻方。
縱橫圖起源可追溯到公元前2200年。發現於中國黃河、洛水一帶的甲骨──洛書上已刻有最簡單的縱橫圖﹝見圖一﹞，如把那些圖案用阿拉伯數碼來表示，這是一個三階的縱橫圖﹝見圖二﹞。
最早記載縱橫圖的文獻是《大載禮記》，在《大載禮記》《明堂》裡記載有「二、九、四、七、五、三、六、一、八」，如將之排列成方陣，便如圖二的幻方一樣。這可以推測出當時民間對幻方的流傳已遠於這本書記載的年代。
中國東漢學者鄭玄﹝127-200﹞注易緯「乾鑿度」中記載了：「太一取其數以行九宮，四正四維皆合於十五」，它的意思是太一神根據一定的順序巡行於九宮，而九個位置裡所顯示的數字代表了太一神所巡行的次第。因此，古人稱三階縱橫圖為九宮數或九宮圖。
北周甄鸞注的《數術記遺》中，提及：「九宮者，二、四為肩，六、八為足，左三右七，戴九履一，五居中央」。這與上圖所見縱橫圖十分吻合。
「縱橫圖」一詞最早出現在南宋著名數學家楊輝著《續古摘奇算法》﹝1275﹞一書中。他在這部書中給出了三至十階的縱橫圖及其變體共13種。例如：三階縱橫圖、花十六圖﹝見圖三﹞、五五圖﹝見圖四﹞、六六圖、衍數圖、易數圖、九九圖及百子圖。並正式定名為縱橫圖。
此外，明代王文素著的《算學寶鑒》﹝1524﹞中亦有記載多種縱橫圖，程大位著的《算法統宗》﹝1592﹞在卷17裡載有14種縱橫圖。清代方中通的《數度衍》﹝1661﹞在卷首之一的「九九圖說」後附有14種縱橫圖，它與楊輝著作中的基本上相同，張潮的《心？雜俎》，在卷下的「算法圖補」中，增加並補充了若干種縱橫圖。
除中國外，在公元4世紀前後，希臘人已對四階幻方有所記載，而除中國外，較早研究幻方的人是伊拉克的科拉﹝Korra， 836-901﹞。
在中世紀時，阿拉伯學者對縱橫圖已有所研究，並將之傳入中國。在1956年，西安巿郊內出土了阿拉伯學者扎馬魯丁在1278年為西安王推算曆法期間所作的「東阿拉伯數字」的鐵製六階縱橫圖。如將之用阿拉伯數碼表示，便如圖五的六階縱橫圖。
在15世紀﹝另一說法是14世紀﹞初拜占庭的摩索普拉斯把東方的縱橫圖傳到歐洲。而在歐洲，人們研究縱橫圖的造法大約開始於14世紀，在1514年，德國著名藝術家兼數學家迪勒﹝1471-1528﹞的一幅版畫上出現了歐洲第一幅完整的四階縱橫圖，並在1878年由英國人傳蘭雅傳入中國。大數學家歐拉和凱萊亦曾指出縱橫圖不但是數學遊戲，也是數學科學研究的對象。而另外兩位對縱橫圖有莫大興趣的有法國的梅齊利亞﹝1587-1638﹞及著名數學家費馬﹝1601-1665﹞。
至近代，人們已發現了各式各樣的縱橫圖，如雙重幻方、同心幻方、質數幻方、廣義幻方、分塊幻方、幻體、雙隨機矩陣等。中國古人對縱橫圖的研究是組合數學發展初期重要內容，現在縱橫圖仍然是組合數學的研究課題。此外，人們更發現縱橫圖對於程序設計、組合分析、人工智能、圖論及對策論等方面都有廣泛的用途。