人は、外界の色彩や形態から視覚の情報を受け取って、脳の中で３次元のイメージとして安定した世界を組み立てる。脳の２次元の絵から３次元の世界を推定する方法は、遠くほど小さく、近くになるほど大きいという遠近法。重なりや陰影のでき方、消失点などを使っている。
人間の視覚のうち、局所の整合性が優先されると、全体としての矛盾を見逃してしまう。人はまず、局所である近くの線と隣接する角度を優先して世界を組み立て解釈する。脳にある、バラバラの線を意味ある形にまとめる機能を使って現実として判断する。目から入る、２次元の情報をもとにして、過去の経験から３次元の世界を推定して組み立てる。エッシャーの絵はこの推論システムの欠陥を使って非現実的な世界を構成し絵画にした。
ネッカーの立体では、同じ線なのに手前にも見えるし奥にも見える。こうしたどちらでも見える図形を見たとき、脳はどちらかを選び解釈する。これは脳の特性で、同じ線で描かれた２次元の物体を手前に見えたり、奥に見えたりその時々の脳の判断で、変化する。絵は変わらないのにそれを観ている人の見方で、あるときそれが突然反転する。
知覚は複数解釈の競合で、あるときは物体は凸に見え、あるときは同じ絵が凹になる。知覚が競合するとき脳はどちらかを選び、ある瞬間に反対側を選ぶ。パラダイムの変換が起きる。
通常世界では、水は下に流れ、物体は下に落ちる。空間は連続している。脳はこれを前提として知覚している。エッシャーはこの前提を破った絵を描く。 そうすると鑑賞者の脳は前提を維持したまま解釈しようとする。こうして矛盾した現実が生まれる。
結局、脳は現実を直接見ていないと言うより、まず物を見て近くの線や色や形を解釈して意味ある物として自動的につくり出す。その後に全体を見渡して絵の意味を解釈しようとして混乱をきたす。
脳は現実世界は安定した秩序だったものとして世界モデルを作っている。ルネ マグリットの絵は夢のような非現実的な絵ではなく、人間の視覚のシステムでは整合性が取れているのに、何かおかしいと感じる、脳が現実であると認める確信を崩壊させる絵を描いた。
「人間の条件」では、窓の外の風景と、キャンバスの絵が一致する作品で、どこまでが現実でどこまでが絵なのか分からなくなる。マグリットは「私は部屋から見える窓の前に、一枚の絵、その絵によって視界をさえぎられたちょうど同じ部分の風景を表した絵を置いた。したがって絵に表された木は、部屋の外のそれのうしろに位置するきの視界をさえぎった。鑑賞者にとってそれは、絵の中で部屋の内側にある木と、本物の風景のなかで外にあるのと、その両方のものとして、いわば心に同時に存在した。われわれはそれが自身の内側で経験する、心的現象であっても、自分の外側にあると見るのである。」
人の脳は、視覚的にキャンパスの絵と本物の風景を同じものとして捉える。表象（脳の中で組み立てられた仮説）と現実を無意識に同一と判断している。次に脳（前頭葉）は世界はこうあるべきと言うモデルを使って、外界の風景だと予想する。しかし実際の絵では風景は見えているがキャンパスに遮られている。こうして予想モデルは破綻する。マグリットはこの鑑賞者の脳内の２つのシステムの隙間を絵の中で表現した。
ヨーロッパのシュールレアリズムやキュービズムの影響を受け継いで、２０世紀の中頃になると、具象芸術に代わって抽象表現主義が絵画の主流になった。特にアメリカではニューヨーク派の画家がさまざまなスタイルの、新たな形態の抽象絵画を生み出した。ウィリアム デ クーニング、ジャクソン ボロック マーク ロスコの3人がその先導者となった。視覚の世界を形、線、色、光に還元してそれを組み立てた。これらの作品は、絵が物語を語らない。それぞれの作品は曖昧で、音楽のように色と形、配色と配置から、鑑賞者（の脳）が自分自身の印象、記憶、願望、や感情を絵の中に創造することになる。それは精神分析の転移や仏教の瞑想に近いものになってくる。
ピート モンドリアンは、彼の抽象画を宇宙秩序の表現と考えていた。その絵を見た人は、そこからなんらかのスピリチュアル高揚感を感じていた。これは絵画によって、脳の記憶、情動、共感といった感情のシステムが働き、宗教的感覚が生まれるためである。
