De uitdrukking horen, zien en zwijgen komt van oorsprong uit de leer van de wijsgeer Confucius, die leefde van 551 tot 479 voor Christus in China. Hij zegt tegen zijn leerlingen: "Kijk niet naar, luister niet naar, spreek niet uit en richt je niet op wat in strijd is met welvoegelijkheid".
In Nikko in Japan (150 km ten noordoosten van Tokio) is het heiligdom Nikko Toshogu gevestigd. Binnen dit heiligdom bevindt zich 'de stal van de heilige schimmel'. Hierin bevinden zich acht houtreliëfs, die de levensgang van de mens uitbeelden. Deze panelen zijn gemaakt in 1636 door de beeldhouwer Hidari Jingorō. Een paneel op de voorgevel van de stal laat drie apen zien met hun handen voor de oren, ogen en mond. Dit paneel geeft de jeugd weer en is gebaseerd op de wijsheid van Confucius. Jingoro gebruikte apen voor zijn panelen omdat apen belangrijk waren in de religies van China en Japan. Een van de oosterse goden was Shōmen-Kongō. Om deze god te vereren, werden er in Japan verschillende beeldengroepen gemaakt van de drie apen. De oudste beelden dateren van 1528 en 1548. Dat is dus honderd jaar voordat het heiligdom in Nikko werd gebouwd.
De drie apen heten in Japan Mizaru, met zijn handen voor zijn ogen (ziet geen kwaad), Kikazaru, met zijn handen op zijn oren (hoort geen kwaad) en Iwazaru, met zijn handen voor zijn mond (spreekt geen kwaad). Soms wordt er een vierde aap afgebeeld: deze wordt Sezaru genoemd en beeldt 'doet geen kwaad' uit. Hij heeft zijn handen op zijn buik, over zijn genitaliën of gekruist.
In de Nederlandse taal heeft de uitdrukking ook nog een andere betekenis gekregen, namelijk die van: wat je ook hoort of ziet, je houdt je mond erover.