Die Accademia Filarmonica wurde im Jahre 1666 vom Grafen Vincenzo Maria Carrati († 1670) in Bologna gegründet.
Die Entstehung ging aus den vorherigen Gründungen der „Accademia dei Floridi“ (1615), „Accademia dei Filomusi“ (1624/25) und „Accademia dei Filaschisi“ (1633) hervor. Graf Carrati vermachte der Accademia, die ihren Sitz im Palast seiner Familie nahm, eine wertvolle Orgel. Die Accademia Filarmonica stand in Bologna, wo es keinen Fürstenhof gab, im Rang einer Hofkapelle. Die Aufnahme als Mitglied erfolgte erst nach strenger Prüfung. Die Mitglieder trafen sich anfänglich zweimal wöchentlich zum gemeinsamen Musizieren (esercizi) und donnerstags zu den conference, wo die Werke aufgeführt wurden. Einmal im Monat fanden öffentliche Veranstaltungen statt. Die Accademia bestand ursprünglich aus drei Sektionen, jeweils für Komponisten, für Sänger und für Instrumentalmusiker. Das Ziel war, die besten Musiker Europas in ihr zu vereinen, nach dem Motto Carratis, „Unitate melos“. Im Jahr 1721 zählte die Akademie bereits 300 Mitglieder.
Illustre Mitglieder waren neben Arcangelo Corelli, Giacomo Antonio Perti und Padre Martini (der 1758 die Leitung übernahm) beispielsweise Farinelli, Niccolò Jommelli, André Grétry, Johann Christian Bach, Karl Ditters von Dittersdorf und Wolfgang Amadeus Mozart.
Die Musikbibliothek der Accademia, der Padre Martini 17.000 Bände und Handschriften vermachte, zählt weltweit zu den bedeutendsten Sammlungen ihrer Art, ein großer Teil der Bestände, die sich heute teilweise im „Civico Museo Bibliografica Musicale“ befinden, sind bislang ungesichtet.
Im 19. und 20. Jahrhundert kamen weitere bekannte Mitglieder hinzu, wie Gioacchino Rossini, Otto Nicolai, Giuseppe Verdi, Christian Theodor Weinlig, Arrigo Boito, Richard Wagner, Jules Massenet, Camille Saint-Saëns, Giacomo Puccini, John Field, Franz Liszt, Johannes Brahms, Anton Rubinstein, Ferruccio Busoni oder Ottorino Respighi.