Le Conseil de gouvernement tire sa légitimité constitutionnelle des dispositions du chapitre V de la Constitution. L’organisation du gouvernement, telle que prévue par l’article 76 de la Constitution, est réglée dans sa forme actuelle par l’arrêté royal grand-ducal du « portant organisation du gouvernement grand-ducal ». Cet arrêté royal grand-ducal, modifié depuis à plusieurs reprises, constitue encore aujourd’hui la base juridique en la matière.
Le Conseil de gouvernement se réunit hebdomadairement au ministère d’État (Hôtel de Bourgogne), siège du gouvernement, afin de délibérer de toutes les affaires inscrites à l’ordre du jour qui est arrêté par le Premier ministre, président du Conseil de gouvernement. Tous les ministres peuvent saisir le Conseil de gouvernement d’une affaire concernant leur département.
Toutes les affaires qui sont soumises au Grand-Duc doivent être délibérées au préalable au Conseil de gouvernement. De même, le Conseil de gouvernement délibère sur les projets de loi qui seront déposés à la Chambre des députés.
L’arrêté royal grand-ducal modifié du prévoit que les décisions du gouvernement réuni en Conseil sont prises à la majorité des voix. En cas de partage de voix, la voix du président, le Premier ministre, est prépondérante. Dans la tradition politique luxembourgeoise cependant, les décisions du Conseil de gouvernement sont prises de manière consensuelle, de sorte que le recours au vote est exceptionnel.
La responsabilité de toute mesure prise en Conseil de gouvernement incombe à tous les membres du gouvernement qui ont concouru à cette mesure. Toutefois, le ministre qui a fait constater son vote dissident au procès-verbal de la séance du Conseil de gouvernement, est dégagé de sa responsabilité.
Le Conseil de gouvernement est assisté par le secrétariat général du Conseil de gouvernement, un service dépendant du Premier ministre. Le secrétaire général du Conseil de gouvernement, ainsi que le secrétaire général adjoint sont choisis par le gouvernement parmi les fonctionnaires de la carrière supérieure. Ils peuvent être révoqués à tout moment et leur fonction prend fin à la fin du mandat du gouvernement.
Le secrétaire général du Conseil de gouvernement prépare les séances du Conseil de gouvernement, assiste à celles-ci, dresse le procès-verbal des séances et veille à l’exécution des décisions prises par le Conseil. Il peut en outre être chargé d’autres attributions par le Conseil de gouvernement.