Yo tampoco lo sabía, pero si buscas "policía" en la RAE, en la definición aparece:

1. f. Cuerpo encargado de velar por el mantenimiento del orden público y la seguridad de los ciudadanos, a las órdenes de las autoridades políticas.
ORTOGR. Escr. con may. inicial.

http://buscon.rae.es/draeI/Srvl...LEMA=polic%EDa

Teskmon, puedes estar tranquilo, la Fundéu es totalmente fiable. En la práctica es el intérprete de la RAE, siempre se encarga de aclarar las ambigüedades de esta última. ¬¬ Si te fijas, en la parte superior derecha de la página pone "Con el asesoramiento de la Real Academia Española".

Exacto, la clave está en las palabras "cuando designan entidades o colectividades institucionales".

Por similitud con ejército, entiendo que lo correcto es Policía (‘institución’) / policía (‘conjunto de policías’). Sin embargo, la explicación dice "permite distinguir entre acepciones distintas de una misma palabra". En el caso de ejército existen dos acepciones:

1. m. Conjunto de fuerzas aéreas o terrestres de una nación.
ORTOGR. Escr. con may. inicial.

2. m. Gran unidad integrada por varios cuerpos de ejército, así como por unidades homogéneas y servicios auxiliares.

Pero no es así en el caso de la palabra policía. Desde mi humilde opinión, a la entrada del diccionario para policía le falta una acepción.