Cuando 230 delegados que representaban a las comunidades judías de 32 países se reunieron en Ginebra, Suiza, en agosto de 1936 para fundar el Congreso Judío Mundial, el peligro era claro y concreto: se perseguía a los judíos de la Alemania nazi y se los privaba de sus derechos, y una creciente ola de antisemitismo estaba afectando a los judíos en toda Europa.
Los objetivos principales de la nueva organización eran movilizar al pueblo judío y a las fuerzas democráticas contra la masacre nazi, luchar por derechos políticos y económicos igualitarios en todas partes, apoyar la creación de un hogar nacional judío en Palestina, y crear un organismo mundial que representara a los judíos basado en el concepto de la unidad del pueblo judío, democráticamente organizado y capaz de actuar en cuestiones de preocupación común.
El Congreso Judío Mundial en 1942, alertó al mundo libre respecto del Holocausto nazi y presionó a líderes norteamericanos y británicos para que tomaran acción urgente en el histórico "Telegrama de Riegner" enviado por el entonces Secretario General del CJM Gerhart Riegner. El CJM creó un comité de ayuda para los refugiados de guerra judíos y cooperó con el Comité Internacional de la Cruz Roja para proteger a judíos en los países ocupados por los alemanes.
Durante la guerra, el CJM encaró el lobby de manera activa ante los gobiernos Aliados para que otorgaran visas a refugiados judíos de Europa y garantizaran la restauración de los derechos de la minoría judía en zonas liberadas por las fuerzas aliadas. En abril de 1945, el CJM logró obtener la liberación de 4500 prisioneras del campo de concentración de mujeres de Ravensbrück a través de negociaciones directas con un alto líder nazi.
Después de la Segunda Guerra Mundial, el CJM realizó esfuerzos para reconstruir las comunidades judías de Europa, brindó ayuda a las personas desplazadas y a los sobrevivientes de la Shoá, presionó para que Alemania indemnizara a las víctimas, y abogó por el castigo a líderes nazis que cometieron crímenes de lesa humanidad.
En 1951, el presidente del CJM Nahum Goldmann creó la Conference of Jewish Material Claims Against Germany para que se ocupara de los reclamos de indemnización. Un año más tarde se firmó el Acuerdo de Luxemburgo con Alemania Occidental. Gracias al mismo, casi 300.000 sobrevivientes judíos del Holocausto han recibido un total de 60.000 millones de dólares estadounidenses en pagos de indemnizaciones y pensiones de Alemania en el curso de las últimas seis décadas.
El Congreso Judío Mundial también encaró actividades de incidencia ante Naciones Unidas y diversos gobiernos para apoyar la creación del Estado de Israel. Después de 1948, el CJM centró su atención en la difícil situación de los refugiados judíos en los países árabes y también atrajo la atención internacional a la situación de los judíos en la Unión Soviética, a quienes en última instancia se les otorgó permiso para trasladarse a Israel o permanecer en sus comunidades, si así lo deseaban, y practicar y expresar su religión libremente.
Bajó la presidencia de Edgar M. Bronfman, que ocupó dicho cargo en el CJM desde 1979 hasta 2007, el CJM reveló el pasado nazi del Presidente de Austria y Secretario General de la ONU Kurt Waldheim. Durante la década de 1990, el Congreso se dedicó a hacer lobby para la restitución de activos de las víctimas del Holocausto retenidas en las denominadas cuentas bancarias "dormidas" en Suiza y otros lugares, y se aseguró de que se devolvieran a sus propietarios legítimos, o que se pagara una indemnización adecuada. Se establecieron comisiones en 17 países para investigar los activos de la era del Holocausto, incluyendo obras de arte robadas, y los fondos recuperados se han usado para apoyar una multitud de programas en todo el mundo.
El CJM también luchó por justicia para los trabajadores forzados - tanto judíos como no judíos - cuyas terribles privaciones no se habían indemnizado durante muchas décadas, y esto dio como resultado la formación de un fondo de 5.000 millones de dólares estadounidenses aportados por Alemania en 2001.
El Congreso Judío Mundial también ha estado a la vanguardia en cuanto a promover un mejor entendimiento con otras religiones, especialmente con la Iglesia Católica, y la organización facilitó el establecimiento de relaciones diplomáticas entre Israel y la Santa Sede en 1993.
En la actualidad el CJM se ha convertido en la única organización judía genuinamente global, con comunidades y organizaciones afiliadas en más de 100 países del mundo.