Początki Parafii Miłosierdzia Bożego sięgają lat siedemdziesiątych poprzedniego wieku. Ksiądz Kardynał Karol Wojtyła rozpoczął rozmowy z ówczesną władzą komunistyczną, których celem było utworzenie nowej parafii i budowa kościoła na Osiedlu Oficerskim, należącym do rozległej Parafii świętego Mikołaja. Wrogość władz nie pozwoliła na zrealizowanie tych zamierzeń.
28 kwietnia 1982 roku te same starania podjął Ksiądz Kardynał Franciszek Macharski. Uzyskał wówczas zapewnienie władz państwowych o możliwości realizacji tego przedsięwzięcia. Nowa świątynia miała powstać w latach 1983-1985 na placu u zbiegu ulic Moniuszki, Brodowicza i Kona (dzisiejszej Bandurskiego). Wszystkie plany zmierzały ku realizacji projektu, jednak nieprzychylna władza nie zrealizowała obietnicy udzielenia pozwolenia na budowę. Przyczyną tej decyzji było niezadowolenie i interwencja ludzi zamieszkujących przyległe ulice i związanych ideowo z aparatem władzy. Nie pomogły protesty parafian ani skargi wnoszone do sądu (było kilkanaście rozpraw) – sprawa budowy kościoła została odłożona na kilka lat.
W tym czasie nabożeństwa odbywały się w maleńkiej kaplicy (ok. 52 m2) przy ulicy Bandurskiego 12. Ten ośrodek duszpasterski był dziełem księdza Antoniego Sołtysika i księdza Bogusława Czarnego. Wciąż trwały usilne, niewyobrażalne dziś, starania i zabiegi o pozwolenie na budowę kościoła. W urzędach wywoływały tylko uśmiechy i drwiny. Niestety mimo ogromnego zaangażowania duszpasterzy nie przyniosły oczekiwanego efektu. W 1985 roku Ksiądz Kardynał Franciszek Macharski na miejsce księdza Bogusława Czarnego skierował do pracy duszpasterskiej na Osiedlu Oficerskim księdza Zygmunta Koska. Wpisując się w działania swojego poprzednika, kontynuował on starania uzyskania stosownych pozwoleń, ale przez kolejne dwa lata działania księdza Koska również nie przynosiły żadnych rezultatów.
Przełomem w sprawie okazała się notatka w prasie, że na placu przeznaczonym pod kościół ma powstać centrum handlowe – plany były już gotowe (1987). Parafianie w krótkim czasie zebrali ok. 5 tysięcy podpisów z żądaniem zezwolenia na budowę kościoła. Ta presja społeczna pomogła. Prezydent Miasta obiecał delegacji parafian, że w tym miejscu będą mieli kościół. Wszystko to jednak było niepewne i budziło wątpliwości. Sprawę przesądziło dopiero odkrycie w grudniu 1988 roku, że plac pod przyszłym kościołem jest własnością mieszkającego w Londynie Prezydenta Rzeczypospolitej Polskiej na uchodźstwie, Edwarda Raczyńskiego.
25 grudnia 1989 roku Ksiądz Kardynał Franciszek Macharski wydał dekret erygujący Parafię Miłosierdzia Bożego na Osiedlu Oficerskim. Pierwszym proboszczem został mianowany dotychczasowy duszpasterz, ksiądz Zygmunt Kosek. 15 marca 1990 roku Prezydent Edward Raczyński podarował Kościołowi plac. Powstały plany budowy świątyni i rozpoczęto gromadzenie materiałów budowlanych. W Boże Narodzenie 1990 roku Ksiądz Kardynał Franciszek Macharski odprawił na placu Mszę świętą – Pasterkę.
Po przemianach w Polsce, w nowej sytuacji politycznej, sprawy urzędowe szły szybciej, jednak pozwolenie na budowę Parafia uzyskała dopiero 29 marca 1991 roku. Było to w Wielki Piątek.
15 maja 1991 roku rozpoczęto prace budowlane. Autorem projektu został znany architekt inż. Stanisław Niemczyk. Dzięki ogromnej ofiarności parafian, budowa trwała tylko dwa lata. 4 kwietnia Ksiądz Biskup Kazimierz Nycz wmurował kamień węgielny. Pierwsza Msza święta została odprawiona 7 czerwca 1992 roku, a 9 czerwca 1993 roku Ksiądz Kardynał Franciszek Macharski pobłogosławił nowy kościół. 17 marca 1994 roku Ksiądz Biskup Jan Szkodoń pobłogosławił dzwony do naszej świątyni.
Uroczyste poświęcenie (konsekracja) kościoła odbyło się 5 listopada 2000 roku. Dokonał jej Ksiądz Kardynał Franciszek Macharski.
Dzieło architektów Stanisława Niemczyka i Marka Kuszewskiego odwołuje się do tradycji budownictwa sakralnego, tkwiących w wielowiekowej kulturze religijnej naszego miasta. Styl kościoła, z wykorzystaniem tradycyjnego budulca – cegły – nawiązuje do średniowiecznej architektury sakralnej. Wielu doszukuje się analogii do średniowiecznego miasteczka i atmosfery starego Krakowa. Razem z Pasażem i zespołem budynków parafialnych kościół stanowi swoistą oazę rzuconą między przedwojenną zabudowę Osiedla Oficerskiego. Zasadniczą rolę w przestrzeni budowli odgrywa umiejętnie rozprowadzone światło, nadające świątyni mistyczny, modlitewny charakter.
W późniejszym czasie powstał Parafialny Ośrodek Charytatywno-Kulturalny dla Parafian, składający się z kuchni, sali widowiskowej, biblioteki, czytelni oraz pasażu handlowego, który miał stać się źródłem utrzymania dzieł charytatywno-dydaktyczno-kulturalnych prowadzonych przez Parafię.
7 grudnia 1999 roku w Krakowskiej Edycji Konkursu czasopisma „Życie w Architekturze” na Najlepszy Budynek Krakowa 1989-1999 kościół Miłosierdzia Bożego i Zielony Pasaż przy Placu Raczyńskiego na Osiedlu Oficerskim otrzymał główną nagrodę w kategorii budynków użyteczności publicznej. 23 marca 2000 roku w Warszawie na etapie ogólnopolskim konkursu kościół został uhonorowany nagrodą Krajowego Duszpasterza Środowisk Twórczych i uznany za najlepszy obiekt sakralny w Polsce. W uzasadnieniu jury napisano: za skalę właściwą dla okolicy oraz różnorodność przestrzeni wewnątrz zespołu, spójność, konsekwencję i urodę wnętrz sakralnych, a także szlachetność i niezwykłą staranność detalu architektonicznego.