Un grand nombre de passagers avaient d'abord emprunté un A330 qui assurait le vol Yemenia 749, parti lundi à 8 h 55 de l'aéroport Charles de Gaulle, à Paris, pour se rendre, via Marseille, à Sanaa, au Yémen, où ils avaient embarqué à bord de l'A310 assurant le vol IY626, dont l'arrivée à Moroni était prévue à 2 h 30 locales (22 h 30 UTC).
La seule survivante du vol 626 Yemenia est une jeune fille de 12 ans, Bahia Bakari. L'adolescente a été retrouvée agrippée à des débris qui flottaient sur l'océan. Elle n'avait pas de gilet de sauvetage. 13 h après le crash, elle a été retrouvée par des pêcheurs qui s'étaient portés au secours des disparus. Le bateau qui les transportait a accosté à Port Moroni à 19h25 heure locale, d'où Bahia a été menée à l'hôpital local.
Depuis le 30 juin 2009, le Centre régional opérationnel de surveillance et de sauvetage de La Réunion (CROSS RU) coordonne le dispositif de recherche international civilo-militaire, dans lequel sont intégrées les Forces armées de la zone sud de l'océan Indien. Le 2 juillet 2009, Ahmed Abdallah Sambi, président de l'Union des Comores, a appelé la communauté internationale à « renforcer les moyens de recherche », avant d'embarquer le lendemain à bord de la frégate de surveillance Nivôse (F732) de la Marine nationale française.
Un vol de reconnaissance effectué par un avion de la compagnie Air Services Comores a localisé les lieux du crash au large de la ville de Mitsamiouli dans le nord de la Grande Comore. L'armée de l'air française apporte son soutien au départ de l'île de La Réunion en envoyant un C-160 Transall médicalisé de la base aérienne 181 participer aux opérations de secours avec à son bord des plongeurs, du personnel médical et six tonnes et demie de matériel, dont deux embarcations pneumatiques de type Zodiac. Le Transall effectue des survols de la zone pour tenter de localiser les corps des victimes et les débris de l’appareil. Un hélicoptère Panther de l'aviation navale française, basé sur la frégate Nivôse, appuie le Transall dans ses missions de patrouille aérienne. Un C-130 Hercules de l'US Air Force participe également aux recherches. Selon le ministre des Transports de l'Union des Comores, l'équipe américaine aurait repéré le 4 juillet 2009 le premier débris de l'appareil, plus un coussin aux couleurs de Yemenia.
Le 30 juin 2009, l'armée nationale de développement a envoyé des vedettes rapides dans une zone située entre le village de Ntsaoueni et l'aéroport de Moroni. La marine nationale française a dépêché des moyens navals à partir de Mayotte et de la Réunion. Du 1er au 6 juillet 2009, le patrouilleur La Rieuse (P690) ratisse la zone pour tenter de localiser des victimes et des débris. La frégate Nivôse, qui participait à la force européenne antipirates Atalanta, a été déroutée et est arrivée sur zone dans la nuit du 1er au 2 juillet 2009, où elle coordonne les moyens maritimes et aériens. Elle est remplacée à partir du 7 juillet 2009 par son sister-ship le Floréal (F730). De même, la frégate Maestrale (F570) de la Marina militare italienne, également en provenance de la mission Atalanta, à participé aux recherches jusqu'au 5 juillet 2009.
Le Bambo, remorqueur de la Somarsal à Mayotte, a été envoyé vers la zone du crash avec à son bord des plongeurs, des gendarmes et des légionnaires du détachement de la Légion Etrangère de Mayotte et des parachutistes du 2e RPIMa. Il est accompagné du patrouilleur Atsanta de la Marine malgache.
Le thonier français Via Mistral a participé un temps aux recherches.
L'équipe française de plongeurs effectue des recherches approfondies le long de la côte de Grande Comore à bord de Zodiacs.
Le 5 juillet 2009, le Bureau d'enquêtes et d'analyses français (BEA) confirme que le signal des deux balises acoustiques de l'appareil a été repéré.
Néanmoins, les fonds marins de la zone supposée du crash ne sont pas cartographiés. Aussi, le 4 juillet 2009, la marine nationale française dépêche le navire océanographique Beautemps-Beaupré (A758) avec à son bord 20 personnels du Service hydrographique et océanographique de la marine, lequel arrive sur zone le 17 juillet 2009. Jusqu'au 23 juillet 2009, ce dernier effectue des relevés bathymétriques, qui révèlent, « outre une profondeur de 1 200 mètres, un fond sous-marin de nature rocheuse avec une déclivité importante », ainsi que des relevés hydrographiques côtiers et des mesures de courant. Selon le ministère de la Défense français, « ces données conditionneront le choix du robot sous-marin qui sera employé dans les futures opérations de récupération des enregistreurs de vol ».
Le 8 juillet 2009, la marine nationale française dépêche la frégate Floréal vers l'île de Mafia, à près de 800 kilomètres du lieu du crash, où la police tanzanienne affirme avoir repêché des débris portant l'inscription « Deutsche Airbus GmBH » ainsi que 21 corps.
Le 20 août 2009, le navire EDT Ares, affrété par le BEA, arrive sur place avec à son bord un robot sous-marin américain. Il repêche six corps le 22 août 2009 ainsi que les boîtes noires, le Digital Fly Data Recorder (DFDR), qui enregistre les données du vol, remonté à la surface le 21 août 2009, ainsi que le Cockpit Voice Recorder (CVR), qui enregistre les conversations du cockpit, repêché le 29 août 2009.