El encanto de Nosy Be ya fue apreciado en 1649, cuando el coronel inglés Robert Hunt escribió: "Creo y lo juro por Dios, que ninguna parte del mundo es más adecuada para las plantaciones que esta isla; una tierra que me parece perfecta tanto para el placer como para el beneficio". Hunt estaba tratando de fundar una colonia en la isla que llamó Assada, pero pronto su proyecto fracasó debido a la hostilidad de los nativos y las enfermedades. Las posteriores inmigraciones contribuyeron a la diversidad de razas presentes en Nosy Be.
La isla de Nosy Be entra en la historia escrita de Madagascar cuando el rey Radama I se
propuso conquistar el oeste de la isla continente para llegar al mar desde el interior y llevó a cabo su proyecto, logrando apoderarse del reino Sakalava de Boina. Era 1830 cuando el rey Radama I intentaba unificar bajo su dominio todas las tribus de Madagascar.
En 1839, la reina Sakalava Tsyomeko, derrotada por los Merina pero seguida por muchos súbditos, se refugió en las islas de Nosy Komba y Tanikely. Los Merina no pudieron perseguirlos en estas islas, pero se establecieron en la costa cercana, manteniendo a los Sakalava bajo su amenaza. Nosy Be pidió ayuda al sultán de Zanzíbar, pero este, sin darse cuenta de que los enemigos Merina descendían desde las tierras altas, envió inútilmente un barco de guerra para desalentar cualquier intento de conquista naval. En 1840, el barco de guerra francés "Colibrí" ancló en la bahía de Nosy Be y los Sakalava se dirigieron al comandante para obtener protección de Francia. Aprovechando la oportunidad, el capitán Passot envió un mensaje al almirante Hell, gobernador de la isla de la Reunión (antigua isla de Bourbon), quien, consciente de la oportunidad que se le presentaba, firmó
un tratado que establecía el protectorado sobre el Reino Sakalava. En 1841, los Sakalava cedieron a Francia tanto Nosy Be como la vecina Nosy Komba. El capitán Passot y el almirante Hell quedaron grabados en la memoria de Nosy Be, también por los nombres que se les dieron, uno al famoso Mont Passot y el otro a la capital de la isla, Hell-Ville. Sin embargo, el protectorado francés vivió largos años de turbulencia debido a incidentes y saqueos. El 26 de junio de 1960, Nosy Be y todo Madagascar obtuvieron la independencia de la colonización francesa bajo el liderazgo del general De Gaulle.
Una de las historias más increíbles fue la de la nave de guerra rusa enviada por el zar a Nosy Be durante la guerra ruso-japonesa de 1904-1905. La orden era proteger el Canal de Mozambique de los ataques japoneses. Al finalizar la guerra, la nave rusa fue olvidada por el zar, y los desafortunados hombres del contingente quedaron en el lugar esperando órdenes, sin saber que su soberano ya había firmado la paz. Así fue como se establecieron en Nosy Be, donde la mayoría de ellos murió de malaria, tifus y otras enfermedades tropicales. Sus cuerpos aún yacen enterrados en un rincón del vasto cementerio de Hell Ville.