On August 9, 2022, around 18.25 CEST our Network Operations Center reported connectivity issues within the new generationÂ
(version 4) of the CM Cloud. Our engineers spent that night and the next day researching these transient network issues, as
this was complex because they appear to be random. On August 10 this led to the conclusion that our Rijen location was at timesÂ
consuming more CPU than reasonably available. This impacted the virtualized network, leading to congestion and packet loss.Â
To mitigate we've migrated workload to other sites, and immediately added additional capacity to the generation 4 Rijen location.
During these connectivity errors customers might have experienced issues such as timeouts in the following services: Dashboard andÂ
Channels, Email campaigns, Customer Data Platform, Messaging SMPP connections and Ticketing Dashboard & Analytics.
Unfortunately, the migration of all this workload to other locations led to new capacity related issues in our generation 3 EindhovenÂ
location. This caused an outage of several services on August 11 from 13.39 - 13.47 CEST. Including Message Log,Â
Messaging Conversion API, Ticketing Dashboard & Analytics and Shops, Mobile Marketing Cloud Campaigns andÂ
Email Campaigns, Customer Contact, Channels and other Platform generic Settings.
We sincerely apologize for any inconvenience caused. CM.com is always expanding its Cloud capacity to facilitate our growing business.
To mitigate similar issues in the future our Cloud team is investing in specific monitoring to provide a better capacity forecast andÂ
prevent over committing of resources.