O repositório de riscos da IA

MD, AI and Cybersecurity

14 August 2024

1. Introdução

Contexto

O desenvolvimento de dispositivos médicos está a sofrer uma rápida transformação com a crescente integração da inteligência artificial (IA). Atualmente, algoritmos sofisticados permitem o diagnóstico de doenças, a personalização de tratamentos e melhorias significativas nos cuidados aos doentes. No entanto, esta revolução tecnológica traz também novos desafios, nomeadamente ao nível da gestão do risco, para garantir a segurança e a eficácia dos dispositivos médicos

Descrição do problema

Com a IA, os riscos associados aos dispositivos médicos estão a tornar-se mais complexos e multidimensionais. Já não se trata apenas de garantir que os dispositivos funcionem corretamente em condições normais, mas também de antecipar e atenuar riscos como enviesamentos algorítmicos, violações da segurança dos dados e potenciais erros nas decisões tomadas por sistemas automatizados. Esta complexidade acrescida exige uma abordagem rigorosa e estruturada da gestão do risco, especialmente para manter a conformidade com normas internacionais como a ISO 14971

2. Apresentação do Repositório de Riscos de IA

O que é o Repositório de Riscos de IA?

O Repositório de Riscos de IA é um recurso valioso para qualquer pessoa que trabalhe com inteligência artificial, em especial em domínios em que a segurança e a gestão de riscos são fundamentais, como é o caso dos dispositivos médicos. Trata-se de uma revisão exaustiva e de uma classificação sistemática dos riscos relacionados com a IA, com base na análise de 777 riscos distintos identificados em 43 taxonomias diferentes. Este repositório foi concebido para fornecer um quadro de referência comum para melhor compreender, avaliar e gerir os riscos que a IA pode introduzir em vários contextos

Origem e objectivos

O desenvolvimento do Repositório de Riscos de IA resulta de uma necessidade premente de normalizar a forma como os riscos de IA são identificados e classificados. Até agora, os esforços para compreender e classificar estes riscos têm sido frequentemente díspares e pouco coerentes, complicando os debates, a investigação e a implementação de medidas de gestão dos riscos. O principal objetivo do Repositório de Riscos de IA é preencher esta lacuna, oferecendo uma base de dados viva e extensível que pode ser utilizada por investigadores, reguladores e empresas para navegar no complexo panorama dos riscos relacionados com a IA

Componentes principais

O Repositório de Riscos de IA está estruturado em torno de duas taxonomias principais

A Taxonomia Causal: Esta taxonomia classifica os riscos com base em três dimensões principais:

A entidade responsável (Humana, IA, Outra)
Intencionalidade (intencional, não intencional, outra)
Momento da ocorrência (Pré-implantação, Pós-implantação, Outro)

A Taxonomia de Domínio: Esta taxonomia agrupa os riscos em sete domínios principais, cada um subdividido em subdomínios mais específicos. Estes domínios abrangem uma vasta gama de riscos, incluindo a discriminação, a segurança, a desinformação e as limitações dos sistemas de IA.

Relevância para os dispositivos médicos

No caso dos dispositivos médicos, estas taxonomias permitem a identificação de riscos específicos em cada fase do ciclo de vida da IA, desde o desenvolvimento até à implantação no mercado. Por exemplo, a taxonomia causal pode ajudar a determinar se um risco é o resultado de um erro humano ou de uma falha intrínseca do sistema de IA, enquanto a taxonomia de domínio permite visar áreas críticas como a segurança dos dados ou a fiabilidade do diagnóstico

3. Aplicação a dispositivos médicos

Identificação de riscos específicos para dispositivos médicos

A IA nos dispositivos médicos apresenta oportunidades significativas para melhorar os diagnósticos, os tratamentos e a monitorização dos doentes. No entanto, estas inovações também implicam riscos específicos que devem ser cuidadosamente identificados e geridos. O Repositório de Riscos de IA fornece uma estrutura para mapear sistematicamente esses riscos. Entre os riscos mais relevantes para os dispositivos médicos estão

Vieses algorítmicos: Os enviesamentos nos dados de treino podem levar a diagnósticos incorrectos ou a tratamentos injustos.
Vulnerabilidades de segurança: Os dispositivos médicos ligados estão expostos a riscos de ciberataques, que podem comprometer a confidencialidade dos dados dos doentes e a integridade dos próprios dispositivos.
Erros de diagnóstico: A utilização de algoritmos de IA para diagnosticar doenças pode resultar em erros se os modelos não forem suficientemente robustos ou interpretáveis.

Exemplos de riscos comuns

Discriminação e toxicidade: Por exemplo, um dispositivo médico que utilize a IA para prever os riscos de doenças cardiovasculares pode discriminar involuntariamente determinados grupos étnicos devido a enviesamentos nos dados de treino.
Segurança e privacidade: Um dispositivo de monitorização da saúde ligado a uma plataforma em nuvem pode ser vulnerável a ataques, comprometendo a confidencialidade dos dados sensíveis dos doentes.
Limitações dos sistemas de IA: Os sistemas de IA podem, por vezes, perseguir objectivos que entram em conflito com valores humanos ou normas éticas, como a otimização de um tratamento à custa de outros factores clínicos importantes.

Importância da avaliação do risco

O Repositório de Riscos de IA não só fornece uma lista exaustiva de potenciais riscos, como também ajuda a compreender o contexto e as causas desses riscos. Para os dispositivos médicos, isto significa ser capaz de identificar com precisão quando, durante o ciclo de vida do produto, estes riscos podem materializar-se e quais são as causas. Por exemplo, ao utilizar a Taxonomia Causal, uma empresa pode determinar se um risco surge principalmente durante a fase de desenvolvimento (pré-implantação) ou depois de o dispositivo ter sido colocado no mercado (pós-implantação)

Abordagem proactiva à gestão do risco

O Repositório de Riscos de IA incentiva uma abordagem proactiva à gestão de riscos, fornecendo ferramentas para antecipar potenciais problemas e implementar medidas corretivas desde as fases iniciais de desenvolvimento. Ao aplicar esta metodologia aos dispositivos médicos, as empresas podem prevenir melhor os incidentes e garantir que os seus produtos são seguros, eficazes e estão em conformidade com as normas actuais

4. Ligação com as normas ISO 14971 e ISO 42001

ISO 14971 e Gerenciamento de Riscos

A ISO 14971 é a norma de referência internacional para a gestão de riscos em dispositivos médicos. Orienta os fabricantes na identificação, avaliação e gestão dos riscos ao longo do ciclo de vida de um dispositivo médico. A integração da IA nestes dispositivos não é exceção e exige uma abordagem rigorosa para garantir a segurança dos doentes

Complementaridade com o Repositório de Riscos de IA: O Repositório de Riscos de IA pode ser utilizado como uma ferramenta complementar à ISO 14971 para identificar riscos específicos relacionados com a IA. Por exemplo, os riscos relacionados com enviesamentos algorítmicos ou com a segurança dos dados podem ser incorporados na análise de riscos exigida pela norma ISO 14971. Este repositório permite melhorar a abordagem tradicional através da integração de riscos emergentes específicos da IA, que estão frequentemente ausentes das avaliações de risco convencionais.
Implementação prática: Ao utilizar o Repositório de Riscos de IA, os fabricantes de dispositivos médicos podem enriquecer o seu processo de gestão de riscos através da inclusão de cenários específicos de IA. Isto inclui a identificação de riscos desde as fases iniciais de desenvolvimento (pré-implantação) e a realização de uma avaliação contínua após a comercialização (pós-implantação), garantindo assim uma cobertura de risco abrangente.

A ISO 42001 e a segurança da informação

A ISO 42001 centra-se na gestão da segurança da informação para sistemas de qualidade que utilizam inteligência artificial. Esta norma é crucial para dispositivos médicos conectados, onde a confidencialidade e a segurança dos dados são preocupações importantes

Alinhamento com o Repositório de Riscos de IA: O repositório fornece uma classificação dos riscos relacionados com a segurança e a confidencialidade, que são elementos centrais da ISO 42001. Os dispositivos médicos que utilizam IA têm de ser protegidos contra ciberataques e violações de dados, e o repositório ajuda a identificar estas vulnerabilidades e a resolvê-las eficazmente.
Proteção dos dados dos doentes: Ao integrar os riscos identificados no Repositório de Riscos de IA na estrutura de gestão da segurança da informação, as empresas podem cumprir melhor os requisitos da ISO 42001. Isto inclui a implementação de controlos de segurança robustos para proteger os dados sensíveis dos doentes e garantir a resiliência do sistema contra ameaças externas.

Conformidade normativa e regulamentar

A utilização combinada do Repositório de Riscos de IA e das normas ISO 14971 e ISO 42001 permite aos fabricantes de dispositivos médicos garantir que os seus produtos não são apenas seguros, mas também estão em conformidade com os requisitos europeus e internacionais. Considerar os riscos específicos da IA nos dispositivos médicos é agora uma necessidade para garantir a qualidade e a segurança dos cuidados de saúde

Vantagens concretas

Redução de incidentes: Ao antecipar e gerir proactivamente os riscos identificados, as empresas podem reduzir os incidentes relacionados com os dispositivos médicos, aumentar a confiança dos utilizadores e proteger-se contra as consequências legais e financeiras das falhas dos produtos.
Vantagem competitiva: As empresas que adoptam uma abordagem rigorosa e em conformidade com as normas para gerir os riscos relacionados com a IA podem posicionar-se como líderes de mercado, oferecendo produtos de cuidados de saúde inovadores e seguros.

5. A nossa abordagem na CSDmed

Metodologia proposta

Como uma empresa de consultoria especializada no desenvolvimento de dispositivos médicos, compreendemos a importância crítica da gestão de riscos, especialmente quando a IA está envolvida. A nossa metodologia baseia-se na integração dos conhecimentos do Repositório de Riscos de IA em todas as fases do ciclo de vida do produto, garantindo que todos os riscos, desde os mais comuns aos específicos da IA, são identificados, avaliados e geridos de forma proactiva

Avaliação preliminar de riscos: Desde as primeiras fases de desenvolvimento, utilizamos o Repositório de Riscos de IA para efetuar uma avaliação preliminar dos riscos potenciais. Isto inclui a análise de dados de formação para identificar e mitigar enviesamentos, bem como a avaliação de possíveis vulnerabilidades nos sistemas de IA utilizados.
Análise e modelação de riscos: Aplicamos as taxonomias do Repositório de Risco de IA para estruturar a análise de risco, assegurando que todas as dimensões (entidade, intenção, tempo) são abrangidas. Esta abordagem permite uma modelação sistemática do risco, facilitando a implementação de medidas corretivas adequadas.
Gestão contínua do risco: Após o lançamento do dispositivo médico, continuamos a monitorizar e a avaliar os riscos utilizando o Repositório de Riscos de IA como referência. Ajustamos as estratégias de gestão do risco com base no feedback e nos desenvolvimentos tecnológicos, garantindo a segurança e a conformidade contínuas.

Passos importantes

Para os nossos clientes, oferecemos apoio estruturado em torno das seguintes etapas principais

Identificação de riscos: Utilização do Repositório de Riscos de IA para identificar riscos específicos de IA desde o início do projeto.
Avaliação e priorização de riscos: Análise dos riscos identificados em termos de gravidade e probabilidade, e priorização das ações a serem tomadas.
Desenvolvimento de estratégias de mitigação: Formulação de planos de ação para mitigar os riscos, com base nas melhores práticas e normas relevantes.
Implementação e Monitorização: Apoio na implementação de estratégias de gestão de risco e monitorização contínua para ajustar as medidas com base nos resultados obtidos.
Formação e sensibilização: Formação das equipas sobre os riscos específicos da IA e as melhores práticas de gestão de risco para reforçar a cultura de segurança na organização.

Valor acrescentado para os nossos clientes

A integração do Repositório de Riscos de IA nos nossos serviços de consultoria proporciona vários benefícios tangíveis aos nossos clientes

Maior segurança: Ao identificar e gerir os riscos específicos da IA, ajudamos os nossos clientes a minimizar potenciais incidentes e a garantir a segurança dos doentes.
Conformidade normativa e regulamentar: Os nossos clientes beneficiam de conhecimentos especializados que lhes permitem manter a conformidade com os requisitos regulamentares da marcação CE, incluindo as normas ISO 14971 e ISO 42001.
Inovação responsável: Ajudamos os nossos clientes a inovar de forma responsável, integrando práticas robustas de gestão de riscos desde o início do desenvolvimento dos seus dispositivos médicos.

6. Benefícios para si

Maior segurança e conformidade

Uma das principais vantagens para os nossos clientes é a melhoria significativa da segurança dos dispositivos médicos. Ao integrar os princípios e ferramentas do AI Risk Repository, os nossos clientes podem identificar e mitigar melhor os riscos relacionados com a inteligência artificial, garantindo assim a segurança dos doentes. Além disso, esta abordagem permite a conformidade efectiva com os requisitos regulamentares internacionais, em particular as normas ISO 14971 e ISO 42001, garantindo que os dispositivos cumprem as normas mais rigorosas do sector

Redução dos riscos de incidentes: Ao utilizar o Repositório de Riscos de IA para antecipar e gerir riscos, os nossos clientes reduzem a probabilidade de incidentes que possam comprometer a segurança dos doentes ou levar à recolha de produtos. Isto resulta numa maior fiabilidade dos dispositivos e numa redução dos custos associados às correcções pós-lançamento.
Conformidade com as normas internacionais: Os nossos serviços ajudam as empresas a garantir que os seus produtos cumprem os requisitos regulamentares, o que é essencial para aceder aos mercados internacionais. A integração do AI Risk Repository facilita a documentação dos processos de gestão de riscos, o que é crucial para auditorias e aprovações regulamentares.

Inovação responsável

A inovação no domínio dos dispositivos médicos é essencial para satisfazer as necessidades dos doentes e melhorar os cuidados de saúde. No entanto, a inovação deve ser acompanhada por uma gestão de risco rigorosa para ser verdadeiramente eficaz e sustentável. Ao integrar o Repositório de Riscos de IA no processo de desenvolvimento, ajudamos os nossos clientes a inovar de forma responsável

Integração segura da IA: A utilização do Repositório de Riscos de IA permite a implementação de soluções de IA, minimizando os riscos, dando às empresas a confiança para inovar sem comprometer a segurança ou a eficácia dos seus dispositivos.
Reputação e fiabilidade: Ao concentrarem-se na gestão proactiva do risco, os nossos clientes reforçam a sua reputação no mercado como intervenientes responsáveis e fiáveis. Isto pode levar a uma maior confiança dos utilizadores finais, reguladores e parceiros de negócios.

Eficiência operacional

A integração do AI Risk Repository na gestão do risco não só melhora a segurança e a conformidade, como também aumenta a eficiência operacional das empresas. Ao antecipar potenciais problemas, as empresas podem evitar atrasos dispendiosos e interrupções na produção, resultando num tempo de colocação no mercado mais rápido para os dispositivos médicos

Redução de custos: Ao identificar e mitigar os riscos no início da fase de desenvolvimento, os nossos clientes podem evitar os elevados custos associados à correção de erros a jusante, depois de os dispositivos terem sido colocados no mercado.
Otimização de recursos: A metodologia estruturada que propomos permite uma melhor afetação de recursos, concentrando os esforços nos aspectos mais críticos da gestão de riscos, ao mesmo tempo que agiliza os processos de desenvolvimento.

Acesso acelerado ao mercado

Ao assegurar que os dispositivos médicos são desenvolvidos com uma gestão de risco robusta e em conformidade com as normas internacionais, os nossos clientes podem acelerar o processo de aprovação regulamentar e, assim, obter um acesso mais rápido aos mercados globais

Vantagem competitiva: As empresas que conseguem colocar no mercado dispositivos médicos inovadores e seguros mais rapidamente do que os seus concorrentes obtêm uma vantagem significativa. O AI Risk Repository, combinado com a nossa experiência, desempenha um papel fundamental na aceleração deste processo.

7. Como é que o Repositório de Riscos de IA pode ajudar com a Lei da IA

Identificação de riscos: A Lei da IA exige que as empresas demonstrem que identificaram e avaliaram os riscos associados aos seus sistemas de IA, especialmente para aplicações de alto risco. O Repositório de Riscos de IA fornece uma base abrangente para identificar esses riscos, o que pode ser crucial para cumprir os requisitos da Lei de IA.
Gestão de riscos: O AI Act exige a implementação de medidas para mitigar os riscos identificados. Através das suas duas taxonomias (Causal e Domínio), o Repositório de Riscos de IA ajuda as empresas a estruturar a sua abordagem de gestão de riscos, identificando riscos críticos e desenvolvendo estratégias para os mitigar.
Documentação e conformidade: O AI Act exige uma documentação rigorosa dos processos de gestão do risco. O Repositório de Riscos de IA, enquanto ferramenta estruturada e baseada na investigação, pode ser utilizado para documentar os riscos identificados, as avaliações efectuadas e as medidas implementadas, facilitando assim a conformidade com o AI Act.
Transparência e explicabilidade: O cumprimento da Lei da IA exige frequentemente a demonstração da transparência e da explicabilidade dos sistemas de IA. Ao ajudar a identificar os riscos relacionados com a falta de transparência e interpretabilidade, o Repositório de Riscos de IA pode orientar as empresas no sentido de tornarem os seus sistemas de IA mais compreensíveis e conformes com os requisitos regulamentares.
Preparação da auditoria: O AI Act impõe controlos e auditorias regulares para sistemas de IA de alto risco. A utilização do Repositório de Riscos de IA permite às empresas prepararem-se para estas auditorias, fornecendo uma visão clara e documentada dos riscos e das medidas de mitigação, demonstrando assim a sua conformidade com as expectativas do AI Act.

O Repositório de Riscos de IA é uma ferramenta estratégica para qualquer empresa que pretenda cumprir o AI Act. Ao fornecer um quadro estruturado para identificar, gerir e documentar os riscos relacionados com a IA, esta ferramenta não só ajuda a cumprir os requisitos regulamentares, como também reforça a robustez e a fiabilidade dos sistemas de IA desenvolvidos

8. Conclusão

Resumo dos pontos-chave

Neste artigo, explorámos a forma como a integração do Repositório de Riscos de IA no desenvolvimento de dispositivos médicos pode transformar a gestão de riscos e melhorar a segurança, a conformidade e a eficiência operacional. Demonstrámos que esta ferramenta é essencial para identificar e mitigar os riscos específicos da IA, assegurando simultaneamente que os produtos cumprem as normas internacionais, como a ISO 14971, a ISO 42001 e o AI Act

Importância do Repositório de Riscos de IA: O Repositório de Riscos de IA oferece uma base sólida para compreender e gerir os riscos relacionados com a IA nos dispositivos médicos. Permite às empresas antecipar desafios e adotar uma abordagem proactiva para garantir a segurança dos doentes.
Benefícios concretos para os clientes: Ao integrar esta ferramenta nos seus processos, as empresas podem não só melhorar a segurança e a conformidade dos seus produtos, mas também acelerar o seu tempo de colocação no mercado, otimizar recursos e posicionar-se como líderes responsáveis e inovadores na indústria.

Contacte-nos

Convidamos todas as empresas do sector dos dispositivos médicos a considerar a integração do Repositório de Riscos de IA nos seus processos de desenvolvimento. A gestão proactiva dos riscos relacionados com a IA não é apenas uma necessidade regulamentar; é também uma oportunidade de diferenciação no mercado

Vamos colaborar: Se quiser saber mais sobre como a nossa experiência pode ajudá-lo a enfrentar os desafios da IA e a garantir a segurança e a eficácia dos seus dispositivos médicos, não hesite em contactar-nos. Estamos prontos para o apoiar em todas as fases do seu projeto, desde a identificação de riscos até à gestão contínua.

contacte-nos e descubra como o podemos ajudar.

Perspectivas futuras

A inteligência artificial continuará a transformar o sector dos dispositivos médicos, trazendo novas oportunidades, mas também novos desafios. Ao adotar práticas robustas de gestão de riscos hoje e ao utilizar ferramentas como o Repositório de Riscos de IA, as empresas podem preparar-se para um futuro em que a inovação anda de mãos dadas com a segurança e a responsabilidade