소프트웨어 테스트 컨퍼런스 SOTEC 2024 참가리뷰 (1)

안녕하세요, 라이언(ライアンさん、です) 씨입니다.오늘은 예전부터 참여하고 싶었던 소프트웨어 테스트 컨퍼런스인 SOTEC 2024에 참가했습니다. 아마 이 자리에 앉아 있는 사람 중에 저처럼 개인적으로 99,000원이라는 거금을 들여 직접 이 세미나에 등록한 사람은 극소수일 겁니다. 저는 왜 이렇게까지 하는 걸까요? 내가 현재 재직 중인 곳은 금융 산업에 속해 있기 때문에 특히 테스트 관련 업무가 중요합니다. 사실 어떤 산업이든 테스트는 중요하지만 문제가 발생했을 때 파급력은 산업마다 다를 수 있습니다.아무튼 바로 시작하겠습니다.I. 개회사 및 축사 각 업계들이 개회사를 말하다.이름과 소속 등은 생략.-관리와 하자 보수는 다르다.당연. 개발 초기부터 품질 관리에 공학적으로 접근해야 한다-이 행사를 몰랐지만 사람들이 많이 와서 놀랐다-과거 데이터에서 학습한 AI가 자연스럽게 거기에서 따른 인간의 편향성과 잘못을 그대로 학습할 수밖에 없다는 의견도 있지만 이런 컨퍼런스를 통해서 이런 부분에 논란이 있기를 바라는 II.AI품질의 국제 표준화 동향(테스팅·신뢰성·기능 안전 위주로)가천대의 조·영임 교수 발표.컴퓨터공학과 연구실 – Professor 조영임 교수 Prof. Young Im Choce.gachon.ac.kr표준화를 실시하는 이유는 이하와 같다.초격차 유지 신시장 확보 공급망 안전화 미래기술 정립 AI 관련 국제표준으로 ISO/IEC JTC1/SC42 Artificial Intelligence 있음. 2018년 4월 인공지능 기술표준화를 위해 설립(발표자에 따르면 2017년 11월이라고 한다)한 ISO와 IEC의 합동표준화기구인 ISO/IEC JTC1에서 설립한다. 이 국제표준기구에 대해 TTA에서 정리한 자료가 있으니 아래의 자료를 참고하시기 바랍니다. 첨부 파일 인공지능 국제표준화 동향_TTA.pdf 파일 다운로드 내 컴퓨터 저장네이버 MYBOX에 저장영어가 상관없다면 아래 Chat GPT의 답이 더 자세히 나와 있다.영어가 상관없다면 아래 Chat GPT의 답이 더 자세히 나와 있다.ISO/IEC JTC 1/SC 42-위키피디아입니다 ISO/IEC JTC 1/SC 421 language 기사 Talk Read 편집 이력 도구 무료 백과 사전 ISO/IEC JTC 1/SC 42 인공지능은 국제표준화기구(ISO)의 공동기술위원회 ISO/IEC JTC 1의 표준화 소위원회입니다. en.wikipedia.orgISO/IEC JTC 1/SC 42-위키피디아입니다 ISO/IEC JTC 1/SC 421 language 기사 Talk Read 편집 이력 도구 무료 백과 사전 ISO/IEC JTC 1/SC 42 인공지능은 국제표준화기구(ISO)의 공동기술위원회 ISO/IEC JTC 1의 표준화 소위원회입니다. en.wikipedia.orgISO/IEC JTC 1/SC 42 – 인공지능 분야의 인공지능 표준화 인공지능에 관한 JTC1 표준화 프로그램의 초점과 추진자로서의 역할을 수행합니다. applicationswww.iso.org해당 기구는 AI 관련 기술 및 비기술에 대한 표준을 수립합니다. 1991년 6월 27일 채택한 Vienna Agreement 덕분에 이러한 표준이 계속 증가하고 있습니다.AI 표준의 4가지 목표공정성 – 최적의 품질 및 결과물 제공 확정성 – 기술의 응용 및 확장 타당성 – 모든 이해관계자의 참여를 위한 견고한 표준 개발 및 제공 안전성 – 고도의 기술 전파 및 산업계 혁신 제공 영향력 있는 AI 주요 원칙은 다음과 같다EU AI Act (‘21.4’24.3) Global AI Safety Summit (‘23.11’24.5) OECD AI Principle (‘19.5’24.5) – EU AI Act에도 영향을 주고 있음 G7 Guiding Principles. Code of Conduct (‘23.12) UN Global Resolution AI (‘24.3) GPAI (‘20.12) – 한국을 포함한 29개국 참여 EU Act가 직접적으로 영향을 주어 표준적으로 영향을 주고 있다.기본적으로 EUAI는 Risk-based approach를 채용하고 있다. ‘연구는 원하는 대로 하되 Product로 하려면 우리가 만든 규칙을 따르라’는 컨셉.AI Office와 Governance를 매우 강조하는데 AI Office는 국가 차원의 Control Tower가 필요하다는 의미다. Governance는 잘 알고 있는 거니까 생략.GenAI4EU라는 AI innovation package를 제공한다.결국은 Governing 체계를 갖추라는 이야기. 그 다음에는 OECD AI Principle이 있다. Trustworthy AI를 굉장히 강조하고 있다.영국에서는 Global AI Safety Summit을 만들었다. 안전을 매우 강조하고 있다.EU AI Act가 법안이지만 AI 시스템에 대한 정의를 변경한다. 이전에는 AI System을 소프트웨어 시스템이라고 했지만 여기서는 AI System을 amachine-based system으로 변경했다. 이는 기존 소프트웨어 시스템에 그대로 적용했던 각종 소프트웨어 품질 및 테스트 등 관련 이론 및 기술을 그대로 적용할 수 없다는 뜻으로 알려졌다.소프트웨어와 ML의 차이점은 다음과 같다.둘은 다르다. Software는 determistic system이지만, ML은 non-determistic system이다.간단히 말하면 ML은 input이 같아도 output이 다른 경우가 있다.EU AI Act에서는 AI가 기존의 Software와 다르기 때문에 “amachine-based system”이라는 용어로 정의를 변경한 것이어서 향후 개발하는 AI System의 품질 및 시험 관련 접근은 변해야 한다.ISO/IEC TS 25059:2023 System and software engineering은 기존의 시스템을 평가하는 국제 표준이지만, 변경이 있을 것이다.Data 관련 국제표준 또한 변경되었다.즉, AI 시스템의 본격적인 도입으로 기존에 국제적으로 합의했던 내용이 모두 개정되고 있는 상황.관련자료가 필요하면 교수님께 요구하면 draft version을 제공해 준다고 한다. (그런데 여기에 쓰면 안되겠네…)IEEE 관련 표준도 조사했다. 여기는 더 기술적인 내용이 많아. 참고로 IEEE는 국제표준이라기보다는 미국 주도의 단체표준이라고 보면 된다. 하지만 미국이 산업을 주도하는 경향이 많기 때문에 국제표준으로 봐도 되지 않을까.이하의 표준 중 ISO/IEC TR 24028:2020은 신뢰성 확보를 의미한다. 표준 명칭에 연도가 나온 것은 해당 연도에 표준을 완료했다는 뜻.연도가 없으면 아직 개발 중이라는 뜻.조직에 AI를 permeating하기 위한 표준은 25029 표준으로 아직 개발 중.인증에서 가장 중요한 건 24001, 24005, 24006.42005는 사회 및 개인에 대한 영향(1.impact to society 2.impact to individuals)을 다룬다.42001은 전체적으로 필요한 내용을 커버한다.마지막으로 42006은 인증을 실시하는 기관이 갖춰야 할 기준을 제시한다.데이터 유출 없이 학습할 수 있는 알고리즘이다 Federated ML*도 표준이 나왔다.*(참고)연합 학습의 특징은 여러 로컬 장치에서 중앙 서버에 모든 데이터를 전송하는 일반적인 인공 지능 학습과 달리 연합 학습은 각각의 로컬 장치에서 데이터를 학습하고 학습된 결과 모델만 중앙 서버에 전송된 뒤 중앙 서버에서 모두 글로벌 모델을 만드는 학습 방식이다.23894 가 리스크 관리 임.22989는 용어 정의 문서이므로 참고해 보는 것이 좋습니다.LLM과 관련하여 Meta에서 아래와 같은 품질 테스트를 수행한다. 참고로 빨간색이 많은 것이 좋지만 GPT-4 모델이 그래도 좋은 성능을 보이고 있다.AI System에 대한 정의가 변경되고 품질평가 기준 및 지표 등이 모두 변경돼야 한다.한국은 AI 관련 경쟁력이 세계 6위 정도라고 평가.강의 들으면서 정리하려니 바쁘네요. 일단 이걸로 1부 끝이고 아래는 행사장 사진이니 참고해주세요.#소프트웨어테스트컨퍼런스 #SOTEC #SOTEC2024 #AI #AI표준 #인공지능표준 #ISO #IEEE #롯데타워