전체 글
-
[텍스트] LSA(Latent Semantic Analysis, 잠재 의미 분석) 논문리뷰텍스트 2023. 10. 6. 16:03
LSA(Latent Semantic Analysis)란? 문서와 단어가 벡터로 표현될 때 잠재 의미 공간(Latent Semantic Space)을 정의함으로써 텍스트에서 의미를 추출하는 방법 Basic 전체 문서 d개, 이 문서들에 있는 모든 단어 t개가 있을 때, 아래와 같은 행렬을 만들 수 있음 $$X \in R^{t \times d}$$ - 각 셀에는 각 문서에서 각 단어가 등장한 횟수가 들어있으며, 자주 등장하는 단어의 중요도는 낮추고, 드물게 등장하는 단어의 중요도는 높이기 위해 transformation 과정을 거침 - 자주 사용되는 term frequency transformation 방법에는 TF-IDF와 log-entropy 방법이 있는데, 여기서 TF, log는 local weight..
-
[딥러닝] Back-propagation 논문리뷰 (Learning representations by back-propagating errors)딥러닝 2023. 9. 20. 23:45
Intro Back-propagation: network에 존재하는 connection의 가중치를 반복적으로 조정해서 net에 존재하는 actual output vector와 desired output vector 간 차이를 최소화하기 위한 것 가중치를 조정함으로써 input이나 output이 아닌 'hidden' unit들이 어떤 중요한 feature를 represent하게 됨 -> 이러한 새로운 feature를 만드는 것은 다른 방법에서는 없었던 것임 Background self-organizing하는 neural network를 만들려는 시도가 많았음 임의로 연결된 neural network가 task domain에 적합한 structure가 되도록 하는 강력한 synaptic modificatio..
-
[Neo4j] Cypher queriesDBMS 2023. 4. 28. 16:14
CREATE //Create a person node called "Tom Hanks" CREATE (p:Person {name:"Tom Hanks"}); //Create an ACTED_IN relationship between "Tom Hanks" and "Apollo 13" MATCH (p:Person {name:"Tom Hanks"}), (m:Movie {title:"Apollo 13"}) CREATE (p)-[:ACTED_IN]->(m); //Create the pattern of "Tom Hanks" ACTED_IN "Apollo 13" //This will create the entire pattern, nodes and all! CREATE (:Person {name:"Tom Hanks")..
-
중간고사 범위 요약DBMS 2023. 4. 17. 11:37
Basic Terms data model: collection of high-level data description (ex. first-order logic, relational, graph) database(DB): organized collection of data stored and accessed electronically database management system (DBMS): software designed to assist in maintaining and utilizing databases database transaction: a unit of work (연결된 쿼리의 시퀀스로 나타남) query: precise request for information retrieval made..
-
[파이썬] dotenv로 환경변수 관리하기개발 2022. 11. 27. 22:23
git push를 할 때 AWS secret key 등과 같은 개인정보가 올라가지 않게 하면서 코드를 실행했을 때에는 잘 불러와지도록 하기 위해 dotenv 패키지를 활용할 수 있다. 먼저, dotenv 패키지를 설치한다. pip install python-dotenv .env 파일을 만든다. 파일 경로는 보통 root directory로 지정한다. # .env name = "Kim" age = "25" 파이썬 스크립트에서 .env 파일에 있는 환경변수를 불러오는 코드를 작성한다. # main.py from dotenv import load_dotenv import os load_dotenv() data = { 'name': os.getenv('name'), 'age': os.getenv('age') }..
-
-
[파이썬] Ray로 병렬처리하기 (feat. Multiprocessing)개발 2022. 11. 7. 09:51
Multiprocessing - 프로세스 스포닝(Process Spawning)을 지원하여 자원 내에서 사용 가능한 다중 프로세서를 활용 가능하게 함 더보기 프로세스 스포닝 (Process Spawning) : 부모 프로세스가 운영 체제에 요청하여 자식 프로세스를 생성하는 과정 - 모듈 내 정의된 Pool, Process 함수 이용 Pool - 실행시키고자 하는 함수를 process에 분배하여 병렬처리 # 로컬에서 활용 가능한 CPU 및 프로세스 확인 import multiprocessing as mp print(mp.cpu_count()) from multiprocessing import Pool # basic def process_P(): num_cores = 4 # job을 할당받을 Process의..